EAssessment of Free-Text Answers Based on Domain …iie.fing.edu.uy/~vagonbar/tesis/VGBPrsTesisV4.pdf · medida de distancia entre la instancia de representación de ... Paradigma

EAssessment of Free-Text Answers Based on DomainSpecific Sublanguages and Knowledge RepresentationEAssessment de Respuesta Abierta en base a Sublenguajes de Dominio Específico y

Representación de Conocimiento

Grado de Doctor por la Universidad de Vigo con Mención Internacional

Autor: Víctor González Barbone

Director de Tesis: Martín Llamas Nistal

Universidad de VigoE.T.S.E. Telecomunicación

Departamento de Ingeniería Telemática

2013

Víctor González Barbone (Universidad de Vigo)EAssessment of Free-Text answers based on Sublanguages and Knowledge Representation 2013 1 / 34

Índice

1 Introducción

2 EAssessment

3 Lenguaje

4 Conocimiento

5 Solución

6 Conclusión

7 Summary (English)


Introducción

Introducción


Introducción

Motivación

En la evaluación del conocimiento,

el trabajo de corrección lleva a explorar alternativas automáticas.

preguntas cerradas: fáciles de corregir, limitadas como evaluación.

preguntas abiertas, respuesta a texto libre:

requiere selección, organización y expresión del conocimiento.la corrección manual es trabajosa, la corrección automática difícil.

Extender la evaluación con preguntas abiertas requiereun sistema de corrección automática de respuestas a texto libre que:

mejore las propuestas existentes,

en forma practicable, que pueda ser usado en clase,

al alcance de docentes con calificación informática media,

aceptable para docentes y estudiantes,

idealmente, útil para el aprendizaje.


Introducción

Objetivo

Proponer un sistema de corrección asistida para preguntas de respuestaabierta basado en:

sublenguaje de dominio específico: un subconjunto del lenguaje naturalcorrecto restringido a un dominio de conocimiento.

representación de conocimiento: una estructura extraída de lasrespuestas escritas en el sublenguaje.

medida de distancia entre la instancia de representación deconocimiento de la respuesta y una instancia de referencia.

El tratamiento del lenguaje natural es un problema AI-complete (ArtificialIntelligence Complete). El uso de un sublenguaje hace posible la propuesta.


Introducción

Objetivo

Proponer un sistema de corrección asistida para preguntas de respuestaabierta basado en:

sublenguaje de dominio específico: un subconjunto del lenguaje naturalcorrecto restringido a un dominio de conocimiento.

representación de conocimiento: una estructura extraída de lasrespuestas escritas en el sublenguaje.

medida de distancia entre la instancia de representación deconocimiento de la respuesta y una instancia de referencia.

El tratamiento del lenguaje natural es un problema AI-complete (ArtificialIntelligence Complete). El uso de un sublenguaje hace posible la propuesta.


Introducción

Disciplinas involucradas

El problema y la solución propuestas abarcan estas áreas de conocimiento:

Evaluación, evaluación automática (Assessment, eAssessment)

Procesamiento de Lenguaje Natural (PLN).

Representación del Conocimiento.

Originalidad de esta tesis:

Más allá de algunas contribuciones en cada área, la originalidad de estatesis reside en la selección, adecuación y combinación de tecnologíasprovenientes de esas tres áreas de conocimiento.


Introducción

Metodología

Método de Investigación en Ingeniería (Adrion, 1993).

Paradigma evolutivo con cuatro etapas de iteración:1 Detectar problemas en los sistemas actuales (del estado del arte).2 Proponer y estudiar aproximaciones para resolver esos problemas.3 Proponer y desarrollar un nuevo sistema.4 Mostrar que el nuevo sistema realmente resuelve los problemas

detectados (validación).

Apreciación crítica:

esquemática, sujeta a interpretación.

abierta, de alternativas, apta para “lo desconocido”.

útil a nuestros propósitos.


EAssessment

EAssessment


EAssessment

Sistemas existentes, apreciación crítica

Basados en Procesamiento de Lenguaje Natural y Estadística; exhibenbuen resultado estadístico (~95% de aciertos), pero también...

...gran amplitud en el conjunto de referencia.

Es difícil comparar los sistemas automáticos existentes:diferentes dominios, corpora de referencia, métricas de validación.

Puntos débiles de los sistemas automáticos existentes:

el conjunto de referencia, difícil de construir o manejar.En respuestas corregidas, se requieren 50 a 200 o más para entrenamiento.

aún preguntas simples pueden ser muy difíciles de puntuar.

difícil manejo de errores ortográficos o sintácticos.

no resuelven bien sinonimia ni otros fenómenos del lenguaje.

incertidumbre propia de los métodos estadísticos.


EAssessment

Principios guía

A partir de la evaluación de intereses de los distintos actores se pretendelograr una solución que sea:

fácil de entender y fácil de manejar.

útil para la enseñanza y el aprendizaje, no limitada a la evaluación.

prestarse al aprendizaje colaborativo, involucrando al estudiante en laconstrucción de las estructuras.

practicable, al alcance de un pequeño grupo de instructores.

con diseño de ingeniería, apuntando al desarrollo de una aplicación,soporte imprescindible de la propuesta.

en un enfoque empírico, evitando sutilezas y discusiones teóricas enEducación, Lenguaje o Conocimiento.

limitada al conocimiento fáctico.


Lenguaje

Lenguaje


Lenguaje

Lenguaje natural, lenguajes restringidos

Lenguaje natural: ambiguo, localizado, cambiante; muy expresivo.Lenguaje restringido: subconjunto del lenguaje natural.

Sublenguaje: propio de una comunidad o dominio, laxo.

Lenguaje natural controlado: diseñado con un propósito, estricto.

¿Por qué restringir el lenguaje?

Claridad, simplicidad, determinismo⇒ extracción de conocimiento.

¿Por qué en Educación?

Mejora la capacidad de expresión y la escritura⇒ es lenguaje natural correcto.

El diseño es crítico: si es bueno, mejora; si es malo, empeora.


Lenguaje

Lenguaje natural, lenguajes restringidos

Lenguaje natural: ambiguo, localizado, cambiante; muy expresivo.Lenguaje restringido: subconjunto del lenguaje natural.

Sublenguaje: propio de una comunidad o dominio, laxo.

Lenguaje natural controlado: diseñado con un propósito, estricto.

¿Por qué restringir el lenguaje?

Claridad, simplicidad, determinismo⇒ extracción de conocimiento.

¿Por qué en Educación?

Mejora la capacidad de expresión y la escritura⇒ es lenguaje natural correcto.

El diseño es crítico: si es bueno, mejora; si es malo, empeora.


Lenguajes controlados para uso humano

Tobias Kuhn, 2012; recorte.

Lenguaje

Construcción de un sublenguaje

Antececentes más relevantes (hay más recursos y más elaborados en Inglés):Basic English, C.K. Ogden (1930).

VOA Special English, La Voz de America (1959).

Simple English Wikipedia (BE+SE).

Plain Language Intitiative (1978), documentos legales.

Características: legible, correcto, fácil de aprender, semántica clara.

Fuentes: recomendaciones de buena escritura, gramáticas.

Implementado en una gramática generativa, definiendo:tagset, categorías léxicas terminales y no terminales.

léxico, con inflexiones, categorías léxicas, definiciones, sinónimos, ...

reglas de producción, tipos de oraciones, sintaxis, ejemplos.


Lenguaje

Sublenguaje basado en sintaxis

Léxicos compilados:palabras de función, de la gramática; disjuntas del resto.

2 léxicos básicos: 1) de GSL Gilner, 2) de Longman 3000.

Reglas de producción:

oraciones en voz activa, aseverativas, afirmativas, simples, sin pronombres⇒ un árbol sintáctico único por oración.

Spanish 01, muy gramatical; ... ; Spanish 05, simplificado.

English 01, English 05 (tagset, 19 reglas).

Ejemplos en English 05:4 1 Jack built [a house]8 1 Jack built [a totally white very nice house]9 1 Jack built very swiftly [a house] [for the maiden]23 1 Jack built [a house [in the corner [of the street [of the city [ofLondon]]]]] [for the forlorn maiden] [yesterday [in the morning]]27 1 Jack built [a house [in the corner [of the street [of the city [ofLondon]]]]] [for the forlorn maiden] [yesterday [in the morning]] [withthe tattered man]


Lenguaje

Ambigüedad sintáctica

the policeman caught [the thief [with a telescope]]

the policeman caught [the thief] [with a telescope]

El autor (el estudiante) debe conocer y resolver esta ambigüedad.


Conocimiento

Conocimiento


Conocimiento

Representación de Conocimiento y Razonamiento

Roles (Davis, 1993), relevancia en Educación:sustituto de algo: un modelo de “el mundo”.. ... ... ... ... ... ... ... [ 2 ]

compromiso ontológico: selección por relevancia. ... ... ... ... ... [ 2 ]

razonamiento lógico parcial: alcance y límites.. ... ... ... ... ... ... [ 3 ]

computación eficiente: son problemas complejos. ... ... ... ... ... [ 3 ]

medio de expresión humana: entendible... ... ... ... ... ... ... ... ... [ 1 ]

Lenguajes para Representación de Conocimiento:lógica: requiere una interfaz muy elaborada, resolver sutilezas lógicas.

marcos: solo para dominios muy categorizados.

reglas: sistemas expertos, para propósitos y dominios específicos.

visuales: mapas conceptuales, informales.

naturales: regulados, restringidos (esta propuesta).

Ontologías: el futuro. Perfiles UML, Topic Maps.


Conocimiento

Un ejemplo completo: texto

Una noticia de Wikipedia reescrita en English 05:

the TransitOfVenus2012 began [at UTC2209] [on Day20120605]the TransitOfVenus2012 finished [at UTC0449] [on Day20120606]Venus appeared [as a small dark disk]Venus moved [across the face [of the Sun]]the exact times varied [with the position [of the observer]]

[by a maximum [of seven minutes]]the transits [of Venus] are very rarea transit [of Venus] is a predictable celestial phenomenonthe transits [of Venus] occur [in pairs [with an interval [of

eight years]]]the PreviousTransitOfVenus occured [in Year2004]the NextTransitOfVenus occurs [in Year2117]

Convenciones:nombres propios: TransitOfVenus2012fechas, horas: Year2117, Day20120605, UTC0449números chicos: eight


Un ejemplo completo: estructura

Un ejemplo completo: reconocimiento

the TransitsOfVenus are very rarethe times varied [with the position [of the observer]

Conocimiento

Otros esquemas, aproximación

Categoría e individuo (orientación a objetos):

define categorías, individuos, propiedades, asociaciones.lenguaje corriente: rufo es un Doberman, Doberman es un Perro,rufo es negro, rufo tiene collar.

Modelo secuencial, en el tiempo: define fechas, períodos, eventos.

Modelo imperativo, para manuales e instrucciones:

oraciones aseverativas e imperativas.secuencia, bifurcaciones.


Solución

Solución


Solución

El sistema propuesto


Solución

Cómo funciona

1 Preparación. Los instructores eligen un esquema de sublenguaje y representación deconocimiento.

2 Plan de curso. El curso se divide en unidades de aprendizaje, cada una con un únicoobjetivo, como en los objetos de aprendizaje.

3 Entrenamiento en el sublenguaje. Motivación, propósito, estructura, léxico, editor,ejemplos; ¡el sublenguaje es escritura correcta!

4 Construcción colaborativa. Los estudiantes estudian el material de la unidad yescriben trozos de texto que resultan en los grafos de referencia.

5 Preguntas. Los instructores proponen preguntas sobre una unidad de aprendizaje enbase a a los contenidos de los grafos de referencia.

6 Evaluación. Los estudiantes escriben las respuestas en el editor, tal como hicieron alcrear la representación de conocimiento de referencia.

7 Realimentación inmediata. Respuesta en color sobre grafo de referencia en gris.8 Evaluación de la enseñanza. Muchas oportunidades de corregir errores y resolver

diferencias.


Solución

Desarrollo, despliegue, prueba en clase


Conclusión

Conclusión


Conclusión

Validación

Validar una actividad de aprendizaje, no un sistema. Requiere:software, plan de curso, unidades, preguntas: 1 semestre.

enseñanza, construcción colaborativa, evaluación: 1 semestre.

Prueba de concepto: demostrar que la propuesta puede realizarse, quetiene potencial para ser aplicada.

es posible: construir el sublenguaje, la representación de conocimiento, visualizar enun grafo, asignar un puntaje.

es realizable: por un pequeño equipo, en un año; el código, prototipos, ejemplos ypruebas (~10000 líneas) fue hecho por una sola persona.

ofrece ventajas para docentes y estudiantes:

es justa, no hay sorpresas ni indeterminaciones; la referencia fue aceptada.se evalúa por la misma actividad con que se aprende.se conoce exactamente qué se puede preguntar.aumenta la conciencia del lenguaje, mejora la escritura.estimula la comprensión y la organización del conocimiento.


Conclusión

Contribuciones (1)

En evaluación de conocimiento:una propuesta efectiva para la evaluación y el aprendizaje.

con enfoque colaborativo y responsabilidad compartida.

basada en un análisis de requerimientos de los actores.

En Lenguaje:sublenguajes, basados en sintaxis (2 en español, 2 en inglés).

siguiendo requerimientos para Educación y escritura correcta.

En léxicos (hay más recursos y más elaborados en Inglés):identificación, evaluación, comparación de recursos léxicos libres.

dos léxicos experimentales (de GSL, de Longman 3000).

herramientas para ensayo y cubrimiento de léxicos en corpora de texto.


Conclusión

Contribuciones (2)

En Representación de Conocimiento:evaluación de lenguajes de Representación de Conocimiento para Educación.

un esquema de representación basado en sintaxis.

guía para desarrollar otros esquemas:categoría e individuo, desarrollo secuencial, manuales de instrucciones.

Aproximaciones metodológicas:para la construcción de léxicos y reglas del sublenguaje.

para la conversión a estructura de conocimiento.

Prototipos y desarrollo:estructura de datos y funciones normalizadas para léxicos.

aplicación prototipo, bibliotecas reutilizables, buena documentación.

guía de despliegue para prueba en campo y explotación del sistema.


Conclusión

Trabajo futuro

Se consideran necesarias o de interés las siguientes tareas:

desarrollo de la aplicación, realización de pruebas de campo.

desarrollo de otros esquemas de sublenguaje y representación deconocimiento.

explotación de recursos:

Wordnet,ontologías,bases de datos de sentido común (common sense databases).mayor investigación en el uso de Topic Maps para Educación


Conclusión

Publicaciones

Realizadas:

eAssessment of Open Questions: an Educator’s Perspective.38th ASEE/IEEE Frontiers in Education Conference, IEEE 2008.

En preparación:EAssessment of Free Text Answers by the use of a Sublanguage andKnowledge Representation (caps 13, 15, 18).

Knowledge Representation for Education (caps 10, 12).Lexical resources for Education. Revisión crítica de los recursos léxicos estudiados(cap 6, resultados de pruebas).

Restricted Languages in Education: the practicable way. Características de loslenguajes restringidos ventajosas para Educación.

Creating the First Topic Map. Su potencial para Educación.

From Text to Structure: creating semantic networks | topic maps from readabletext. Hay propuestas para ontologías, no muy desarrolladas, pero no para educación.

The taming of the language: from Basic English to inference machines. Unordenamiento para asegurar una comunicación amplia.


Conclusión

Conclusiones

Cumplimiento:se pudo implementar, se pudo validar en prueba de concepto.

se necesita un extenso ensayo en clase; deberán hacerse ajustes.

Una propuesta practicable:muchas propuestas aceptadas por todos, pero rara vez aplicadas.

al alcance en costo y esfuerzo, aceptable, atractiva, grata de usar.

La aplicación de esta propuesta:induce a los estudiantes hacia la escritura correcta.

les enseña a organizar el conocimiento.

provee una experiencia colaborativa.

integra evaluación en aprendizaje, reduce el estrés del examen.

Potencial educativo:sublenguajes: mejora de la comunicación.

representación de conocimiento: aprendizaje, evaluación.


Conclusión

Fin

Charles Kay Ogden (Inglaterra, 1889-1957)Lingüista, filósofo, escritor, excéntrico, outsider.Inventor del primer lenguaje natural controlado:el Inglés Básico, de 1930.

Muchas gracias.


Conclusión

Fin

Charles Kay Ogden (Inglaterra, 1889-1957)Lingüista, filósofo, escritor, excéntrico, outsider.Inventor del primer lenguaje natural controlado:el Inglés Básico, de 1930.

Muchas gracias.


Summary (English)

Summary (English)


Summary (English)

Summary in English

Thesis title:E-Assessment of Free-Text Answers Based on Domain SpecificSublanguages and Knowledge Representation

Contents:

Purpose

A complete example

The proposed system

How it works

Contributions

Future work

Conclusions


Summary (English)

Purpose

To propose a system of computer assisted marking for free text answersbased on

a domain specific sublenguage: a subset of correct natural languagerestricted to a field of knowledge.

a knowledge representation: a knowledge structure extracted fromthe answers written in the sublanguage.

a distance measure between the knowledge representation instance ofthe answer and a reference instance.

Treatment of natural language is an AI-complete (Artificial IntelligenceComplete) problem. The use of a sublanguage makes the proposal feasible.


Summary (English)

A complete example: text

A Wikipedia news written in English 05:the TransitOfVenus2012 began [at UTC2209] [on Day20120605]the TransitOfVenus2012 finished [at UTC0449] [on Day20120606]Venus appeared [as a small dark disk]Venus moved [across the face [of the Sun]]the exact times varied [with the position [of the observer]]

[by a maximum [of seven minutes]]the transits [of Venus] are very rarea transit [of Venus] is a predictable celestial phenomenonthe transits [of Venus] occur [in pairs [with an interval [of

eight years]]]the PreviousTransitOfVenus occured [in Year2004]the NextTransitOfVenus occurs [in Year2117]

Conventions:proper nouns: TransitOfVenus2012date, time: Year2117, Day20120605, UTC0449small numbers: eight


Summary (English)

A complete example: structure


Summary (English)

The proposed system


Summary (English)

How it works

1 Preparation. The teachers agree on a sublanguage and knowledge representationscheme.

2 Course plan. The course is divided into learning units. A learning unit addresses justone learning objective, as in learning objects.

3 Training in the sublanguage. Its motivation, purpose, structures, lexicon, editor,examples; the sublanguage is correct writing!

4 Collaborative construction. The students study the material for the unit and writesmall pieces of text which result in the reference graphs.

5 Questions. The questions for a learning unit address the contents recorded in thereference graphs.

6 Assessment. The students convey through the sublanguage editor the sameknowledge they contributed to record.

7 Instant feedback. The reference graph is blurred, answers are colored.8 Evaluation of teaching. Plenty of opportunities to correct errors and agree on

differences.


Summary (English)

Contributions (1)

In eAssessment:requirements for a system satisfactory both for students and teachers.

shared responsibility of teachers and students in assessment.

effective incorporation of assessment into learning.

In Language:characterization of a sublanguage for Education and correct writing.

a first methodology for the construction of a sublanguage.

a procedure to convert sublanguage text into a knowledge structure.

In lexicons (more resources and more mature in English):identification, evaluation and comparison of freely available resources.

two experimental lexicons (from GSL, from Longman 3000).

a first approach to a methodology to compile lexicons.

tools for consistency testing and coverage against text corpora.


Summary (English)

Contributions (2)

In rules of production:sets of rules for Spanish and English (declarative sentences).

a first methodology for compiling sets of rules for sublanguages.

In Knowledge Representation:evaluation of Knowledge Representation languages.

a syntax based knowledge representation scheme.

a guide to develop schemes for: category and individual, sequentialdevelopment, instruction manuals.

In prototypes and deployment:normalized data structures and functions for lexicons.

a prototype application.

a guide for deployment.


Summary (English)

Future work

development of a production quality application.

extensive field testing!

further research and experimentation on sublanguages.

exploitation of the Wordnet.

development and experimentation of other sublanguage and knowledgerepresentation schemes.

further research on the use or Topic Maps.

further research on the use of ontologies and common sensedatabases.


Summary (English)

Conclusions (1)

Accomplishment:the proposal could be implemented, validated by proof of concept.

extensive, in-class testing is required; adjustements are expected.

A practicable proposal:many proposals universally accepted, but rarely applied.

within reach in cost and effort, acceptable, engaging, “nice to do”.

A learning activity:from an assessment system to an educational proposal.

engagement of the actors, shared responsibility, collaboration.

The Language issue:what is bad / good language? A standard needed!

the case for sublanguages and controlled natural languages.


Summary (English)

Conclusions (2)

Knowledge acquisition:factual (declarative) knowledge, the most tedious to assess.

free text: demanding, informative, creative, use the language.

activities similar to concept mapping, or summaries.

awareness of different types of knowledge, representations.

The application of this proposal will:induce students into correct writing.

teach them to organize their knowledge.

provide a collaborative experience.

integrate assessment into learning, reducing exam feeling stress.

Work on this project allows to conclude further research and development in the useof sublanguages and knowledge representation for education is a worthwhile effort.


Documents

EAssessment of Free-Text Answers Based on Domain …iie.fing.edu.uy/~vagonbar/tesis/VGBPrsTesisV4.pdf · medida de distancia entre la instancia de representación de ... Paradigma