Resumen de Modelado probabilístico del alumno en entornos inteligentes de resolución de problemas educativos
Uno de los instrumentos de evaluación formal más extendidos es la Teoría de Respuesta al Ítem (TRI), una teoría psicométrica que se centra en las propiedades individuales de las preguntas, también conocidas como ítems. El elemento de la TRI que permite llevar a cabo la evaluación del alumno es una función de densidad que relaciona el conocimiento con la probabilidad de responder correctamente cada ítem y que se denomina Curva Característica del Ítem (CCI).
Aunque los ítems son el elemento que da la potencia a los tests para medir el conocimiento, éstos tienen una limitación importante. Debido a su forma, éstos normalmente proporcionan opciones que buscan medir el conocimiento asociado a conceptos teóricos o hechos, más conocido como declarativo. Cuando se trata de evaluar el conocimiento en tareas que requieran de la resolución de un problema o de la elaboración de una respuesta compleja, los ítems sólo proporcionan mecanismos para llevar a cabo tareas simples que no son más complejas que la ordenación o emparejamiento de elementos. En este sentido, no permiten la interacción apropiada para evaluar tareas complejas y no son el instrumento adecuado para diagnosticar el conocimiento del alumno en este tipo de dominios, llamados procedimentales.
Los Sistemas Tutores Inteligentes (STI) son entornos de aprendizaje en los que el proceso de instrucción se adapta a las necesidades del estudiante, empleando para ello técnicas de Inteligencia Artificial y de Psicología. De entre el amplio espectro de STI existentes hoy en día, están los denominados Entornos Inteligentes de Resolución de Problemas (EIRP) en los cuales los alumnos aprenden (y/o son evaluados) a través de la resolución de tareas complejas. En este tipo de entornos existen diversos paradigmas que establecen cómo modelar al alumno y cómo realizar el proceso de adaptación de la instrucción, de entre los cuales, uno de los más importantes es el Modelado Basado en Restricciones (MBR). El principal problema de este paradigma es la base sobre la que se asienta el proceso instructivo y de adaptación: la forma de diagnosticar el conocimiento del alumno, la cual, salvo alguna excepción, se basa en heurísticos.
Para solucionar las debilidades anteriormente mencionadas, esta tesis propone un modelo de evaluación formal en dominios procedimentales que se particulariza y formaliza usando el paradigma MBR con la TRI. Esta combinación es posible gracias a una similitud encontrada entre los elementos principales de las dos áreas usadas: las preguntas en los sistemas de tests, y las restricciones en los tutores MBR. Las restricciones pueden usarse para medir el conocimiento al representar evidencias correctas o incorrectas, como sucede con las preguntas. Partiendo de esta analogía, se extienden los elementos típicos de evaluación mediante tests a sistemas MBR donde el alumno resuelve problemas. Aunque el modelo ha sido particularizado, éste puede generalizarse para diferentes paradigmas de modelado del alumno sobre tareas complejas en los que se puedan obtener evidencias del conocimiento y éstas puedan usarse para evaluar al alumno.
Además del uso del modelo para la evaluación del conocimiento, se proponen diferentes estrategias y procedimientos para un uso formativo del alumno. Las estrategias propuestas están basadas en la adaptación que puede realizarse mediante la TRI y que tiene su mayor exponente en los Test Adaptativos Informatizados (TAI). Este tipo de tests usan la TRI para determinar el ítem que más se adapta al nivel del alumno, haciendo que el cálculo del conocimiento sea más eficiente para obtener la misma fiabilidad que un test tradicional con un número predeterminado de preguntas. Dado que en el MBR una de las componentes principales involucrada en la instrucción del alumno es la adaptación y partiendo de la analogía entre las preguntas y las restricciones, se ha podido extender los mecanismos de adaptación de los TAI a sistemas MBR.
Para estudiar empíricamente la validez e idoneidad del modelo de evaluación se han implementado varios STI, los cuales han permitido la evolución y depuración del modelo. Este desarrollo del modelo ha tenido como fruto un marco de trabajo que ofrece servicios de evaluación a EIRP externos. De esta forma, cualquier sistema que proporcione la evidencia adecuada puede realizar la evaluación en dominios procedimentales.
Con el modelo de evaluación que esta tesis presenta se propone una forma de paliar la limitación de la evaluación formal en sistemas de tests mediante el uso de EIRP. A la vez, se cubren las debilidades existentes en sistemas MBR reemplazando los heurísticos por una técnica bien fundamentada de evaluación.
