Resumen de Sistema de ayuda para la calibración de ítems por el procedimiento basado en el juicio de expertos

M. Concepción Presedo García, Ana Jesús Armendariz Leunda, Javier López Cuadrado, Tomás Antonio Pérez Fernández

• español

  La evaluación es un aspecto esencial del aprendizaje, siendo los bancos de ítems un recurso común para realizar este tipo de quehaceres. La evaluación profesional utiliza bancos calibrados, siendo la calibración un proceso para la estimación de parámetros de dichos ítems, por ejemplo, la dificultad. Una opción para la calibración de ítems es el proceso basado en utilizar un panel de expertos para recabar sus valoraciones y determinar a partir de ellas los parámetros. Este artículo describe CALLIE-PRO: un sistema que personaliza y automatiza el proceso de calibración de ítems basado en el juicio de expertos. El sistema guía al usuario recomendando una opción para cada decisión que hay que tomar, adaptándose a alteraciones en la especificación y avisando de decisiones no recomendables o incorrectas. Además, a partir de la especificación del proceso, genera un paquete de contenidos de e-learning que se puede incluir en un sistema de gestión del aprendizaje (LMS) como, por ejemplo, Moodle. El paquete se encarga de recopilar los juicios de expertos a través de la red y finalmente, genera un workflow ejecutable con las actividades que se deben realizar utilizando los datos recopilados, generalmente estudios y cálculos, para estimar la dificultad de los ítems.

• English

  Evaluation is a key issue in learning and item banks are very common resources used to perform activities related to it. Professional evaluation deals with banks that are calibrated, which means that the parameters of the items (for example, their difficulty) have previously been estimated. One option for item calibration consists in gathering the assessments of a panel of experts and using them to determine the values of the item parameters. This paper describes CALLIE-PRO: a system that customizes and automates the process of item calibration based on expert judgment. It guides the user by recommending a choice for every decision to be made, adapting to changes in the specification, and warning of non advisable or incorrect choices. It also creates an e-learning content package that depends on the process specification and can be included in a learning management system such as, for example, Moodle. This package is responsible for gathering the assessments of the experts via the internet and generating an executable workflow that will include the activities to be performed, which are mainly analyses and calculi, by using all gathered data. Finally, the system provides estimates for the parameters (difficulty) of the items.