Calibración de ítems vía expertos utilizando Moodle

• Concepción Presedo ^[1] ; Ana J. Arméndariz ^[1] ; Javier López-Cuadrado ^[1] ; Tomás A. Pérez ^[1]
  1. [1] Universidad del País Vasco/Euskal Herriko Unibertsitatea

     Universidad del País Vasco/Euskal Herriko Unibertsitatea

     Leioa, España

     
• Localización: Revista Iberoamericana de Educación, ISSN 1022-6508, ISSN-e 1681-5653, Vol. 69, Nº. Extra 1, 2015, págs. 117-131
• Idioma: español
• Títulos paralelos:
  • Experts-based item calibration using Moodle
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    Calibrar un conjunto de ítems mediante el juicio de expertos es un proceso que consiste en establecer en una métrica común la dificultad de cada ítem partiendo de una muestra de datos que ha sido recogida previamente a individuos especialistas en el tema sobre el que versan los ítems y que contiene estimaciones sobre el nivel de dificultad de cada uno de ellos. Este proceso de calibración no es una tarea simple, pues normalmente implica repartir el conjunto de ítems en distintos tipos de cuestionarios a distribuir entre los expertos, puede ser necesario que algunos ítems se repitan en varios cuestionarios y es conveniente comprobar que el valor estimado de la dificultad se hace sobre ítems no anómalos y se basa en las aportaciones de expertos fiables. Además, se deben consensuar los criterios, a veces dispares, de los expertos consultados.

    Este artículo se centra en la construcción y calibración del banco de ítems a partir del juicio de expertos de una manera electrónica y describe un procedimiento para este tipo de calibración utilizando una plataforma educativa web: Moodle. En la actualidad, Moodle es uno de los paquetes de software libre más populares para la creación de cursos y sitios Web basados en Internet, siendo utilizado por instituciones educativas a nivel mundial, para ofrecer formación online.

  • English

    The calibration of a set of items by expert judgment is the process of establishing the difficulty of each item in a common metric by using a sample of data that has been previously collected from specialists on the subject the items deal with. These data contains estimates of the level of difficulty of each item. This calibration process is not a simple task, since it usually involves the partition of the whole set of items into several questionnaires that are distributed among the experts, as well as, in some cases, the inclusion of common items into several questionnaires. Also it is recommendable to determine that both the items and the obtained estimated values for their difficulty are correct (i.e. non anomalous) and to check that the inputs given by the experts are trustworthy. Furthermore, a consensus must be reached when the criteria of the experts consulted are unequal.

    This paper focuses on the item bank construction and its calibration using expert judgments on-line, and describes a procedure for this type of calibration using an elearning platform: Moodle. Nowadays Moodle is one of the most popular free software packages for creating Internet-based courses and Web sites, and it is used worldwide by educational institutions to provide online training.