Resumen de El formato del ítem y la naturaleza del constructo medido un estudio acerca del significado de las puntuaciones de los ítems
Esta tesis doctoral se plantea como objetivo intentar avanzar en la comprensión del significado psicológico de las puntuaciones obtenidas al aplicar un test para medir un determinado constructo o característica, cuando esto se hace mediante la formulación de preguntas o ítems con distinto formato de respuesta. Se pretende dar una explicación de qué es lo que sucede cuando un sujeto se enfrenta a la realización de la tarea formulada por una pregunta de una prueba, es decir, se trata de identificar qué factores influyen en la respuesta que finalmente da un sujeto al ítem de un test y de determinar si estos factores influyen de forma diferente según sea el formato utilizado para plantear dicha tarea.
Para responder a estos interrogantes y ver dónde residen las posibles diferencias según el formato utilizado para la tarea, se formuló un modelo teórico con variables de diversa naturaleza que explicarían la actuación en el ítem y que podrían ser capaces de revelar diferencias individuales en aspectos importantes subyacentes a la puntuación obtenida por el sujeto. El modelo propuesto en la tesis plantea considerar variables procedentes del ámbito cognitivo pero también variables procedentes del ámbito no cognitivo para tratar de entender cómo responde el sujeto a la tarea planteada en un ítem de un test.
Dentro del ámbito cognitivo se atiende básicamente a la forma en la que se organiza el conocimiento y la manera en la que se procesa la información. Así, las variables propuestas en el modelo son el conocimiento (declarativo y procedimental, el saber qué y cómo) y los componentes de ejecución de la teoría triárquica de Sternberg (codificación, combinación y respuesta).
Dentro del ámbito no cognitivo se atiende, por un lado, a la gestión del conocimiento y del proceso de ejecución de la tarea y, por otro, a las propias características de la tarea.
Por lo que respecta a los aspectos metacognitivos, las variables propuestas en el modelo son el conocimiento estratégico, las habilidades de regulación metacognitiva (capacidad de planificar adecuadamente el trabajo, de manejar certeramente la información disponible, de controlar y monitorizar el trabajo para depurar errores y de evaluar la solución final hallada) y la percepción que tienen los sujetos acerca de sus propios recursos ante la tarea, el conocimiento del alcance y profundidad de nuestro conocimiento, de las propias fortalezas y debilidades.
Las características de la tarea que se demanda a los sujetos constituyen variables fundamentales que promueven procesos motivacionales y volitivos que pueden influir en la resolución de dicha tarea, por lo que las variables propuestas en el modelo son el valor atribuido a la tarea planteada en los ítems y la dificultad que los sujetos perciben que ésta suscita, tanto en lo relacionado al contenido de la misma como al formato en que se presenta.
Se diseñaron tres instrumentos para la recogida de datos: dos pruebas para administrar a estudiantes y una hoja de registro para sus profesores. Con la prueba de competencias se evaluaba la actuación de los sujetos en cada uno de los formatos de ítem considerados: elección múltiple, respuesta corta y evaluación de la actuación. Con la prueba general se recababa toda la información relativa a las variables incluidas en el modelo como posibles predictores, a excepción de las relativas al conocimiento. Estas dos pruebas se administraron a una muestra de conveniencia formada por 556 estudiantes de 4º curso de bachillerato (con una mayoría de estudiantes con 15 años) de centros educativos ubicados en el Estado Trujillo en Venezuela. En la hoja de registro los profesores indicaban para cada estudiante su última calificación en matemáticas, así como una estimación de su nivel de conocimiento declarativo y procedimental.
Formulado el modelo y recogidos los datos para todas las variables del mismo con los instrumentos anteriores, se procedió a su estimación con los datos obtenidos en cada uno de los tres formatos considerados en el estudio, con el fin de ver qué variables tenían un peso significativo en la actuación del sujeto en cada uno de ellos y si estas variables eran las mismas o variaban con el formato. Se trabajó con el modelo lineal generalizado con función de enlace el logit, utilizando un modelo de regresión logística binaria para los tres tipos de formato de ítem.
Los resultados obtenidos ponen de manifiesto que todas las variables introducidas en el modelo teórico formulado influyen en mayor o menor medida en la respuesta que da el sujeto al afrontar la tarea y que las variables relacionadas con el sujeto influyen más que las variables relacionadas con las características de la tarea. En particular, se puede afirmar que las variables que parecen tener más fuerza en la actuación de los sujetos en la prueba son las relativas a la forma en la que se procesa la información, especialmente el componente de combinación en el formato de elección y todos los componentes considerados en los ítems de respuesta construida. Los aspectos metacognitivos tienen un peso importante pero menor, en especial los procesos de control y la competencia autopercibida. También aquí se observa una mayor influencia para el formato de construcción que para el de elección, donde únicamente las actividades de control cognitivo muestran un efecto similar al de los otros formatos. El siguiente bloque de variables con un peso importante en la actuación de los sujetos en la prueba es el relativo al nivel de conocimiento de los sujetos. Las variables relativas a las características de la tarea tienen una influencia menor que el resto.
Por lo que respecta a la posible influencia diferencial de las variables según el formato en que se plantea la tarea los resultados obtenidos permiten concluir que, pese a algunas coincidencias encontradas, el formato de elección difiere en aspectos importantes del formato de construcción.
Por un lado, el procesamiento de la información resulta más sencillo cuando la tarea se plantea con un formato de elección que cuando el formato es de construcción. Asimismo, el formato en que se presenta la tarea parece activar distintos tipos de conocimiento: en el formato de elección prima el conocimiento declarativo, mientras que en el formato de construcción lo hace el procedimental.
Por otro lado, la dificultad percibida de la tarea es distinta (siendo muy similar el índice de dificultad de las preguntas con distinto formato) y tiene que ver más con el formato utilizado para demandarla que con el contenido de la misma, siendo el formato de elección el que se considera más sencillo de los 3. Tal y como se esperaba, el contenido de los ítems se juzga igual de atractivo y no contribuye de forma diferente a la dificultad percibida de la tarea, esto es, la dificultad de la pregunta vinculada al contenido de la tarea que ésta plantea es baja y similar en los 3 formatos. Sin embargo, se juzga más difícil la tarea cuando se presenta en un formato de construcción (especialmente de EA) que cuando se hace en el formato de elección. En consonancia con lo anterior, los sujetos se consideran más competentes para realizar la tarea cuando ésta se plantea en un formato de elección que en un formato de construcción.
En suma, el trabajo realizado permite concluir que las variables identificadas en el modelo teórico propuesto parecen constituir factores que guardan una relación bastante estrecha con la forma en que un sujeto realiza la tarea planteada en los ítems de un test. En particular, la forma en que se procesa la información parece desempeñar un papel muy importante, cualquiera que sea el formato en que se plantee dicha tarea. Ahora bien, el formato de elección parece diferir en aspectos importantes del formato de construcción: en el tipo de conocimiento que se demanda para responder, en lo fáciles o difíciles que se perciben las tareas formuladas en uno y otro -más fáciles los de elección y con más dificultad para procesar la información cuando el formato es de construcción- y difieren también en lo competentes que se perciben los sujetos para realizar la tarea, en buena lógica más competentes en el formato que juzgan más sencillo, el de elección.
