Bias in consensus scoring, with examples from ability emotional intelligence tests

• Autores: Kimberly A. Barchard, James Russell
• Localización: Psicothema, ISSN-e 1886-144X, ISSN 0214-9915, Vol. 18, Nº. Extra 1, 2006 (Ejemplar dedicado a: Emotional intelligence), págs. 49-54
• Idioma: inglés
• Títulos paralelos:
  • Sesgos en la puntuación de consenso: ejemplos en pruebas de habilidad de inteligencia emocional
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    La puntuación de consenso se produce cuando las claves para puntuar un test están basadas en las respuestas de un grupo normativo. La puntuación de consenso es una atractiva alternativa a los métodos tradicionales que crean normas de puntuación para los test de habilidad. Es especialmente útil cuando los expertos no están de acuerdo en cuáles son las respuestas correctas a los ítems del test, como ocurre en el campo de las emociones y de la percepción de éstas. De las diferentes variantes de la puntuación de consenso, la puntuación de consenso basada en la moda (la respuesta más frecuente en un grupo normativo puntúa 1, todas las respuestas restantes puntúan 0) y la puntuación de consenso basada en la proporción (la puntuación de cada individuo en un ítem se corresponde con la proporción del grupo normativo que ha dado la misma respuesta a ese ítem) son los métodos más ampliamente utilizados y que muestran las propiedades psicométricas más prometedoras. Este artículo demuestra que la puntuación de consenso basada en la moda sesga los resultados de los pequeños subgrupos dentro del grupo normativo: cuando los subgrupos difieren en su respuesta modal, el tamaño de los subgrupos influirá en la puntuación media del grupo. Ningún sistema de puntuación conocido elimina este sesgo. En cambio, la puntuación de consenso basada en la proporción no sesga necesariamente los grupos pequeños, aunque puede mostrar sesgos en algunas situaciones extremas. Por lo tanto, la puntuación de consenso basada en la proporción es la opción más adecuada.

  • English

    Consensus scoring occurs when the scoring key for a test is based upon the responses of the norm group. Consensus scoring is an attractive alternative to traditional methods of creating a scoring key for ability tests, especially useful when experts disagree about the correct answers to test items, as they do in the area of emotions and emotion perception. Of the many variations of consensus scoring, mode consensus scoring (the most frequent response in a norm group is given a score of 1, and all other responses a score of 0) and proportion consensus scoring (each respondent�s score on an item is equal to the proportion of the norm group who match the respondent�s answer) are the most widely used and the most psychometrically promising. This paper demonstrates that mode consensus scoring is biased against smaller sub-groups within the norm group: when sub-groups differ in their modal responses, the size of the sub-groups will influence the average group score. No known scoring option eliminates this bias. In contrast, proportion consensus scoring is not necessarily biased against smaller groups, although bias does occur in some extreme situations. Proportion consensus scoring is therefore the preferred consensus scoring option at this time.