Funcionamiento diferencial del item : una aproximación a la regresión logística

Abstract

Nos encontramos frente a una sociedad donde las personas difieren en multitud de variables como la cultura, el idioma o la etnia. Es por ello que los profesionales deben garantizar que sus evaluaciones sean justas e independientes de las diferencias interpersonales.

En esta realidad, adquiere un papel fundamental la correcta detección de los ítems que funcionan diferencialmente para ciertos grupos de personas. De entre la diversidad de técnicas estadísticas para detectar ítems con funcionamiento diferencial del ítem (DIF), el presente estudio se ha centrado en la regresión logística (RL), uno de los procedimientos más ampliamente utilizados por su comprobada eficacia para su uso en la detección tanto del DIF uniforme como no-uniforme (Clauser y Mazor, 1998).

El primer aspecto que se ha estudiado en esta tesis es el comportamiento de la productividad científica en el estudio y aplicación de la RL como técnica de análisis y detección del DIF.

El segundo estudio, con el fin de encontrar posibles brechas en el estudio de la RL, consiste en una revisión sistemática centrada en los trabajos que emplean datos simulados, analizando en profundidad las condiciones de simulación en las que se ha estudiado el funcionamiento de la LR hasta la actualidad. En la revisión sistemática, se observa que, especialmente en el ámbito de la salud, una tendencia general es utilizar pruebas cada vez más cortas, buscando un equilibrio razonable entre el tiempo de administración y la validez y precisión de las puntuaciones obtenidas con estos instrumentos. Hasta el momento son escasos los trabajos que han analizado el funcionamiento de la RL en tests de longitud reducida, por lo que se considera necesario realizar un estudio de simulación para abordar este aspecto.

El tercer lugar, y para concluir la tesis, se ha realizado un estudio de simulación para comprobar la eficacia relativa de la regresión logística discriminante (RLD) e IRTLRDIF en la detección del DIF en tests cortos con ítems politómicos. Para ello, se manipularon diversas variables como el tamaño del test y de la muestra, la cantidad DIF y número de categorías de respuesta al ítem. Los resultados muestran como, en las condiciones de ausencia de DIF, tanto la IRTLRDIF como la RLD revelan tasas de Error Tipo I cercanas al nivel nominal. En el caso de tests con DIF, las tasas de Error Tipo I dependieron de la longitud del test, tamaño de la muestra, cantidad de DIF, contaminación del test y número de categorías del ítem. La RLD presentó mayor tasa de Error Tipo I que IRTLRDIF. La potencia se vio afectada por la cantidad de DIF y tamaño de la muestra. En tests muy cortos la RLD mostró mayor potencia que IRTLRDIF.

En su conjunto, esta tesis supone un avance en el conocimiento de la RL en la detección del DIF y en su eficacia, bajo diferentes condiciones, abriendo nuevas líneas de investigación en el estudio de su eficiencia en otras condiciones menos exploradas. We are involved in a society where people differ in multitude of variables such as culture, language or ethnicity. That is why professionals must ensure that their assessments are fair and independent of interpersonal differences.

In this reality, a fundamental role is the correct detection of the items that work differentially for certain groups of individuals. Among the diversity of statistical techniques to detect items with differential item functioning (DIF), the present study has been focused on logistic regression (LR), one of the most widely used procedures for its proven efficacy for detection both types of DIF, uniform and non-uniform DIF (Clauser and Mazor, 1998).

The first aspect that has been studied in this thesis is the behavior of scientific production in the study and the application of LR, as a technique for analysis and detection of DIF.

The second study, carried out in order to find possible gaps in the study of LR, is a systematic review focused on the works that use simulated data, analyzing in depth the simulation conditions in which the functioning of LR has been studied to date. In the systematic review has been observed that, especially in the field of health, a general trend is to increasingly use shorter tests, seeking a reasonable balance between the time of administration and the validity and precision of the scores obtained with these instruments. So far, there are few studies that have analyzed the functioning of LR in short tests, so it is necessary to carry out a simulation study to address this aspect.

Thirdly, and to conclude the thesis, a simulation study has been conducted to test the effectiveness of discriminant logistic regression (DLR) and IRTLRDIF in the detection of DIF in short tests with polytomous items. To do this, several variables were manipulated such as test length, sample size, amount of DIF and number of item response categories. Under no-DIF conditions, both IRTLRDIF and DLR show Type I error rates close to the nominal level. Under DIF conditions, Type I error rates were affected by test length, sample size, amount of DIF, degree of test contamination, and number of item response categories. DLR showed a higher Type I error rate than did IRTLRDIF. Power rates were affected by the amount of DIF and sample size, but not by test length. In very short tests DLR achieved higher power rates than did IRTLRDIF in very short tests, although the high Type I error rate involved means that this result cannot be taken into account.

As a whole, this thesis constitutes a significant step forward in the knowledge of LR as a DIF detection technique and of its efficacy under different conditions, opening new lines of research in the study of its efficiency in other less studied conditions.