Comparar medias no es el medio: cuantificando el desempeño de los estudiantes en exámenes estandarizados

• Gómez Soler, Silvia C. ^[1]
  1. [1] Pontífica Universidad Javeriana

     Pontífica Universidad Javeriana

     Colombia

     
• Localización: Cuadernos de Administración, ISSN-e 1900-7205, ISSN 0120-3592, Vol. 26, Nº. 46, 2013, págs. 201-239
• Idioma: español
• Títulos paralelos:
  • Comparar as médias não é o meio: quantificando o desempenho dos estudantes em exames padronizados
  • Comparing Means can be Mean: Quantifying the Performance of Students at Standardized Exit Exams
• Enlaces
  • Texto completo
• Resumen
  • español

      El trabajo propone una metodología alternativa para analizar los resultados de exámenes estandarizados, que hasta la fecha se han analizado mediante rankings construidos a partir de promedios aritméticos. Utilizando la técnica Propensity Score Matching se comparan los resultados de estudiantes con características semejantes en los exámenes de Estado colombianos a nivel universitario (ECAES), implementados por el Ministerio de Educación en 2003. Se analiza el caso de los estudiantes de Administración de Empresas de la Universidad Javeriana, pero la metodología puede replicarse en otros programas y universidades. Los resultados muestran un impacto significativo del tratamiento (ser estudiante de la Javeriana) sobre el desempeño en el ECAES. A diferencia de los estudios que usan rankings a partir de promedios, los estudiantes de la Javeriana tienen mejor desempeño que los estudiantes comparables, demostrándose que la construcción e interpretación de rankings es inapropiada.

           

  • English

      The current work introduces an alternative analysis approach to standardized exam results, which have been so far scrutinized by means of ranking systems based on arithmetic mean comparisons. The Propensity Score Matching technique is applied to compare the results of equivalent students in the Colombian field-specific college exit exam (ECAES), which was introduced by the National Education Ministry in 2003. The specific case of the students enrolled at Universidad Javeriana’s Business Administration Program is addressed, but the methodology can be easily applied to other programs and universities. The results show a strong treatment effect of attending Universidad Javeriana on the performance in this exam. In contrast to the results of previous ranking studies based on simple average data, students from Universidad Javeriana were found to perform better than equivalent students. This shows that the construction and interpretation of those rankings might be flawed.

       

  • português

      Neste trabalho, propõe-se uma metodologia alternativa para analisar os resultados de exames padronizados que até o momento são analisados mediante rankings construídos a partir de médias aritméticas. Ao utilizar a técnica Propensity Score Matching, comparam-se os resultados de estudantes com características semelhantes nos exames de estado colombianos em nível universitário (ECAES), implementados pelo Ministério da Educação em 2003. Analisa-se o caso dos estudantes de Administração de Empresas da Universidad Javeriana, mas a metodologia pode ser aplicada em outros programas e universidades. Os resultados mostram um impacto significativo do tratamento (ser estudante da Javeriana) sobre o desempenho no ECAES. À diferença dos estudos queusam rankings a partir de médias, os estudantes da Javeriana têm melhor desempenho que os estudantes comparáreis, o que demonstra que a construção e a interpretação desses rankings não são apropriadas.