Houston, We Have a Problem: Teachers Find No Value in the SAS Education Value-Added Assessment System (EVAAS®)

• Autores: Clarin Collins
• Localización: Archivos Analíticos de Políticas Educativas=Education Policy Analysis Archives, ISSN-e 1068-2341, Vol. 22, Nº. 1, 2014
• Idioma: inglés
• Títulos paralelos:
  • Houston, temos um problema: Os professores não acham valor na avaliação do sistema SAS de valor agregado da educação.
  • Houston, tenemos un problema: Los docentes no le encuentran valor al sistema SAS de evaluación de valor agregado de la educación.
• Enlaces
  • Texto completo
• Resumen
  • español

    Este estudio examinó la implementación del sistema SAS de evaluación de valor agregado de la educación (EVAAS®), tal como fue percibido y experimentado por docentes en el Distrito Escolar del Suroeste (SSD). El SSD, está utilizando el SAS EVAAS® con consecuencias severas. más que cualquier otro distrito o estado en el país. Un diseño de métodos mixtos que incluye una encuesta electrónica a gran escala, se utilizó para investigar: la fiabilidad y la validez del modelo; para determinar si los profesores utilizan los datos SAS EVAAS® en maneras formativas según lo previsto; para reunir opiniones de los docentes sobre los beneficios y de acuerdo a lo que promociona la empresa que produce SAS EVAAS®; y para comprender las consecuencias no deseadas que se produjeron como consecuencia de la utilización SAS EVAAS® en SSD. Los resultados revelaron que la fiabilidad del modelo SAS EVAAS® produce resultados inconsistentes entre los participantes, y los profesores indicaron que los estudiantes sesgaban los resultados del SAS EVAAS®. La mayoría de los profesores no estuvo de acuerdo con los beneficios que el marketing de la empresa promocionaba y los puntajes de SAS EVAAS® y de observación no eran similares a los que los directores de escuelas recibían, reduciendo la validez de criterio de ambas medidas de calidad. Muchas consecuencias no deseadas asociadas con las consecuencias severas de SAS EVAAS® surgieron a través de las respuestas de los docentes, que revelaron que la presión y la competencia, redujo la moral y la colaboración, y estimulo a hacer trampa o enseñar para responder examenes en un intento de aumentar puntuaciones de SAS EVAAS®. Los resultados de este estudio, uno de los primeros en investigar cómo funciona el modelo SAS EVAAS® en la práctica, deben ser considerados por los responsables políticos, los investigadores y los distritos de la hora de considerar la aplicación de la SAS EVAAS®, o cualquier modelo de valor agregado para la evaluación de los maestros.

  • português

    O presente estudo analisou a implementação do sistema SAS para a avaliação do sistema SAS de valor agregado da educação (EVAAS®), como foi percebido e experimentado pelos professores do Distrito Escolar do Sudoeste (SSD). O SSD está usando SAS EVAAS® com consequências graves. mais do que qualquer outro distrito ou estado do país. Um projeto de métodos mistos, que inclui uma pesquisa on-line de grande escala, foi utilizado para investigar: a confiabilidade e a validade do modelo; para determinar se os professores utilizam SAS maneiras EVAAS® dados em formação como o planejado; para recolher feedback dos professores sobre os benefícios e de acordo com o que promove a empresa produtora EVAAS® SAS; e compreender as consequências não intencionais que ocorreram como resultado do uso de SAS SSD EVAAS®. Os resultados revelaram que a confiabilidade do modelo SAS produz resultados inconsistentes EVAAS® entre os participantes e os professores indicaram que os estudantes sesgaban resultados EVAAS® SAS. A maioria dos professores não concordavam com os benefícios que a empresa de marketing promovidas e SAS pontuação EVAAS® e observação não foram semelhantes aos diretores recebido, reduzindo a validade do critério de ambas as medidas qualidade. Muitas consequências indesejadas associadas com as graves consequências da SAS EVAAS® surgiu através de respostas dos professores, que revelou que a pressão e a competição, reduziu a moral e colaboração, e incentivo para trapacear ou exames de ensino para responder uma tentativa de aumentar a pontuação EVAAS® SAS. Os resultados deste estudo, um dos primeiros a investigar a forma como o modelo SAS EVAAS® funciona na prática, deve ser considerado pelos decisores políticos, investigadores e distritos quando se considera a aplicação da SAS EVAAS® ou qualquer modelo de valor agregado para a avaliação de professores. 

  • English

    This study examined the SAS Education Value-Added Assessment System (EVAAS®) in practice, as perceived and experienced by teachers in the Southwest School District (SSD). To evaluate teacher effectiveness, SSD is using SAS EVAAS® for high-stakes consequences more than any other district or state in the country. A mixed-method design including a large-scale electronic survey was used to investigate the model’s reliability and validity; to determine whether teachers used the SAS EVAAS® data in formative ways as intended; to gather teachers’ opinions on SAS EVAAS®’s claimed benefits and statements; and to understand the unintended consequences that occurred as a result of SAS EVAAS® use in SSD. Results revealed that the reliability of the SAS EVAAS® model produced split and inconsistent results among teacher participants, and teachers indicated that students biased the SAS EVAAS® results. The majority of teachers disagreed with the company’s marketing claims and did not report similar SAS EVAAS® and principal observation scores, reducing the criterion-related validity of both measures of teacher quality. Many unintended consequences associated with the high-stakes use of SAS EVAAS® emerged through teachers’ responses, which revealed among others that teachers felt heightened pressure and competition, which reduced morale and collaboration, and encouraged cheating or teaching to the test in attempt to raise SAS EVAAS® scores. The results of this study, one of the first to investigate how the SAS EVAAS® model works in practice, should be considered by policymakers, researchers, and districts when considering implementing the SAS EVAAS®, or any value-added model for teacher evaluation.