The Legal Consequences of Mandating High Stakes Decisions Based on Low Quality Information: Teacher Evaluation in the Race-to-the-Top Era

• Autores: Bruce D. Baker, Joseph O. Oluwole, Preston C. Green III
• Localización: Archivos Analíticos de Políticas Educativas=Education Policy Analysis Archives, ISSN-e 1068-2341, Vol. 21, Nº. 1, 2013
• Idioma: inglés
• Títulos paralelos:
  • As consequências legais de impor decisões de consequências graves com base em informações de má qualidade: avaliação de professores na era da "carreira para a cima”
  • Las consecuencias jurídicas de imponer decisiones de consecuencias severas basadas en Información de baja calidad: Evaluación docente en la era de “Carrera hacia la cima”
• Enlaces
  • Texto completo
• Resumen
  • español

    En este artículo, explicamos cómo marcos reglamentarios y legales altamente prescriptivos y rígidos en materia de políticas sobre evaluación de los docentes, su estabilidad y otras decisiones en materia de empleo  superan la fiabilidad estadística y la validez de las medidas propuestas de efectividad de la enseñanza. Empezamos con una discusión de la aparición de lo que consideramos una legislación estatal excesivamente rígida con respecto a la utilización de resultados de exámenes de estudiantes dentro de sistemas de evaluación docente, específicamente para tomar decisiones sobre la estabilidad laboral. Luego, se explican las características más problemáticas de esas políticas, que pueden incluir: a) los requisitos que la prueba de las medidas se constituyen en cuestiones de peso fijas, no negociables en las decisiones finales, b) que los resultados de exámenes de estudiantes se usen para asignar a los docentes en categorías de eficacia más allá de la precisión o exactitud de los datos disponibles, y c) que criterios profesionales sean eliminados de los procesos de toma de decisiones relacionadas con  la estabilidad laboral y reemplazados por legislaciones (o regulaciones) que imponen medidas concretas tomadas cuando los profesores son clasificados en determinadas categorías de rendimiento. En la siguiente sección, señalamos que existen diferentes tipos de medidas que se están desarrollando y aplicando en diferentes estados, y explicamos que, si bien medidas de valor agregado en particular están diseñados para estimar el efecto de un docente en los resultados de los estudiantes, las medidas alternativas no están diseñadas para hacer esa inferencia y, por ende, no tienen lugar para influir en las decisiones sobre la eficacia docente. También explicamos que, debido a las propiedades de las estimaciones de valor agregado, estas no deberían ser tomadas en cuenta en decisiones de consecuencias severas basadas en marcos rígidos de política educativa como los discutidos en este trabajo. Por último, evaluamos las consecuencias jurídicas de una dependencia rígida en medidas de eficacia de la enseñanza que a) carecen de fiabilidad y b) pueden ser enteramente inválidas.

  • English

    In this article, we explain how overly prescriptive, rigid state statutory and regulatory policy frameworks regarding teacher evaluation, tenure and employment decisions outstrip the statistical reliability and validity of proposed measures of teaching effectiveness.  We begin with a discussion of the emergence of highly prescriptive state legislation regarding the use of student testing data within teacher evaluation systems, specifically for purposes of making employment decisions.  Next, we explain the most problematic features of those policies, which include a) requirements that test-based measures constitute fixed, non-negotiable weight in final decisions, b) that test-based measures are used to place teachers into categories of effectiveness by applying numerical cutoffs beyond the precision or accuracy of the available data, and c) that professional judgment is removed from personnel decisions by legislating (or regulating) specific actions be taken when teachers fall into certain performance categories.  In the subsequent section, we point out that different types of measures are being developed and implemented across states, and we explain that while value-added metrics in particular are, in fact designed to estimate a teacher’s effect on student outcomes, descriptive growth percentile measures are not designed for making such inference and thus have no place in making determinations regarding teacher effectiveness. We also explain that, due to the properties of value-added estimates, they have no place in making high-stakes decisions based on rigid policy frameworks like those described herein.  We evaluate the legal implications of rigid reliance on measures of teaching effectiveness that a) lack reliability and b) may be entirely invalid.

  • português

    Neste artigo, explicamos como marcos legais e políticos altamente prescritivos e rígidos usados para tomar decisões sobre emprego estabilidade, avaliação dos docentes excedem a confiabilidade estatística e validade das medidas propostas sobre a eficácia ensino. Começamos com uma discussão sobre o surgimento do que consideramos uma legislação estadual muito rígida sobre o uso de notas dos alunos em provas no sistema de avaliação de professores, especificamente para tomar decisões sobre a estabilidade do emprego. Em seguida, explicamos as características mais problemáticas dessas políticas, que podem incluir: a) os requisitos que as medidas dos testes constituem questões de peso fixo, não negociável nas decisões finais, b) que os resultados dos testes de alunos sejam utilizados para assignar aos professores em categorias de eficácia além da precisão ou exatidão dos dados disponíveis e, c) que os padrões profissionais sejam retirados dos processos de tomada de decisões relacionadas à segurança no emprego e substituídos pela legislação (ou regulamentos) que imponha medidas específicas quando os professores são classificadas em certas categorias de desempenho. Na próxima seção, constatamos que existem diferentes tipos de medidas que estão sendo desenvolvidas e implementadas em diferentes estados, e explicamos que enquanto as medidas de valor adicionado em particular, são projetados para estimar o efeito de um professor nos resultados dos alunos, medidas alternativas não são projetados para efetuar essa inferência e, portanto, não deveriam influenciar decisões sobre a eficácia do professor. Também explicamos que, devido às propriedades das estimativas de valor adicionado, estes não devem ser levadas em conta nas decisões de consequências graves para a política educacional como os discutidos neste trabalho. Por fim, avaliamos as consequências jurídicas de uma dependência rígida em medidas de eficácia do ensino que: a) não são de confiança e, b) podem ser totalmente inválidas.