Orchestrating Evaluation of Complex Educational Technologies: A Case Study of a CSCL System

• Prieto, Luis P. ^[2] ; Dimitriadis, Yannis ^[1] ; Asensio-Pérez, Juan I. ^[1]
  1. [1] Universidad de Valladolid

     Universidad de Valladolid

     Valladolid, España

     
  2. [2] École Polytechnique Fédérale de Lausanne
• Localización: Qualitative Research in Education, ISSN-e 2014-6418, Vol. 3, Nº. 2, 2014 (Ejemplar dedicado a: June. Special Issue), págs. 175-205
• Idioma: inglés
• Títulos paralelos:
  • Orquestando la Evaluación de Tecnologías Educativas Complejas: Estudio de Caso de un Sistema CSCL
• Enlaces
  • Texto completo (pdf)
• Dialnet Métricas: 1 Cita
• Resumen
  • español

    A medida que las tecnologías digitales penetran en nuestra vida diaria, la complejidad de los entornos educativos, y del soporte tecnológico que usamos en ellos, aumenta. Esta mayor complejidad, y la necesidad de los educadores de aplicar nuevas tecnologías en entornos auténticos (con sus múltiples restricciones), han dado lugar a la noción de la práctica educativa con tecnología como una “orquestación del aprendizaje”. Por otro lado, paralelamente, la complejidad de evaluar los beneficios de estas tecnologías educativas también ha aumentado, y no está claro cómo los investigadores-evaluadores pueden hacer frente a la multiplicidad de lugares, tecnologías, informantes y cuestiones que conlleva esta actividad evaluadora. Mediante la proposición de la noción de “orquestación de la evaluación”, este artículo intenta reconciliar las “descripciones de cara al público” que se dan en las publicaciones científicas y la “práctica a pie de planta” de la evaluación de tecnologías educativas, a través del estudio de un caso en el que los autores evaluaron un sistema (GLUE!-PS) para ayudar a profesores a coordinar escenarios colaborativos soportados por ordenador. En este artículo se reutiliza un marco conceptual sobre “aspectos de orquestación”, evaluado internacionalmente, para estructurar la narrativa del caso, mostrando, por ejemplo, cómo las preguntas de evaluación y métodos planeados originalmente fueron modulados para hacer frente a las múltiples restricciones que planteó la evaluación en entornos educativos auténticos.

  • English

    As digital technologies permeate every aspect of our lives, the complexity of the educational settings, and of the technological support we use within them, unceasingly rises. This increased complexity, along with the need for educational practitioners to apply such technologies within multi-constraint authentic settings, has given rise to the notion of technology-enhanced learning practice as “orchestration of learning”. However, at the same time, the complexity involved in evaluating the benefits of such educational technologies has also increased, prompting questions about the way evaluators can cope with the different places, technologies, informants and issues involved in their evaluation activity. By proposing the notion of “orchestrating evaluation”, this paper tries to reconcile the often disparate “front office accounts” of research publications and the “shop floor practice” of evaluation of educational technology, through the case study of evaluating a system to help teachers in coordinating computer-supported collaborative learning scenarios (GLUE!-PS). We reuse an internationally-evaluated conceptual framework of “orchestration aspects” (design, management, adaptation, pragmatism, etc.) to structure the case’s narrative, showing how the original evaluation questions and methods were modulated in the face of the multiple (authentic) evaluation setting constraints.