Resumen de Evaluación de documental educativo con IAG utilizando prompt engineering

José Miguel Suárez Martínez, Roberto Arnau Roselló, Rubén Nieto González

• español

  El estudio aborda el uso de la inteligencia artificial generativa (IAG) en la evaluación de material audiovisual educativo, la unidad de análisis es el documental NOMADS producido en el Instituto de Educación Secundaria Cabo de la Huerta de Alicante, España, dentro de un proyecto Erasmus+ sobre derechos humanos. Se diseñó un sistema multiagente utilizando técnicas de prompt engineering (PE) en ChatGPT 4.0, con el objetivo de evaluar multidimensionalmente el documental mediante métricas basadas en indicadores clave. La base metodológica está fundamentada en la ingeniería semiótica, disciplina que estudia la interacción hombre-máquina, consta de cuatro fases en las que integra una variante del método Delphi, una técnica estructurada de obtención de consenso en un grupo de agentes expertos evaluadores.

  La primera fase del PE genera métricas de evaluación, después se definen perfiles de agentes expertos, en tercer lugar se modela la iteración de prompts para recolectar evaluaciones y en cuarto lugar la validación estadística de los resultados generados. Se despliegan unos instrumentos denominados factores de interacción adaptativa para trazar la evaluación multidimensional con técnicas de PE, integrando perspectivas de cinco expertos del ámbito educativo y audiovisual. Las métricas generadas lograron mapear aspectos como impacto educativo, narrativa transmedia y calidad audiovisual. El resultado aporta una propuesta metodológica con resultados validados desde el propio modelo con diferentes coeficientes, lo que requiere de posteriores validaciones tanto con herramientas cuantitativas como con expertos reales.

• English

  The study explores the use of generative artificial intelligence (GAI) in evaluating educational audiovisual material, focusing on the documentary NOMADS, produced at the Cabo de la Huerta Secondary School in Alicante, Spain, as part of an Erasmus+ project on human rights. A multi-agent system was developed using prompt engineering (PE) techniques in ChatGPT 4.0, aiming for a multidimensional evaluation of the documentary based on key performance indicators. The methodology is grounded in semiotic engineering, a discipline that analyzes human-computer interaction.

  The process comprises four phases and incorporates a variant of the Delphi method, a structured technique for achieving expert consensus. In the first phase, PE generates evaluation metrics. Then, expert agent profiles are defined. The third phase models the iteration of prompts to gather evaluations, and the final phase involves the statistical validation of results. Adaptive interaction factors are introduced as tools to map multidimensional evaluations using PE, integrating insights from five experts in education and audiovisual fields. The resulting metrics successfully captured elements such as educational impact, transmedia storytelling, and audiovisual quality. The outcome presents a validated methodological framework, with internally confirmed results through different coefficients, highlighting the need for further validation through both quantitative tools and real expert panels