Resumen de ¿Puede engañarnos una IA? Carencias del estudiantado universitario para detectar ChatGPT

José Luis González Geraldo, Leticia Ortega López

• español

  La evolución que ha sufrido en los últimos meses la inteligencia artificial (IA), especialmente en la capacidad de generar textos de alta calidad argumentativa ha supuesto un hecho disruptivo en ámbitos académicos y en espacios de educación superior. Uno de los mayores retos actuales y futuros a los que nos enfrentamos reside en la dificultad de identificar aquellos textos que simulan nuestra narrativa humana en un lenguaje natural y que sin embargo han sido elaborados por una IA. OBJETIVOS: En la presente investigación analizamos hasta qué punto el estudiantado universitario de los grados en Educación Primaria y en Educación Social (n=130) es capaz de realizar esta distinción. METODOLOGÍA: A través de la implementación de cuestionarios realizados ad hoc, comprobamos el grado de percepción, complejidad y autoría con respecto a distintos textos. Los textos a analizar fueron diversas definiciones del concepto de educación, la mitad realizadas por humanos y la mitad realizadas por una IA que emulaba el grado de complejidad y expresión de los distintos perfiles y tonos humanos. De manera paralela, los análisis estadísticos han sido realizados a través de la función “Advanced Data Analysis” (anteriormente “Code Interpreter”) del propio ChatGPT y replicados en SPSS, encontrando una gran similitud entre ambos, cualitativamente coincidentes en todos los realizados, excepto uno. Además, los gráficos que se incluyen también han sido realizados gracias a esta función. RESULTADOS: Los resultados señalan la dificultad que los estudiantes de la muestra han tenido en detectar las definiciones realizadas por la IA. CONCLUSIONES: Pese a que, a día de hoy, los límites de la IA con respecto al pensamiento y razonamiento humano son claros, la versátil capacidad creativa de estos modelos de lenguaje dificulta y enmascara su identificación.

• English

  The evolution that artificial intelligence (AI) has undergone in recent months, especially in its capacity to generate high-quality argumentative texts, has been a disruptive event in academic environments and higher education spaces. One of the current and future significant challenges we face is the difficulty of identifying those texts that simulate our human narrative in a natural language yet have been crafted by an AI. OBJECTIVES: In the present research, we analyze to what extent university students from degrees in Primary Education and Social Education (n=130) can make this distinction. METHODOLOGY: By implementing ad hoc questionnaires, we verify the degree of perception, complexity, and authorship regarding different texts. The texts to be analyzed were various definitions of the concept of education, half made by humans and the other half by an AI that emulated the degree of complexity and expression of the different profiles and human tones. In parallel, the statistical analyses were conducted using the “Advanced Data Analysis” function (formerly “Code Interpreter”) of ChatGPT itself and replicated in SPSS, finding a high similarity between the two, qualitatively consistent in all but one. Additionally, the graphics included were also created using this function. RESULTS: The results indicate the difficulty the students in the sample had in detecting the definitions made by the AI. CONCLUSIONS: Although, as of today, the limits of AI concerning human thought and reasoning are clear, the versatile creative capacity of these language models makes their identification difficult and masks it.