What I learned interviewing a robot. Notes on the experimental application of the EIAF methodology using the ChatGPT artificial intelligence tool

• Carneiro dos Santos, Márcio ^[1]
  1. [1] Universidade Federal do Maranhão

     Universidade Federal do Maranhão

     Brasil

     
• Localización: Hipertext.net: Revista Académica sobre Documentación Digital y Comunicación Interactiva, ISSN-e 1695-5498, Nº. 26, 2023 (Ejemplar dedicado a: The Impact of Artificial Intelligence in Communication. Trends)
• Idioma: inglés
• Títulos paralelos:
  • Lo que aprendí entrevistando a un robot. Apuntes sobre la aplicación experimental de la metodología EIAF utilizando la herramienta de inteligencia artificial ChatGPT
• Enlaces
  • Texto completo
• Resumen
  • español

    Este artículo presenta la metodología EEEF (Entrevista Exploratoria para la Evaluación de Funcionalidades), y propone la forma en que los investigadores de comunicación pueden emplearla en escenarios donde deben estudiar características o analizar material textual creado por algoritmos de inteligencia artificial generativa. Para este trabajo se realizó una extensa entrevista, en portugués, con la herramienta de conversación desarrollada por OPENAI, llamada ChatGPT, así como la definición de un conjunto de parámetros: transparencia, estructuración, precisión, variedad y actualización, las cuales fueron utilizadas en el experimento para testar la herramienta metodológica. El experimento demostró que, a pesar de ser correctos y bien estructurados, los textos creados vía código presentan la necesidad de una revisión humana que, al final del proceso, sigue siendo imprescindible, especialmente en materiales que tratan de hechos y datos objetivos.

  • English

    This paper describes the EIAF (Exploratory Interview for Assessing Functionalities) methodology and proposes how communication researchers could use it to study characteristics or analyze texts created by generative artificial intelligence algorithms. To do this, an in-depth interview in portuguese, was conducted with the ChatGPT conversation tool, developed by OPENAI. A set of specific categories were developed: self-identification, uses and limitations, validation tests, additional experimentation and metrics, transparency, structuring, precision, variety and updating, all of which were used in the experiment to test the proposed methodology. The experiment showed that despite being correct and well-structured, the code-produced texts needed human revision, essential especially for material that deals with facts and objective data.