Artificial intelligence versus journalists: The quality of automated news and bias by authorship using a Turing test

• La-Rosa Barrolleta, Leonardo Alberto ^[1] ; Sandoval-Martín, Teresa ^[2]
  1. [1] Universidad Nebrija

     Universidad Nebrija

     Madrid, España

     
  2. [2] Universidad Carlos III de Madrid

     Universidad Carlos III de Madrid

     Madrid, España

     
• Localización: Anàlisi: Quaderns de comunicació i cultura, ISSN-e 2340-5236, ISSN 0211-2175, Nº 70, 2024 (Ejemplar dedicado a: Miscel·lani), págs. 15-36
• Idioma: inglés
• Títulos paralelos:
  • Inteligencia artificial frente a periodistas: calidad de las noticias automatizadas y sesgo por autoría mediante una prueba de Turing
  • Intel·ligència artificial enfront de periodistes: qualitat de les notícies automatitzades i biaix per autoria mitjançant una prova de Turing
• Enlaces
  • Texto completo
• Resumen
  • español

    Con la integración de la inteligencia artificial (IA) en los medios cada día se publican miles de noticias automatizadas en español. Este estudio compara la calidad de las noticias escritas por periodistas profesionales (de Efe) con las realizadas con programas informáticos de generación de lenguaje natural (NLG) (de narrativa) mediante un test de Turing. Basado en dimensiones cruciales para la percepción de noticias (Sundar,1999) — credibilidad, legibilidad y pericia periodística—, se usa una metodología experimental comprobada a escala internacional para explorar un tema inédito en español: información de salud. El experimento varió intencionadamente las autorías reales y declaradas — periodistas humanos e IA— para detectar posibles sesgos en torno a la credibilidad de la autoría. Se usó un cuestionario autoadministrado adaptado para encuestas en línea (N = 222) y se minimizaron los desequilibrios de género para asegurar la paridad de la muestra (N = 128). El estudio revela que no hay diferencias significativas entre las noticias generadas por IA y las elaboradas por periodistas profesionales. Ambos tipos de noticias son consideradas igualmente creíbles, aunque se detectaron algunos sesgos en la evaluación de la autoría declarada: la IA como autor es percibida como más creíble que el humano, mientras se considera que el periodista humano escribe textos más vívidos. El estudio concluye que es factible producir noticias automatizadas en español sin comprometer su calidad. En el panorama mediático global, los sistemas automatizados que emplean GLN, aprendizaje automático y sofisticadas bases de datos avanzan con éxito hacia nuevos ámbitos, como la información de salud.

  • English

    The integration of Artificial Intelligence (AI) in the media results in the publication of thousands of automated news articles in Spanish every day. This study uses a Turing test to compare the quality of news articles written by professional journalists (from Efe) with those produced by natural language generation (NLG) software (from Narrativa). Based on Sundar’s dimensions (1999) crucial to news perception – credibility, readability and journalistic expertise – , an internationally validated experimental methodology is employed, exploring a novel topic in Spanish: health information. The experiment deliberately varied real and declared authorships – AI and human journalists – to detect potential biases in assessing authorship credibility. A self-administered questionnaire adapted for online surveys was used (N=222), and gender imbalances were minimized to ensure gender equality in the sample (N=128). The study reveals that there are no significant differences between news articles generated by the AI and those written by professional journalists. Both types of news are considered equally credible, though some biases are detected in the evaluation of declared authorship: the AI author is perceived as more believable than the human, while the human journalist is perceived as creating a more lively narrative. The study concludes that it is feasible to produce automated news in Spanish without compromising its quality. In the global media landscape, automated systems employing NLG, machine learning and sophisticated databases successfully advance into new domains such as health information.

  • català

    Amb la integració de la intel·ligència artificial (IA) en els mitjans cada dia es publiquen milers de notícies automatitzades en espanyol. Aquest estudi compara la qualitat de les notícies escrites per periodistes professionals (d’Efe) amb les realitzades amb programes informàtics de generació de llenguatge natural (NLG) (de narrativa) mitjançant un test de Turing. Basat en dimensions crucials per a la percepció de notícies (Sundar,1999) — credibilitat, llegibilitat i perícia periodística—, s’usa una metodologia experimental comprovada a escala internacional per explorar un tema inèdit en espanyol: informació de salut. L’experiment va variar intencionadament les autories reals i declarades — periodistes humans i IA— per detectar possibles biaixos entorn de la credibilitat de l’autoria. Es va fer servir un qüestionari autoadministrat adaptat per a enquestes en línia (N = 222) i es van minimitzar els desequilibris de gènere per assegurar la paritat de la mostra (N = 128). L’estudi revela que no hi ha diferències significatives entre les notícies generades per IA i les elaborades per periodistes professionals. Tots dos tipus de notícies són considerades igualment creïbles, encara que es van detectar alguns biaixos en l’avaluació de l’autoria declarada: la IA com a autor és percebuda com més creïble que l’humà, mentre que es considera que el periodista humà escriu textos més vívids. L’estudi conclou que és factible produir notícies automatitzades en espanyol sense comprometre’n la qualitat. En el panorama mediàtic global, els sistemes automatitzats que empren GLN, aprenentatge automàtic i sofisticades bases de dades avancen amb èxit cap a nous àmbits, com la informació de salut.