Verbos Dicendi como Indicadores de Coerência em Resumos: uma análise humana e automatizada

• Osmar de Oliveira Braz Junior ^[1] ; Ana Julia Araujo Sanchuki ^[2] ; Roberlei Alves Bertucci ^[2] ; Renato Fileto ^[1]
  1. [1] Universidade do Estado de Santa Catarina

     Universidade do Estado de Santa Catarina

     Brasil

     
  2. [2] Universidade Tecnológica Federal do Paraná

     Universidade Tecnológica Federal do Paraná

     Brasil

     
• Localización: Linguamática, ISSN 1647-0818, Vol. 17, Nº. 1, 2025, págs. 3-16
• Idioma: portugués
• Títulos paralelos:
  • Dicendi Verbs as Indicators of Coherence in Abstracts: a human and automated analysis
• Enlaces
  • Texto completo
• Resumen
  • English

    The school summary plays a fundamental role in developing the ability to synthesize and understand texts, promoting the interpretation and the organized expression of the contents of the source text.

    This study investigates how the choice of dicendi verbs (verbs of saying) in summaries can reflect the coherence and intention of the source text. Given the importance of coherence for the quality of summaries, the research explores the potential of large-scale language models (LLMs) in identifying or suggesting dicendi verbs that are coherent with the purpose of the text, contributing to a more accurate automatic evaluation. The experiments reported in this article used summaries proposed for a given text in a college entrance exam, on which experts and LLMs suggested appropriate verbs. The suggestions were compared and evaluated for coherence with the source text.

    The results indicate that, although LLMs are capable of identifying appropriate verbs in some contexts, they have limitations when compared to human interpretation. We conclude that LLMs can serve as auxiliary tools in education, despite the challenges related to accuracy and context in automated linguistic assessment.

  • português

    O resumo escolar desempenha um papel fundamental no desenvolvimento da capacidade de síntese e compreensão de textos, promovendo a interpretação e expressão organizada dos conteúdos do texto-base. Este estudo investiga como a escolha de verbos dicendi (verbos de dizer) em resumos pode refletir a coerência e o objetivo do texto-base. Dada a importância da coerência para a qualidade dos resumos, a pesquisa explora o potencial de modelos de linguagem de larga escala (LLMs) em identificar ou sugerir verbos dicendi coerentes com o propósito do texto, contribuindo para uma avaliação automática mais precisa. Os experimentos relatados neste artigo utilizaram resumos propostos para um texto dado em um exame vestibular, sobre o qual especialistas e LLMs sugeriram verbos apropriados. As sugestões foram comparadas e avaliadas quanto à coerência com o texto de origem. Os resultados indicam que, embora os LLMs sejam capazes de identificar verbos adequados em alguns contextos, eles apresentam limitações quando comparados à interpretação humana. Concluímos que LLMs podem servir como ferramentas auxiliares na educação, apesar dos desafios relacionados à precisão e ao contexto na avaliação linguística automatizada.