Extração de Informação Aberta com LLM para a Língua Portuguesa

• Cabral, Bruno ^[1] ; Souza, Marlo ^[1] ; Claro, Daniela Barreiro ^[2]
  1. [1] Universidade Federal da Bahia

     Universidade Federal da Bahia

     Brasil

     
  2. [2] Departamento de Ciência da ComputaçãoUniversidade Federal da Bahia
• Localización: Linguamática, ISSN 1647-0818, Vol. 16, Nº. 2, 2024, págs. 167-182
• Idioma: portugués
• Títulos paralelos:
  • Open Information Extraction with LLM for the Portuguese Language
• Enlaces
  • Texto completo
• Resumen
  • English

    In this study, we investigate the application of Large Language Models (LLMs) for Open Information Extraction (OpenIE) in the Portuguese language. While most OpenIE methods have been developed with a focus on the English language, few works in the literature explore multilingual and cross-linguistic scenarios. Although there is a growing interest in OpenIE methods for Portuguese, the use of LLMs specifically focused on OpenIE in this language remains underexplored. We analyze the feasibility of incorporating both open and commercial LLMs using few-shot prompt engineering for OpenIE in Portuguese. We provide a detailed analysis of the performance of these LLMs in OpenIE tasks, demonstrating that they achieve performance metrics comparable to state-of-the-art systems. Additionally, we refine and release an open LLM for OpenIE, named PortOIE-Llama, which outperforms commercial LLMs in our experiments. Our results highlight the potential of LLMs in OpenIE tasks in Portuguese and suggest that further refinement and fine-tuning of larger models can further enhance these outcomes.

  • português

    Neste estudo, investigamos a aplicação de Modelos de Linguagem de Grande Escala (LLMs) para Extração de Informação Aberta (EIA) em língua portuguesa. Enquanto a maioria dos métodos de EIA foi desenvolvida visando a língua inglesa, poucos trabalhos na literatura exploram cenários multilíngues e interlinguísticos. Embora haja um crescente interesse em métodos de EIA para o português, o uso de LLMs especificamente focados em EIA nesta língua ainda é pouco explorado. Analisamos a viabilidade de incorporar LLMs abertos e comerciais utilizando engenharia de prompts com poucos exemplos para EIA em português. Fornecemos uma análise detalhada do desempenho desses LLMs em tarefas de EIA, demonstrando que eles alcançam métricas de desempenho comparáveis aos sistemas de última geração. Além disso, refinamos e lançamos um LLM aberto para EIA, denominado PortOIE-Llama, que supera os LLMs comerciais em nossos experimentos. Nossos resultados destacam o potencial dos LLMs em tarefas de EIA em português e sugerem que um refinamento e ajuste fino de modelos maiores podem aprimorar ainda mais esses resultados.