Querying the Depths: Unveiling the Strengths and Struggles of Large Language Models in SPARQL Generation

• Autores: Adrián Ghajari Espinosa, Salvador Ros Muñoz, Álvaro Pérez
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 73, 2024, págs. 271-281
• Idioma: inglés
• Títulos paralelos:
  • Explorando las Profundidades: Revelando las Fortalezas y Desafíos de los Modelos de Lenguaje de Gran Escala en la Generación de SPARQL
• Enlaces
  • Texto completo
• Resumen
  • español

    La irrupción de la Web Semántica ha precipitado una proliferación de datos estructurados manifestados en forma de grafos de conocimiento, subrayando la imperativa necesidad de interfaces de lenguaje natural para mejorar la accesibilidad a estos repositorios de información. La capacidad de articular consultas en lenguaje natural y posteriormente recuperar datos a través de consultas SPARQL asume una importancia primordial. En la presente investigación, hemos analizado la eficacia de la técnica de in-context learning usando una arquitectura basada en agentes para facilitar la construcción de consultas SPARQL. Contrariamente a las expectativas iniciales, se ha encontrado que la mejora del prompt de in-context learning a través de mecanismos basados en agentes disminuye la eficacia de los Sistemas Basados en Modelos de Lenguaje (LLMS), al ser percibidos como ”ruido” extrínseco, mostrando así las limitaciones inherentes de esta aproximación. Los resultados resaltan la necesidad de profundizar en las técnicas de entrenamiento y fine-tuning de modelos, centrándose en los aspectos relacionales de los esquemas de ontología.

  • English

    The emergence of the Semantic Web has precipitated a proliferation of structured data manifested in the form of knowledge graphs, underscoring the imperative of natural language interfaces to enhance accessibility to these repositories of information. The capacity to articulate queries in natural language and subsequently retrieve data through SPARQL queries assumes paramount importance. In the present investigation, we have scrutinized the efficacy of in-context learning based on an agent-based architecture in facilitating the construction of SPARQL queries. Contrary to initial expectations, the augmentation of in-context learning prompts through agent-based mechanisms has been found to diminish the efficacy of Language Model-based Systems (LLMS), as it is perceived as extraneous "noise," thereby delineating the constraints inherent in this approach. The results highlight the need to delve deeper into the intricacies of model training and fine-tuning, focusing on the relational aspects of ontology schemas.