¿Cuánto sabe la inteligencia artificial sobre derecho colombiano?

• Arévalo-Robles, Gabriel Andrés ^[2] ; Castellanos-Cortés, Omaira ^[1]
  1. [1] Universidad del País Vasco/Euskal Herriko Unibertsitatea

     Universidad del País Vasco/Euskal Herriko Unibertsitatea

     Leioa, España

     
  2. [2] Universidad Libre, Bogotá D.C., Colombia
• Localización: Revista Científica General José María Córdova, ISSN-e 2500-7645, ISSN 1900-6586, Vol. 22, Nº. 48, 2024 (Ejemplar dedicado a: El rol de las fuerzas armadas en la gestión de emergencias en América Latina)
• Idioma: español
• Títulos paralelos:
  • How much does artificial intelligence know about Colombian law?
• Enlaces
  • Texto completo
• Resumen
  • español

    Este articulo evalúa la capacidad de tres modelos de lenguaje de gran tamaño (LLM) —ChatGPT 3.5, ChatGPT 4 y Gemini Pro— para responder consultas legales en el contexto colombiano. A través de un análisis exhaustivo de respuestas a preguntas en cinco áreas del derecho, se encontró que, si bien ChatGPT 4 obtuvo los mejores resultados generales, ninguno de los modelos logró alcanzar un nivel de precisión aceptable para su aplicación práctica en el ámbito jurídico. Los resultados sugieren que, aunque los LLM ofrecen un gran potencial para automatizar tareas legales, su uso en la práctica requiere de una supervisión humana rigurosa y de un desarrollo continuo de los modelos. Este estudio contribuye al debate sobre la ética y las implicaciones legales de la inteligencia artificial en el ámbito jurídico, destacando la necesidad de establecer marcos regulatorios adecuados para garantizar un uso responsable de estas tecnologías.

  • English

    This article evaluates the ability of three large language models (LLMs)—ChatGPT 3.5, ChatGPT 4, and Gemini Pro—to answer legal queries in the Colombian context. A thorough analysis of responses to questions in five areas of law found that while ChatGPT 4 obtained the best overall results, none of the models reached an acceptable level of accuracy for practical application in the legal field. The results suggest that, although LLMs offer great potential to automate legal tasks, their use in practice requires rigorous human supervision and continuous development of the models. This study contributes to the debate on the ethics and legal implications of artificial intelligence in the legal field, highlighting the need to establish appropriate regulatory frameworks to ensure responsible use of these technologies.