Evaluación de la calidad de modelos de IA generativa como aplicaciones de orientación universitaria

• Estela Mayor-Alonso ^[1] ; Javier Vidal ^[1] ; Agustín Rodríguez-Esteban ^[1]
  1. [1] Universidad de León

     Universidad de León

     León, España

     
• Localización: Revista de educación, ISSN 0034-8082, Nº 411 (Enero-Marzo), 2026 (Ejemplar dedicado a: La educación obligatoria: un debate abierto), págs. 229-254
• Idioma: español
• Títulos paralelos:
  • Evaluating the response quality of LLM-driven university guidance applications
• Enlaces
  • Texto completo (html)
• Resumen
  • español

    Los recientes avances tecnológicos están creando nuevos desafíos educativos. El auge de la Inteligencia Artificial está posibilitando la implementación de nuevas herramientas útiles para la educación. En el caso de los servicios de orientación universitaria se destacan aplicaciones como Copilot o ChatGPT, basadas en modelos de lenguaje multimodal. El objetivo de este estudio es analizar la calidad y la fiabilidad de las respuestas que proporcionan Copilot y ChatGPT a preguntas planteadas por estudiantado en redes informales. El método se basó en un enfoque cualitativo y de validación analítica que evaluase la precisión de las respuestas. Se aplicó en Copilot y ChatGPT-4 una herramienta de observación conformada por 48 ítems, divididos en cuatro bloques temáticos: acceso, gestión, dificultad de estudios y empleabilidad, para quince universidades públicas. Se determinó un grado de ajuste suficiente del 100% para todos los bloques temáticos, excepto en gestión. En él, se encontraron dos ítems con un grado de ajuste insuficiente. Ambos fueron implementados en el nuevo modelo de lenguaje multimodal ChatGPT-4o y se detectó una mejora en el grado de ajuste. Posteriormente, se describieron las respuestas proporcionadas por ChatGPT-4o y la información encontrada en las páginas web, destacando la confusión respecto a la información del precio del crédito en las páginas web y la dificultad para encontrar el límite máximo de créditos a cursar simultaneando estudios. Se concluye que Copilot y ChatGPT tienen potencial como servicios de orientación universitaria. La eficacia de estos asistentes de IA dependerá de la calidad y accesibilidad de la información en las páginas web universitarias.

    Es fundamental que las universidades organicen y actualicen la información de sus páginas para mejorar la efectividad de aplicaciones basadas en IA.

  • English

    Recent technological advances are creating new educational challenges. The rise of Artificial Intelligence is enabling the implementation of new tools useful for education. In the case of university guidance services, applications such as Copilot or ChatGPT, based on multimodal language models, stand out. The aim of this study is to analyse the quality and reliability of the answers provided by Copilot and ChatGPT to questions posed by students in informal networks. The method was based on a qualitative and analytical validation approach to assess the accuracy of the answers. An observation tool consisting of 48 items, divided into four thematic blocks: access, management, difficulty of studies and employability, was applied in Copilot and ChatGPT-4 for fifteen public universities. A sufficient degree of fit of 100% was determined for all thematic blocks, except for management. Two items were found to have an insufficient degree of fit. Both were implemented in the new multimodal language model ChatGPT-4o and an improvement in the degree of fit was detected. Subsequently, the answers provided by ChatGPT-4o and the information found on the websites were described, highlighting the confusion regarding the credit price information on the websites and the difficulty in finding the maximum limit of credits to be taken while studying at the same time.

    It is concluded that Copilot and ChatGPT have potential as university guidance services. The effectiveness of these AI assistants will depend on the quality and accessibility of information on university websites. It is essential that universities organise and update the information on their websites to improve the effectiveness of AI-based applications.