Evaluating Compact LLMs for Zero-Shot Iberian Language Tasks on End-User Devices

• Autores: Luis Couto Seller, Íñigo Sanz Torres, Adrián Vogel Fernández, Carlos González Carballo, Pedro Miguel Sánchez Sánchez, Adrián Carruana Martín, Enrique de Miguel Ambite
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 75, 2025 (Ejemplar dedicado a: Procesamiento del Lenguaje Natural, Revista nº 75, septiembre de 2025), págs. 95-106
• Idioma: inglés
• Títulos paralelos:
  • Evaluaci´on Comparativa de LLMs Compactos para Tareas de Lenguas Ib´ericas en Dispositivos de Usuario
• Enlaces
  • Texto completo
• Resumen
  • español

    Los Grandes Modelos de Lenguaje han avanzado significativamente el ámbito del procesamiento del lenguaje natural, logrando un rendimiento notable en generación de texto, la traducción y el razonamiento. Sin embargo, sus elevados requisitos computacionales restringen su despliegue a sistemas de alta gama, limitando su accesibilidad en dispositivos de consumo. Este desafío es especialmente pronunciado para idiomas con pocos recursos, como los hablados en la Península Ibérica, donde la disponibilidad relativamente limitada de recursos lingüísticos y benchmarks dificulta una evaluación efectiva. Este trabajo presenta una evaluaci´on integral de modelos de lenguaje compactos y de ´ultima generación en varias tareas esenciales, adaptadas específicamente para los idiomas ibéricos. Los resultados revelan que, aunque algunos modelos destacan consistentemente en ciertas tareas, aún existen importantes brechas de rendimiento, particularmente para idiomas como el euskera. Estos hallazgos subrayan la necesidad de investigar más a fondo cómo equilibrar la compacidad del modelo con un rendimiento multilingüe robusto.

  • English

    Large Language Models have significantly advanced natural language processing, achieving remarkable performance in tasks such as language generation, translation, and reasoning. However, their substantial computational requirements restrict deployment to high-end systems, limiting accessibility on consumer-grade devices. This challenge is especially pronounced for under-resourced languages like those spoken in the Iberian Peninsula, where relatively limited linguistic resources and benchmarks hinder effective evaluation. This work presents a comprehensive evaluation of compact state-of-the-art LLMs across several essential NLP tasks tailored for Iberian languages. The results reveal that while some models consistently excel in certain tasks, significant performance gaps remain, particularly for languages such as Basque. These findings highlight the need for further research on balancing model compactness with robust multilingual performance.