Assessing Small Language Models for Translating Spanish Instructions into Behavior Trees

• Autores: Aitzo Saizar, Ander Corral, Maddalen López de Lacalle, Gorka Urbizu, Xavier Saralegi Urizar
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 75, 2025 (Ejemplar dedicado a: Procesamiento del Lenguaje Natural, Revista nº 75, septiembre de 2025), págs. 237-250
• Idioma: inglés
• Títulos paralelos:
  • Evaluación de Modelos de Lenguaje Pequeños para la Conversión de Instrucciones en Español a Árboles de Comportamiento
• Enlaces
  • Texto completo
• Resumen
  • español

    Los Árboles de Comportamiento (ACs) son un marco ampliamente utilizado en robótica, gracias a su modularidad, estructura jerárquica y capacidad de respuesta. Los Modelos de Lenguaje de Gran Tamaño (LLMs), conocidos por su habilidad en la comprensión del lenguaje natural y la generación estructurada, abren nuevas oportunidades para automatizar la construcción de ACs a partir de instrucciones en lenguaje natural. Aunque investigaciones previas han explorado la generación de ACs mediante LLMs, la mayoría se ha centrado exclusivamente en el inglés, limitando su accesibilidad para comunidades que hablan otros idiomas. Este trabajo analiza la capacidad de los LLMs—en particular los Modelos de Lenguaje Pequeños (SMLs) de menos de 10B parámetros—para generar ACs a partir de instrucciones en español. Evaluamos el impacto de distintos paradigmas de aprendizaje (zero-shot, few-shot y ajuste fino), del tamaño del modelo y de la variación lingüística utilizando NL2BT-bi, un nuevo dataset bilingüe que abarca 23 dominios del ámbito de la robótica. Nuestros resultados demuestran que los SMLs de ajuste fino pueden alcanzar un rendimiento comparable al de las mejores configuraciones few-shot de LLMs de 70B, lo que sugiere que los SMLs pueden ser eficaces y eficientes para la generación multilingüe de BTs.

  • English

    Behavior Trees (BTs) are a widely used framework for decision-making in robotics due to their modularity, hierarchical organization, and reactivity. Large Language Models (LLMs), known for their strong capabilities in natural language understanding and structured generation, offer new opportunities for automating BT construction from natural language instructions. While prior work has explored LLM-based BT generation, most research has focused exclusively on English, limiting accessibility for non-English-speaking communities. This paper investigates the ability of LLMs—particularly sub-10B Small Language Models (SMLs)—to generate BTs from natural language, with a specific focus on Spanish. We evaluate the impact of learning paradigms (zero-shot, few-shot, and fine-tuning), model size, and language variation using NL2BT-bi, a novel bilingual dataset spanning 23 robotics domains. Our results demonstrate that fine-tuned SMLs can achieve performance on par with the best few-shot configurations of much larger 70B LLMs, suggesting that SMLs can be both effective and efficient for multilingual BT generation.