Ajuste eficiente de BERT con LoRA en CPU: un marco reproducible para aplicaciones de Procesamiento de Lenguaje Natural

• Poveda García, Diego Armando ^[1] ; Ramírez Guzmán, Martha Elva ^[1] ; Rodríguez Herrera, Mauricio ^[2] ; García López, Erwin Fabián ^[3]
  1. [1] Colegio de Postgraduados

     Colegio de Postgraduados

     México

     
  2. [2] Universidad Autónoma de Tlaxcala

     Universidad Autónoma de Tlaxcala

     México

     
  3. [3] Universidad Nacional de Colombia

     Universidad Nacional de Colombia

     Colombia

     

  Mostrar afiliaciones +
• Localización: Ar@cne, ISSN-e 1578-0007, Vol. 29, 2025
• Idioma: español
• Títulos paralelos:
  • Efficient Fine-Tuning of BERT with LoRA on CPU: A Reproducible Framework for Natural Language Processing Applications
  • Ajust eficient de BERT amb LoRA a CPU: un marc reproduïble per a aplicacions de Processament de Llenguatge Natural
• Enlaces
  • Texto completo
• Resumen
  • español

    En los últimos años, el desarrollo de la inteligencia artificial (IA) ha avanzado significativamente con la aparición de modelos preentrenados a gran escala, como GPT, BERT y CLIP. En particular BERT es un modelo de lenguaje que aprende las relaciones entre palabras tras analizar grandes volúmenes de texto, lo que lo hace útil para muy diversas tareas de análisis textual. Ajustarlo a un nuevo dominio suele implicar largas horas de entrenamiento con tarjetas gráficas costosas. Este artículo demuestra que la técnica de Adaptación de Bajo Rango (LoRA) permite actualizar BERT por completo en un ordenador de escritorio con procesador y 16 GB de RAM, manteniendo una tasa de acierto superior al 88 % en un banco de noticias (AG News) y reduciendo el tiempo de entrenamiento a una vigésima parte frente al método tradicional. Se detalla un protocolo reproducible —incluyendo comandos, parámetros y consumo real de memoria— de modo que investigadores y profesionales puedan reutilizar BERT en tareas como clasificación de textos, detección de temas o extracción de información sin depender de hardware especializado.

  • català

    En els darrers anys, el desenvolupament de la intel·ligència artificial (IA) ha avançat significativament amb l'aparició de models preentrenats a gran escala, com ara GPT, BERT i CLIP. En particular BERT és un model de llenguatge que aprèn les relacions entre paraules després d'analitzar grans volums de text, cosa que el fa útil per a diverses tasques d'anàlisi textual. Ajustar-lo a un domini nou sol implicar llargues hores d'entrenament amb targetes gràfiques costoses. Aquest article demostra que la tècnica d'Adaptació de Baix Rang (LoRA) permet actualitzar BERT completament en un ordinador d'escriptori amb processador i 16 GB de RAM, mantenint una taxa d'encert superior al 88% en un banc de notícies (AG News) i reduint el temps d'entrenament a una vintena part davant del mètode tradicional. Es detalla un protocol reproduïble —incloent ordres, paràmetres i consum real de memòria— de manera que investigadors i professionals puguin reutilitzar BERT en tasques com ara classificació de textos, detecció de temes o extracció d'informació sense dependre de hardware especialitzat.

  • English

    In recent years, the development of artificial intelligence (AI) has advanced significantly with the emergence of large-scale pretrained models such as GPT, BERT, and CLIP. In particular, BERT is a language model that learns relationships between words by analyzing large volumes of text, making it useful for a wide variety of textual analysis tasks. Fine-tuning it for a new domain typically requires long hours of training with expensive graphics cards. This article demonstrates that the Low-Rank Adaptation (LoRA) technique allows BERT to be fully updated on a desktop computer with a processor and 16 GB of RAM, while maintaining an accuracy rate above 88% on a news benchmark (AG News) and reducing training time to one-twentieth of the traditional method. A reproducible protocol is detailed—including commands, parameters, and actual memory consumption—so that researchers and practitioners can reuse BERT for tasks such as text classification, topic detection, or information extraction without relying on specialized hardware.