Transformer-Based Model for Detoxifying Spanish Text with Regional Expressions

• Serruto-Castillo, Alison ^[1] ; Rivera Flores, Víctor Alfonso ^[1] ; Ramos-Apaza, Franco ^[1] ; Berrios-Espezúa, Mario ^[1]
  1. [1] National University of San Agustín, Arequipa
• Localización: Publicaciones: Facultad de Educación y Humanidades del Campus de Melilla, ISSN 1577-4147, Vol. 56, Nº. 1, 2026, págs. 235-253
• Idioma: inglés
• Títulos paralelos:
  • Modelo basado en Transformers para la desintoxicación de textos en español con expresiones regionales
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    Introducción: La proliferación de contenido tóxico en las plataformas de comunicación digital ha incrementado la necesidad de métodos capaces de transformar expresiones ofensivas sin perder el significado central de los mensajes ni ignorar los matices de las variedades locales del español.

    Método: Este estudio presenta CondRoBERTuito, una adaptación condicional de RoBERTuito para la desintoxicación de texto en español. El método combina un predictor de tokens enmascarados y un selector de similitud de embeddings para identificar segmentos ofensivos y proponer sustituciones contextualmente coherentes. El entrenamiento integra comentarios tóxicos y no tóxicos, incluidos ejemplos con expresiones regionales como “lonccos” y “ccalas”.

    Resultados: En el conjunto evaluado, CondRoBERTuito obtuvo  .99 en exactitud,  .97 en similitud semántica,  .52 en fluidez y  .51 en la métrica conjunta J. Estos valores fueron mayores que los reportados para CondBERT y ParaGeDi en similitud semántica y en la métrica conjunta.

    Conclusiones: Los resultados descriptivos muestran la utilidad de adaptar modelos de PLN a contextos lingüísticos locales. No obstante, la generalización del enfoque depende de los corpus, las etiquetas y las variedades del español representadas, por lo que se requiere una evaluación cultural y humana más amplia.

  • English

    Introduction: The proliferation of toxic content on digital communication platforms has increased the need for methods that can transform offensive expressions without losing the central meaning of messages or overlooking the nuances of local Spanish varieties.

    Method: This study presents CondRoBERTuito, a conditional adaptation of RoBERTuito for Spanish text detoxification. The method combines a masked-token predictor and an embedding-similarity chooser to identify offensive segments and propose contextually coherent substitutions. Training integrates toxic and non-toxic comments, including examples with regional expressions such as “lonccos” and “ccalas.” Results: On the evaluated dataset, CondRoBERTuito obtained 0.99 accuracy, 0.97 semantic similarity,  .52 fluency, and  .51 on the joint metric J. These values were higher than those reported for CondBERT and ParaGeDi in semantic similarity and the joint metric.

    Conclusions: The descriptive results show the value of adapting NLP models to local linguistic contexts. However, generalization depends on the corpora, labels, and Spanish varieties represented; therefore, broader cultural and human evaluation is required.