Resumen de Del discurso a la acción: Clasificación de actos de habla en textos legislativos
- español
Speech acts are basic units of linguistic communication which perform actions through words. Certain types of speech acts are especially significant in legislative texts as they go beyond words revealing intentions aiming at shaping the reality of a society. The linguistic theory proposes different types of speech acts. However, this study focuses on the automatic classification of three types for their relevance in the legislative context including: 1) Assertive acts describing events and reality; 2) directive acts setting regulations and, finally, 3) commissive acts indicating commitment to basic rights and principles. For the training and evaluation, a dataset of 1325 statements was manually labeled and further splitted into train and validation sets (80%-20%). Then, the resulting trained classifiers were further evaluated against a test dataset of 250 statements. Different classifier were trained over three types of models: Classical machine learning models, foundational Large Language Models (LLMs) based on “encoders”; namely RoBERTaLex and BERT and finally, generative models based on “decoders”, namely GPT3.5 through a 5-shot prompt tuning. The classifier based on encoder LLMs (BERT and RoBERTa) outperformed the rest of models. BERT achieved f1-macro score of 0.85 for all classes and a f1-micro score of 0.87 (BERT) and 0.86 (RoBERTa).
- español
Los actos de habla son unidades básicas de la comunicación lingüística que permiten realizar acciones a través del lenguaje. En el texto legislativo, los diferentes tipos de actos de habla cobran especial relevancia a nivel pragmático porque detrás del lenguaje, existe una intención (acto ilocutivo) que va más allá de las palabras para organizar y cambiar la realidad en una sociedad. La teoría lingüística propone diferentes tipos de actos de habla. Este trabajo tiene como objetivo clasificar automáticamente tres tipos por su relevancia en el texto legislativo: 1) Los actos asertivos que describen hechos y realidades; 2) los actos directivos que definen las normas o regulan las relaciones y las competencias de la materia en cuestión; y 3) los actos compromisorios que reconocen los derechos y se comprometen a velar por estos derechos. Para la clasificación, se ha anotado un conjunto de 1325 enunciados divididos en subconjuntos de entrenamiento, validación (80%-20%) y un conjunto de prueba (250 enunciados). Se han entrenado y se han evaluado varios clasificadores automáticos multi-etiqueta y multiclase basándose en tres tipos de modelos: modelos clásicos de aprendizaje automático, modelos fundacionales del lenguaje (LLMs) de tipo “encoder” y un modelo fundacional generativo de tipo “decoder” mediante instrucciones prompting de 5 niveles (GPT 3.5). Los clasificadores basados en modelos “encoder” (BERT y RoBERTaLex) han obtenido los mejores resultados. BERT ha alcanzado un f1-macro de 0,85 y un f1- micro de 0,87. RoBERTaLex ha obtenido 0,86 en f1-macro y f1-micro.
