Sarcasm and implicitness in abusive language detection: a multilingual perspective
- Autores: Simona Frenda
- Directores de la Tesis: Viviana Patti (dir. tes.), Paolo Rosso (dir. tes.)
- Lectura: En la Universitat Politècnica de València ( España ) en 2022
- Idioma: inglés
- Tribunal Calificador de la Tesis: Liviu P. Dinu (presid.), Els Lefever (secret.), Elena Cabrio (voc.)
- Programa de doctorado: Programa de Doctorado en Informática por la Universitat Politècnica de València
- Materias:
- Enlaces
- Tesis en acceso abierto en: RiuNet
- Resumen
- español
La posibilidad de monitorear el contenido de odio en línea a partir de lo que escribe la gente se está convirtiendo en un asunto muy importante para varios actores, como gobiernos, empresas de TIC y profesionales de ONG's que implementan campañas de sensibilización en respuesta al preocupante aumento de los abusos y de la incitación al odio en línea. El abusive language es un término genérico que se utiliza para definir los contenidos hostiles generados por usuarios, que intimidan o incitan a la violencia y al desprecio, dirigiéndose a grupos vulnerables en las redes sociales. Hoy en día, estos contenidos están muy extendidos, y se encuentran también en otros tipos de textos como los artículos y títulos de periódicos online. Se han implementado varios enfoques en los últimos años para apoyar la identificación y el monitoreo de estos fenómenos, lamentablemente estos están lejos de resolver el problema debido a la complejidad interna del lenguaje abusivo y las dificultades para detectar sus formas más implícitas. En nuestra investigación de doctorado, hemos examinado las cuestiones relacionadas con la identificación automática del lenguaje abusivo en línea, investigando las diferentes maneras de hostilidad contra las mujeres, los inmigrantes y las comunidades culturales minoritarias, en idiomas como el italiano, el inglés y el español. El marco multilingüe nos ha permitido tener un enfoque comparativo para reflexionar sobre cómo se expresa el discurso de odio en varios idiomas, y cómo dichas expresiones se deben representar en el proceso automático del texto. El análisis de los resultados de los distintos métodos de clasificación de los mensajes en relación con la presencia del lenguaje abusivo, ha sacado a la luz algunas dificultades principalmente vinculadas a sus manifestaciones más implícitas. Por ejemplo, en los casos en que se utilizan figuras retóricas (como la ironía y el sarcasmo), cuando se fortalecen ideologías (como la ideología sexista) o esquemas cognitivos (como los estereotipos), o cuando se postulan contrarias a un tema de discusión. Para abordar estas dificultades, hemos propuesto distintas soluciones que también se pueden aplicar a diferentes géneros textuales. En particular, hemos observado que los aspectos cognitivos y creativos del discurso del odio son más difíciles de deducir automáticamente de los textos. Al mismo tiempo, también son elementos muy recurrentes como el caso del sarcasmo un recurso retórico que tiende a socavar la precisión de los sistemas. De hecho, por sus peculiaridades, el sarcasmo es adecuado para enmascarar mensajes ofensivos, especialmente en textos muy breves e informales. Nuestra hipótesis es que al informar al sistema sobre la presencia del sarcasmo, se mejoraría la identificación de los mensajes de odio, incluso cuando estos están disfrazados de sarcásticos. Para ello, es interesante estudiar cómo la introducción de conocimientos lingüísticos en modelos de detección puede ser útil para capturar los niveles de significado más implícitos. En concreto, hemos creado nuevos recursos que nos permitieron profundizar en nuestra hipótesis y desarrollar diversos enfoques para identificar dos maneras de lenguaje abusivo en tuits y títulos de periódicos: los discursos de odio y los estereotipos. Nuestra idea es combinar de manera fructífera el conocimiento general de los modelos lingüísticos y la información lingüística obtenida mediante la extracción de elementos lingüísticos específicos o entrenando simultáneamente el sistema al reconocimiento del lenguaje irónico en una arquitectura multitarea. Los resultados experimentales confirman que hacer que los sistemas sean conscientes del sarcasmo mejora el reconocimiento del discurso de odio y los estereotipos en los textos de las redes sociales, como los tuits. Al informarles de elementos lingüísticos específicos, se vuelven más sensibles a la identificación de estereotipos tanto en los tuits como en los títulos de periódicos.
- English
The possibility to monitor hateful content online on the basis of what people write is becoming an important topic for several actors such as governments, ICT companies, and NGO's operators conducting active campaigns in response to the worrying rise of online abuse and hate speech. Abusive language is a broad umbrella term which is commonly used for denoting different kinds of hostile user-generated contents that intimidate or incite to violence and hatred, targeting many vulnerable groups in social platforms. Such hateful contents are pervasive nowadays and can also be detected even in other kinds of texts, such as online newspapers.
Various approaches have been proposed in the last years to support the identification and monitoring of these phenomena, but unfortunately, they are far from solving the problem due to the inner complexity of abusive language, and to the difficulties to detect its implicit forms.
In our doctoral investigation, we have studied the issues related to automatic identification of abusive language online, investigating various forms of hostility against women, immigrants and cultural minority communities in languages such as Italian, English, and Spanish. The multilingual frame allowed us to have a comparative setting to reflect on how hateful contents are expressed in distinct languages and how these different ways are transposed in the automated processing of the text. The analysis of the results of different methods of classification of hateful and non-hateful messages revealed important challenges that lie principally on the implicitness of some manifestations of abusive language expressed through the use of figurative devices (i.e., irony and sarcasm), recall of inner ideologies (i.e., sexist ideology) or cognitive schemas (i.e., stereotypes), and expression of unfavorable stance.
To face these challenges, in this work, we have proposed distinct solutions applicable also to different textual genres. We observed that, in particular, cognitive and creative aspects of abusive language are harder to infer automatically from texts. At the same time they are often recurrent elements, such in the case of sarcasm, a figurative device that tends to affect the accuracy of the systems. Indeed, for its peculiarities, sarcasm is apt to disguise hurtful messages, especially in short and informal texts such as the ones posted on Twitter. Our hypothesis is that information about the presence of sarcasm could help to improve the detection of hateful messages, even when they are camouflaged as sarcastic. In this perspective, it is interesting to study how the injection of linguistic knowledge into detection models can be useful to capture implicit levels of meaning.
In particular, we created novel resources that allowed us to examine deeply our hypothesis and develop specific approaches for the detection of two forms of abusive language in tweets and headlines: hate speech and stereotypes. Our idea was to fruitfully combine general knowledge from language models and linguistic information, obtained with specific linguistic features and the injection of ironic language recognition within a multi-task learning framework. The experimental results confirm that the awareness of sarcasm helps systems to retrieve correctly hate speech and stereotypes in social media texts, such as tweets. Moreover, linguistic features make the system sensible to stereotypes in both tweets and news headlines.
- español
