Subjetividade em correções de redações: detecção automática através de léxico de operadores de viés linguístico

• Cançado, Márcia ^[1] ; Amaral, Luana ^[1] ; Amorin, Evelin ^[1] ; Veloso, Adriano ^[1] ; Mello, Heliana ^[1]
  1. [1] Universidade Federal de Minas Gerais

     Universidade Federal de Minas Gerais

     Brasil

     
• Localización: Linguamática, ISSN 1647-0818, Vol. 12, Nº. 1, 2020, págs. 63-79
• Idioma: portugués
• Títulos paralelos:
  • Subjectivity in essay grading: automatic detection through language bias operator lexicon
• Enlaces
  • Texto completo
• Resumen
  • English

    Essays are very important assessment tools for Brazilian students. Therefore, it is expected that the grading of these texts will be made with as little subjectivity as possible. However, in an analysis of a sample of grading sheet comments by evaluators, we have noticed a high degree of subjectivity in these texts. From this first analysis, carried manually, we proposed the hypothesis that this genre is more subjective than one would expect. In order to corroborate this hypothesis, we have drawn up a list of linguistic bias markers, divided into four categories: argumentative operators, presupposition operators, modalization operators, and opinion and value operators. This list was applied to a corpus of essay grading sheet comments by evaluators, using an automatic language bias detection methodology. From this, we were able to quantify the linguistic bias markers present in these texts. These bias markers were also analyzed in two other corpora: abstracts and product reviews published on internet sales sites. We have compared the percentage of these markers in evaluators’ comments with the percentage numbers of these markers in genres admittedly less subjective (abstracts) and admittedly more subjective (reviews). For such comparison, we have used boxplots, a statistical tool widely used in data comparison analysis. Our results indicated that the grading sheets, as for the number of bias markers, are closer to more subjective texts than to less subjective texts. This corroborates our hypothesis and indicates that these grading sheets present a high degree of subjectivity, closer to the degree of a more subjective text. Thus, we conclude that these grading sheets reflect the personal views of the evaluator, deviating from the correction criteria, which raises doubts about considering this genre an exempt and fair assessment instrument.

  • português

    As redações são instrumentos avaliativos muito importantes para os estudantes brasileiros. Mesmo que seja assumido que a subjetividade esteja presente em todo e qualquer texto, espera-se que as correções dessas redações sejam feitas com o mínimo de subjetividade possível. Entretanto, a partir da análise de uma amostra de correções de redação, percebemos um alto grau de subjetividade nesses textos. Baseados nessa pré-análise, feita de forma manual, levantamos a hipótese de que o gênero "correção de redação" é mais subjetivo do que se esperaria. Para corroborar essa hipótese, elaboramos uma lista de operadores linguísticos, marcadores de viés, dividida em quatro categorias: operadores argumentativos, operadores de pressuposição, operadores de modalidade e operadores de opinião e valoração. Essa lista foi aplicada, através de uma metodologia de detecção automática de linguagem enviesada, a um corpus de correções de redação. A partir disso, quantificamos os operadores de viés presentes nesses textos. Foram também analisados esses operadores de viés em dois outros corpora: de resumos acadêmicos e de resenhas de produtos publicadas em sites de vendas na internet. A ideia dessa análise foi compararmos a distribuição dessas marcas de viés nas correções de redação e em gêneros reconhecidamente menos subjetivos (resumos acadêmicos) e reconhecidamente mais subjetivos (resenhas). Para tal comparação, lançamos mão de uma ferramenta estatística muito utilizada na análise de comparação de dados, os boxplots. Os nossos resultados mostraram que a distribuição de operadores de viés linguístico nas correções de redação se aproxima mais da distribuição desses itens em resenhas do que em resumos acadêmicos. Isso corrobora nossa hipótese e indica que o grau de subjetividade das correções é alto, estando mais próximo do grau de subjetividade de um texto como as resenhas. Concluímos, portanto, que essas correções refletem pontos de vista do corretor, que se afastam dos critérios de correção, o que coloca dúvidas sobre a consideração desse gênero como um instrumento avaliador isento e justo.