Resumen de ASAPP: Alinhamento Semântico Automático de Palavras aplicado ao Português

Ana Oliveira Alves, Ricardo Rodrigues, Hugo Gonçalo Oliveira

• English

  We present two distinct approaches to the ASSIN shared evaluation task where, given a collection with pairs of sentences, in Portuguese, poses the following challenges: (a)~computing the semantic similarity between the sentences of each pair; and (b)~testing whether one sentence paraphrases or entails the other. The first approach, dubbed Reciclagem, is exclusively based on heuristics computed on Portuguese semantic networks. The second, dubbed ASAPP, is based on supervised machine learning. The results of Reciclagem enable an indirect comparison of Portuguese semantic networks. They were then used as features of the ASAPP approach, together with lexical and syntactic features. After comparing our results with those in the gold collection, it is clear that ASAPP consistently outperforms Reciclagem. This happens both for European Portuguese and Brazilian Portuguese, where the entailment performance reaches an accuracy of 80.28% +- 0.019, and the semantic similarity scores are 66.5% +- 0.021 correlated with those given by humans.

• português

  Apresentamos duas abordagens distintas à tarefa de avaliação conjunta ASSIN onde, dada uma coleção de pares de frases escritas em português, são colocados dois objectivos para cada par: (a) calcular a similaridade semântica entre as duas frases; e (b) verificar se uma frase do par é paráfrase ou inferência da outra. Uma primeira abordagem, apelidada de Reciclagem, baseia-se exclusivamente em heurísticas sobre redes semânticas para a língua portuguesa. A segunda abordagem, apelidada de ASAPP, baseia-se em aprendizagem automática supervisionada. Acima de tudo, os resultados da abordagem Reciclagem permitem comparar, de forma indireta, um conjunto de redes semânticas, através do seu desempenho nesta tarefa. Estes resultados, algo modestos, foram depois utilizados como características da abordagem ASAPP, juntamente com características adicionais, ao nível lexical e sintático. Após comparação com os resultados da coleção dourada, verifica-se que a abordagem ASAPP supera a abordagem Reciclagem de forma consistente. Isto ocorre tanto para o Português Europeu como para o Português Brasileiro, onde o desempenho atinge uma exatidão de 80.28% +- 0.019 para a inferência textual, enquanto que a correlação dos valores atribuídos para a similaridade semântica com aqueles atribuídos por humanos é de 66.5% +- 0.021.