AIA-BDE: um Corpo de Perguntas, Variações e outras Anotações

• Gonçalo Oliveira, Hugo ^[1] ; Alves, Ana ^[2]
  1. [1] Universidade de Coimbra

     Universidade de Coimbra

     Coimbra (Sé Nova), Portugal

     
  2. [2] CISUC, Universidade de Coimbra, ISEC, Instituto Politécnico de Coimbra
• Localización: Linguamática, ISSN 1647-0818, Vol. 13, Nº. 2, 2021, págs. 19-35
• Idioma: portugués
• Títulos paralelos:
  • AIA-BDE: a corpus of Portuguese Questions, Variations and other Annotations
• Enlaces
  • Texto completo
• Resumen
  • English

     We present the AIA-BDE corpus, which has as main goal the evaluation of computational systems that attempt at assigning questions with known answers (i.e., FAQs) to information needs, expressed in natural language. This corpus includes several questions in the domain of the Portuguese Public Administration and their answers. To 855 of those questions, alternative ways of making them were manually and automatically added. We call them variations and they can be used in the simulation of human user interactions. Such questions are classified according to their source, with four possible values, and have also a question type, based on the opinion of five human annotators. Besides presenting AIA-BDE, we illustrate how it can be used through three experiments, with results that might be seen as the baselines for future improvements, namely: variation assignment to the original questions; automatic automatic identification of the questions according to their source; and automatic classification of the questions according to their type.

  • português

     Apresentamos neste artigo o corpo AIA-BDE, que tem como principal objetivo a avaliação de sistemas que procuram associar necessidades de informação expressas em linguagem natural a perguntas com resposta conhecida (i.e., FAQ). Este corpo inclui várias perguntas no domínio da Administração Pública em Portugal e respetivas respostas. A 855 dessas perguntas foram adicionadas, manual e automaticamente, formas alternativas de as fazer, a que chamamos variações, e que podem ser utilizadas para simular interações de humanos. Essas perguntas encontram-se classificadas de acordo com a sua origem, com quatro valores possíveis, e têm ainda associado um tipo, atribuído com base na opinião de cinco anotadores. Para além de apresentar o AIA-BDE, ilustramos como pode ser utilizado através de três experiências, com resultados que podem ser vistos como base para melhorias futuras: associação de variações às respetivas perguntas; identificação automática da origem das variações; e classificação automática das perguntas quanto ao seu tipo.