Resumen de Avaliação no Desafio de Identificação de Personagens

Roberto Willrich, Diana Santos

• English

  The first edition of the Character IdentificationChallenge (DIP) was a joint evaluation of computatio-nal solutions for the identification of characters in lite-rary texts, as well as the extraction of characteristicsand relationships of these characters. For this evalua-tion, it was necessary to define an evaluation metho-dology, including the selection of appropriate metricsfor the problem of identifying characters in literarytexts. This article surveys the evaluation methodsemployed in character identification in literary worksand presents the concrete choices done in DIP. Thesechoices resulted in the definition of the DIP evalua-tion methodology. The use of the proposed evalua-tion methodology is illustrated by the evaluation ofthe candidate solution submitted to DIP. We end thepaper with some critical remarks and suggestions forimprovement.

• português

  A primeira edição do Desafio de Identificação de Personagens (DIP) foi uma avaliação conjunta de soluções computacionais para a identificação de personagens em textos literários, bem como a extração de características destas personagens e seus relacionamentos. Para esta avaliação, foi necessária a definição de uma metodologia de avaliação, incluindo a seleção de métricas adequadas ao problema da identificação de personagens em textos literários. Este artigo apresenta uma panorâmica de avaliação na área de identificação de personagens em textos literários, assim como as escolhas concretas que foram realizadas pela comissão organizadora do DIP. Estas escolhas resultaram na definição da metodologia de avaliação do DIP. O uso da metodologia de avaliação proposta é ilustrado pela avaliação da solução candidata submetida ao DIP. Ao final, são apresentadas críticas e sugestões de melhorias à metodologia de avaliação proposta