Automated MT evaluation metrics and their limitations

• Autores: Bogdan Babych
• Localización: Revista tradumàtica: traducció i tecnologies de la informació i la comunicació, ISSN-e 1578-7559, Nº. 12, 2014 (Ejemplar dedicado a: Traducció i qualitat), págs. 464-470
• Idioma: inglés
• Títulos paralelos:
  • Mètriques d'avaluació automatitzada de TA i les seves limitacions
  • Métricas de evaluación automatizada de TA y sus limitaciones
• Enlaces
  • Texto completo  1    2  
• Resumen
  • español

    Este artículo ofrece una perspectiva general de las principales clases de métodos de evaluación automática de la calidad de la Traducción Automática (TA), sus limitaciones y su valor tanto para traductores profesionales como para desarrolladores de TA. La evaluación automática de TA se caracteriza por la actuación de los sistemas de TA con textos o córpora específicos. Es de esperar que los índices automáticos se correlacionen con aquellos parámetros que establecen los evaluadores humanos sobre la calidad de la TA, como por ejemplo la adecuación o fluidez de la traducción. La evaluación automática actualmente es parte del ciclo de desarrollo de la TA, y además también permite hacer avanzar la investigación fundamental sobre TA y mejorar su tecnología.

  • català

    Aquest article ofereix una visió general de les principals classes de mètodes d'avaluació automàtica de la qualitat de la Traducció Automàtica (TA), les seves limitacions i el seu valor tant per a traductors professionals com per a desenvolupadors de TA. L'avaluació automàtica de TA es caracteritza per l'actuació dels sistemes de TA amb textos o corpus específics. És d'esperar que els índexs automàtics es correlacionen amb aquells paràmetres que estableixen els avaluadors humans sobre la qualitat de la TA, com ara l'adequació o fluïdesa de la traducció. L'avaluació automàtica actualment és part del cicle de desenvolupament de la TA, i a més també permet fer avançar la investigació fonamental sobre TA i millorar la seva tecnologia.

  • English

    This paper gives a general overview of the main classes of methods for automatic evaluation of Machine Translation (MT) quality, their limitations and their value for professional translators and MT developers. Automated evaluation of MT characterizes performance of MT systems on specific text or a corpus. Automated scores are expected to correlate with certain parameters of MT quality scored by human evaluators, such as adequacy of fluency of translation. Automated evaluation is now part of MT development cycle, but it also contributes to fundamental research on MT and improving MT technology..