Gradable ChatGPT Translation Evaluation

• Autores: Hui Jiao, Bei Peng, Lu Zong, Xiaojun Zhang, Xinwei Li
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 72, 2024 (Ejemplar dedicado a: Procesamiento del Lenguaje Natural, Revista nº 72, marzo de 2024), págs. 73-85
• Idioma: inglés
• Títulos paralelos:
  • Evaluación de traducción graduada de ChatGPT
• Enlaces
  • Texto completo
• Resumen
  • español

    ChatGPT, un modelo de lenguaje basado en un pre-entrenamiento a gran escala que ha tenido un profundo impacto en la traducción automática. En este contexto, un "prompt" se refiere a un segmento de texto o instrucción utilizada para dirigir el modelo hacia la generación de una respuesta específica. El diseño del prompt de traducción es crucial y puede influir en aspectos como el estilo, la precisión y la exactitud de la traducción. Sin embargo, actualmente carecemos de un estándar y metodología común para diseñar y seleccionar prompts de traducción. Por lo tanto, este artículo propone una taxonomía genérica que define prompts de traducción evaluables en términos de expresión, estilo, Part-Of-Speech (POS) y declaración explícita, facilitando la construcción de prompts con distintos atributos adaptados a diversas tareas de traducción. Se han seleccionado experimentos y casos específicos para validar e ilustrar la eficacia del método.

  • English

    ChatGPT, as a language model based on large-scale pre-training, has exerted a profound influence on the domain of machine translation. In ChatGPT, a “Prompt” refers to a segment of text or instruction employed to steer the model towards generating a specific category of response. The design of the translation prompt emerges as a key aspect that can wield influence over factors such as the style, precision and accuracy of the translation to a certain extent. However, there is a lack of a common standard and methodology on how to design and select a translation prompt. Accordingly, this paper proposes a generic taxonomy, which defines gradable translation prompts in terms of expression type, translation style, Part-of-Speech information and explicit statement, thus facilitating the construction of prompts endowed with distinct attributes tailored for various translation tasks. Specific experiments and cases are selected to validate and illustrate the effectiveness of the method.