Detección de Idioma en Twitter

• Yudivián Almeida-Cruz ^[1] ; Suilan Estévez-Velarde ^[1] ; Alejandro Piad-Morffis ^[1]
  1. [1] Universidad de La Habana

     Universidad de La Habana

     Cuba

     
• Localización: GECONTEC: revista Internacional de Gestión del Conocimiento y la Tecnología, ISSN-e 2255-5684, Vol. 2, Nº. 3, 2014, págs. 35-45
• Idioma: español
• Títulos paralelos:
  • Language Detection on Twitter
• Enlaces
  • Texto completo
• Resumen
  • español

    El trabajo presenta una alternativa para identificar idiomas en Twitter sin que sea necesario utilizar conjuntos de entrenamiento o información agregada. En dicha alternativa se utilizan técnicas basadas en los algoritmos de reconocimiento de trigramas y small words. Se valora la utilización de estos algoritmos por sí solos y en un modelo de composición. Asimismo, se analiza la incidencia del pre-procesamiento de los tweets en la precisión de la identificación de los idiomas. Finalmente, después de un proceso de experimentación, se determina la mejor alternativa de las estudiadas.

  • English

    The paper presents an alternative to identify languages on Twitter without having to use training sets or aggregated information. Such alternative is based on trigram recognition algorithms and small words techniques. The use of these algorithms is evaluated both on their own and in a model of composition. Also, the incidence of pre-processing of tweets in the accuracy of identifying the language is discussed. Finally, after a process of experimentation, the best alternative, out of those studied, is determined.