En la búsqueda de soluciones mapreduce modulares para el trabajo con bigdata: Hadoop orientado a aspectos.

• Autores: Cristian L. Vidal Silva, Miguel A. Bustamante, María del C. Lapo, María de los Á. Nunez
• Localización: Información tecnológica, ISSN-e 0718-0764, ISSN 0716-8756, Vol. 29, Nº. 2 (MARZO), 2018, págs. 133-140
• Idioma: español
• Títulos paralelos:
  • Looking for modular mapreduce solutions for working with bigdata: Aspect-oriented hadoop.
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    En la búsqueda de soluciones MapReduce modulares, la principal meta de este trabajo es aplicar Hadoop y AspectJ para la definición de funciones Aspect-Combine. MapReduce es un enfoque de computación para trabajar con grandes volúmenes de datos (BigData) en un entorno distribuido, con altos niveles de abstracción y con el uso ordenado de funciones Map y Reduce, la primera de ellas para el mapeo o identificación de datos relevantes y la segunda para resumir datos y resultados finales. Hadoop es una aplicación libre de MapReduce que permite la definición de funciones Combine para la agrupación local de datos en la fase de Mapeo y así minimizar el tráfico de información entre Mapper y Reducer. Sin embargo, la ejecución de Combine no es garantizada en Hadoop, asunto que motivó este trabajo. Como resultado, se alcanza un mayor grado de modularización desde un punto de vista teórico, y desde el punto de vista práctico también existen mejoras en rendimiento.

  • English

    Justly, in the search for modular MapReduce solutions, the main goal of this work is to apply Hadoop and AspectJ for the definition of Aspect-Combine functions. MapReduce is a computing approach to work with large volumes of data (BigData) in a distributed environment, with high levels of abstraction and the ordered use of Map and Reduce functions, the first one for mapping or identifying relevant data and the second for resuming data and final results. In a MapReduce system, Mapper and Reducer nodes implement the Map and Reduce functions respectively. Hadoop is a free application of MapReduce that allows the definition of Combine functions. However, the execution of Combine is not guaranteed in Hadoop. This problem motivated this work. As a result, a greater degree of modularization is reached from a theoretical point of view. From the practical point of view there are also improvements in performance.