Resumen de Qss improvement within distributed environments through the use of SLAs
Francisco Javier Conejero Bañón
Los entornos distribuidos permiten el uso compartido de recursos a gran escala para afrontar retos muy variados y cada vez más grandes, entre los que se encuentran retos de investigación, ingeniería o negocio. Los entornos Grid [1] y Cloud [2], representan dos de los entornos más eminentes de computación distribuida, los cuales se caracterizan por una gran cantidad de recursos, de naturaleza muy variada y dispersa. Los entornos Grid aparecieron basados en la idea de compartir recursos entre diferentes organizaciones y/o personas, fomentando la heterogeneidad y dispersión geográfica de los recursos. Alternativamente, los entornos Cloud aparecieron posteriormente con la misma filosofía, pero centrada en la explotación eficiente de grandes centros de cálculo, atenuando los problemas de heterogeneidad y gestión mediante técnicas de virtualización [3]. Los intereses de negocio han crecido últimamente en ambos entornos [4], y por lo tanto surge la necesidad de establecer contratos formalmente (entre proveedores de servicio y clientes) [5]. Esto se realiza mediante los acuerdos de nivel de servicio (SLAs) [6, 7], gracias a los que es posible especificar los términos relacionados con la calidad de servicio (QoS) esperados por los clientes (ej., tiempo de respuesta, disponibilidad, etc.). Sin embargo, ambos entornos presentan una alta variabilidad, lo que dificulta la provisión de QoS en la práctica. Esto es un gran problema cuando se trata de garantizar los términos acordados mediante SLAs, puesto que su objetivo es establecer contractualmente los requisitos que los clientes esperan obtener, implicando legalmente a ambos participantes en los resultados de negociación y aprovisionamiento de la QoS. Consecuentemente, la garantía de que las peticiones son procesadas con la QoS solicitada representa un problema que debe ser afrontado, mejorando la confiabilidad de estos sistemas. Una posible solución para mejorar la QoS en entornos Grid, puede ser la explotación de múltiples mecanismos de aprovisionamiento de QoS que pueden estar disponibles en los recursos del Grid, de forma eficiente y coordinada. Esto implica utilizar múltiples mecanismos, tales como planificación [8] y reservas por adelantado [9, 10], así como técnicas de replanificación [11]. De forma que se exploten las ventajas de los distintos mecanismos con el objetivo de mejorar, tanto la utilización de los recursos, como la garantía de que los usuarios reciben la QoS adecuada. Alternativamente, una solución para mejorar la QoS en entornos Cloud, puede ser la aplicación de planificación por adelantado en conjunción con el conocimiento del comportamiento de determinados servicios en la gestión de los recursos virtuales dedicados para los usuarios, como por ejemplo, el consumo energético, las políticas de despliegue o el dimensionamiento de recursos en función de los requisitos de los usuarios [12, 13]. El objetivo principal de esta Tesis es la mejora de los sistemas subyacentes para ofrecer cierta QoS, garantizando la satisfacción de los términos acordados mediante SLAs, en entornos Grid y Cloud reales, mediante el uso eficiente de los mecanismos existentes. CONTENIDO DE LA INVESTIGACIÓN En la presente Tesis se propone una arquitectura capaz de manejar diferentes mecanismos de planificación de forma simultánea, ofreciendo diferentes QoS en función de las peticiones de los usuarios y de los mecanismos disponibles en entornos Grid. Esta arquitectura está basada en la explotación simultánea de tres mecanismos: planificación por adelantado, reservas por adelantado y replanificación. Los resultados experimentales muestran como el uso inteligente de estos mecanismos es capaz de ofrecer un alto nivel de QoS a los usuarios, al mismo tiempo que se hace un uso eficiente de los recursos. En cuanto a los entornos Cloud, se ha diseñado una nueva capa denominada Nacreous. Nacreous es capaz de gestionar la infraestructura subyacente dependiendo de diferentes políticas, aplicando planificación por adelantado. Además, ha sido mejorado con el conocimiento del consumo energético y rendimiento en función del despliegue de aplicaciones de Big¿Data (Hadoop) [14]. Para ello, ambos ámbitos han sido caracterizados. Finalmente, y con el objetivo de mejorar la adaptabilidad, se ha desarrollado un heurístico para el dimensionamiento dinámico de recursos virtuales para Hadoop, provisto como servicio en entornos Cloud mediante el modelo infraestructura como servicio (IaaS). Más específicamente, esta Tesis presenta las siguientes contribuciones: - Desarrollo de una arquitectura para el soporte de SLAs en entornos Grid reales. - Explotación de múltiples mecanismos de planificación de forma coordinada. - Soporte de múltiples niveles de QoS en entornos Grid, mediante la confiabilidad que cada mecanismo de planificación provee. - Desarrollo de una arquitectura para el soporte de SLAs en entornos Cloud reales. - Extracción del modelo de consumo energético de un entorno Cloud para aplicaciones de Big¿Data, Hadoop en particular. - Análisis del comportamiento de Hadoop en entornos Cloud distribuidos. - Análisis e impacto de las métricas de consumo energético y localidad en los SLAs. - Gestión autónoma de los servicios Cloud para mejorar la eficiencia de estos entornos mediante la explotación de la planificación por adelantado, dimensionamiento adaptativo y eficiencia energética. CONCLUSIÓN Los entornos Grid y Cloud representan dos de los entornos computacionales más eminentes, caracterizados por una gran cantidad de recursos, diferentes entre sí y geográficamente dispersos. Sin embargo, proveer garantías de calidad de servicio a los usuarios de estos entornos es una tarea muy difícil y compleja. Su naturaleza distribuida y altamente variable, junto con la gran variedad de recursos y mecanismos de gestión disponibles, dificulta la explotación óptima de estas infraestructuras. Para afrontar este reto en entornos Grid, los mecanismos de calidad de servicio actuales disponibles en los recursos (e.g., metaplanificadores, reservas, seguridad, etc.), están diseñados para actuar a diferentes niveles, de forma independiente y con propósitos diferentes. Sin embargo, los recursos asociados a entornos Cloud pertenecen al proveedor del Cloud, permitiendo un mayor control y gestión sobre la infraestructura, pero existen dificultades para proveer calidad de servicio debido fundamentalmente a la variabilidad experimentada. La implantación de SLAs en estos entornos implica afrontar estos problemas, y por este motivo se ha tratado en la Tesis. El resultado de este trabajo han sido dos arquitecturas y softwares, uno para cada entorno, capaz de proveer garantías de QoS y un servicio de SLAs eficiente y compatible con el estándar WS-Agreement. Más en detalle, se ha estudiado y conseguido la gestión de múltiples mecanismos de planificación y reservas por adelantado de forma conjunta y organizada, junto con técnicas de predicción, para tratar este problema en entornos Grid. La gestión de estos mecanismos se ha mejorado con la inclusión de técnicas de replanificación, reduciendo la fragmentación del sistema, maximizando la cantidad de SLAs procesados y minimizando la cantidad de SLAs violados, así como mejorando el ratio de trabajos con mayores requisitos de QoS procesados. Además, la utilización de los diferentes mecanismos se ha realizado para ofrecer diferentes niveles de QoS (con términos de alto nivel basados en la confianza en el SLA). En cuanto a los entornos Cloud, la variabilidad del sistema ha sido afrontada mediante el análisis del consumo energético y los modelos de despliegue, considerando múltiples aplicaciones Hadoop y entornos virtuales, con el objetivo de mejorar el conocimiento de su comportamiento, y de esta manera poder mejorar la QoS. Este conocimiento ha demostrado ser útil para potenciar la utilización de SLAs en entornos Cloud mediante la mejora de las garantías del servicio. Además, se ha diseñado y evaluado un algoritmo novedoso y eficiente para el aprovisionamiento de clusters virtuales para Hadoop en entornos Cloud. Todas estas propuestas han sido evaluadas en entornos Grid y Cloud reales. Los resultados muestran que la QoS general puede mejorarse significativamente (ofreciendo mejoras en las garantías de ejecución de los trabajos asociados a los SLAs), se incrementa tanto el número de SLAs aceptados como los procesados satisfactoriamente haciendo uso de mecanismos de planificación eficientes. Para ello se tiene en cuenta el modelo de consumo energético obtenido y la caracterización realizada sobre los modelos de despliegue. Además, la información extraída de las operaciones y comportamiento del servicio ofrecido es útil para determinar la cantidad de recursos necesarios para satisfacer una determinada petición de SLA (en este caso para Hadoop). Esta información permite a los proveedores de servicios Cloud mejorar la QoS provista y mejorar la utilización de los recursos físicos.
