Adapting a Reinforcement Learning Approach for the Flow Shop Environment with sequence-dependent setup time

• Yunior César Fonseca-Reyna ^[1] ; Yailen Martínez-Jiménez ^[2]
  1. [1] Universidad De Granma

     Universidad De Granma

     Cuba

     
  2. [2] Universidad Central de Las Villas

     Universidad Central de Las Villas

     Cuba

     
• Localización: Revista Cubana de Ciencias Informáticas, ISSN-e 2227-1899, Vol. 11, Nº. 1, 2017
• Idioma: inglés
• Títulos paralelos:
  • Adaptación de un Algoritmo del Aprendizaje Reforzado para el Flow Shop con tiempos de configuración
• Enlaces
  • Texto completo
• Resumen
  • español

    El Flow Shop Scheduling es un problema de optimización que se presenta con frecuencia en sistemas de producción convencionales automatizados. Este es un problema común donde está involucrada la toma de decisiones con respecto a la mejor asignación de recursos a procesos de información en los cuales se tienen restricciones de temporalidad. Este problema es típico de la optimización combinatoria y se presenta en talleres con tecnología de maquinado donde existen máquinas-herramientas convencionales y se fabrican diferentes tipos de piezas que tienen en común una misma ruta. En este artículo se presenta una adaptación de un enfoque del Aprendizaje Reforzado conocido en la literatura como Q-Learning para resolver problemas de scheduling de tipo Flow Shop con tiempos de configuración entre trabajos y tiempos iniciales de preparación de las máquinas, teniendo como objetivo minimizar el tiempo de finalización de todos los trabajos, conocido en la literatura como makespan o Cmax. Por último, se presentan casos de pruebas para comprobar la validez de dicha adaptación de este algoritmo al problema de secuenciación de tareas.

  • English

    The tasks scheduling problem on linear production systems, Flow Shop Scheduling Problems, has been a great importance in the operations research which seeks to establish optimal job scheduling in machines within a production process in an industry in general. The problem considered here is to find a permutation of jobs to be sequentially processed on a number of machines under the restriction that the processing of each job has to be continuous with respect to the objective of minimizing the completion time of all jobs, known in literature as makespan or Cmax. Furthermore, its considerate setup-time between two jobs and initial preparation times of machines. This problem is as NP-hard, it is typical of combinatorial optimization and can be found in manufacturing environments, where there are conventional machines-tools and different types of pieces which share the same route. In this paper presents an adaptation of Reinforcement Learning algorithm known as Q-Learning to solve problems of the Flow Shop category. This algorithm is based on learning an action-value function that gives the expected utility of taking a given action in a given state where an agent is associated to each of the resources. Finally, the algorithm is tested with problems of different levels of complexity in order to obtain satisfactory results in terms of solutions quality.