Aprendizaje por refuerzo para el control del pH en fotobiorreactores de microalgas

• Gil Vergel, Juan Diego ^[1] ; Del Rio Chanona, Antonio ^[2] ; Guzmán, José L. ^[1] ; Berenguel, Manuel ^[1]
  1. [1] Universidad de Almería

     Universidad de Almería

     Almería, España

     
  2. [2] Imperial College London

     Imperial College London

     Reino Unido

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 46, 2025
• Idioma: español
• Títulos paralelos:
  • Reinforcement Learning for pH Control in Microalgae Photobioreactors
• Enlaces
  • Texto completo
• Resumen
  • español

    Este trabajo propone un sistema de control basado en aprendizaje por refuerzo para regular el pH en fotobiorreactores de microalgas, utilizando un agente basado en el algoritmo Deep Deterministic Policy Gradient (DDPG). Este enfoque aprende a partir de datos históricos generados por controladores convencionales, como el PID, sin necesidad de interacción directa con el sistema físico. Además, tras su implementación, el agente puede continuar entrenándose periódicamente con nuevas experiencias, lo que le permite adaptarse a las dinámicas cambiantes del proceso biológico. Los resultados en simulación muestran que el algoritmo propuesto mejora métricas de control tradicionales, como la integral del error absoluto en un 12 %, en comparación con un controlador PID. Asimismo, el reentrenamiento periódico favorece la adaptación y robustez del sistema. Estos resultados posicionan al aprendizaje por refuerzo como una alternativa prometedora para la automatización de este tipo de bioprocesos.

  • English

    This work proposes a reinforcement learning control system to regulate the pH in microalgae photobioreactors, using an agent based on the Deep Deterministic Policy Gradient (DDPG) algorithm. This approach learns from historical data generated by conventional controllers, such as the PID, without requiring direct interaction with the real system. After its implementation, the agent can continue training periodically with new experiences, allowing it to adapt to the changing dynamics of the biological process. Simulation results show that the proposed algorithm improves traditional control metrics, such as the integral of absolute error, by 12% compared to a PID controller. Additionally, periodic retraining supports the adaptation and robustness of the system. These results position reinforcement learning as a promising alternative for automating this type of bioprocess.