A probabilistic framework for prognostics with uncertainty quantification based on physics-guided bayesian neural networks

• Autores: Juan Fernández Salas
• Directores de la Tesis: Juan Chiachío Ruano (dir. tes.)
• Lectura: En la Universidad de Granada ( España ) en 2023
• Idioma: inglés
• ISBN: 9788411179911
• Número de páginas: 146
• Enlaces
  • Tesis en acceso abierto en: DIGIBUG
• Resumen
  • español

    Las redes neuronales artificiales son una familia de modelos computacionales inspirados en el comportamiento de las neuronas biológicas del cerebro humano. Estos algoritmos han tenido un considerable ´éxito en diversas aplicaciones y están teniendo un gran impacto en nuestra vida diaria. De hecho, muchas industrias llevan décadas cosechando los frutos deluso de estas tecnologías. Pero ese no es el caso en muchas ´áreas de la ingeniería y, más específicamente, en la ingeniería civil/estructural, donde su aplicación se limita principalmente al terreno de la investigación. Incluso cuando la ingeniería civil es un sector con márgenes ajustados donde la seguridad es la prioridad número uno y por lo tanto, los beneficios de su implementación podrían ser significativos. Las razones detrás de este limitado interés son diversas, desde la escasez de datos de calidad, hasta la desconfianza generalizada Sobre su potencial y aplicabilidad en el sector. En efecto, las redes neuronales artificiales a menudo se consideran como un sistema de caja negra, dado que pueden aproximar cualquier función pero sin proporcionar información sobre su estructura o forma. Además, adolecen de una serie de inconvenientes y sus Predicciones no siempre son correctas. Por lo tanto, la cuantificación de la incertidumbre sobre los resultados proporcionados por las redes neuronales se vuelve de gran importancia. Particularmente, las redes neuronales Bayesianas actuales, como “Variational Inference”, “Hamiltonian Montecarlo” o “Probabilistic Backpropagation”, han contribuido en gran medida a arrojar luz sobre este asunto, pero su método para cuantificar la incertidumbre puede Considerarse como rígido. Esto se debe principalmente al uso de modelos de probabilidad paramétricos para definir la función de densidad de los pesos y sesgos, pero también a otras limitaciones específicas del algoritmo de retropropagación (“backpropagation”). En esta tesis se propone un nuevo algoritmo de entrenamiento para redes neuronales Bayesianas basado en computación Bayesiana aproximada, en adelante denominado BNN by ABC-SS. Los pesos y sesgos de la red se entrenan de forma probabilística sin retropropagación ni evaluación del gradiente o derivadas parciales, por lo que se evitan problemas como el estancamiento en mínimos locales y se mejora la estabilidad del algoritmo. Además, no se predefinen modelos de probabilidad paramétricos para la función de densidad de los pesos y sesgos, sino que estas pueden adoptar cualquier forma acorde a los datos de entrenamiento. Como resultado, BNN by ABC-SS presenta una gran flexibilidad para aprender de los datos observados y, lo que es más importante, para cuantificar la incertidumbre presente en dichos datos. Las predicciones de esta red neuronal Bayesiana entrenada con ABC-SS son funciones de densidad no paramétricas, que pueden entenderse como el grado de creencia en dichas predicciones en base a los datos disponibles. Como se mencionó anteriormente, la falta de datos también es una limitación importante para las redes neuronales artificiales, ya que su entrenamiento depende completamente de ellos. Además, la extrapolación esta fuera de sus capacidades, lo que significa que las predicciones realizadas fuera del dominio de los datos de entrenamiento suelen ser aleatorias y, en la mayoría de los casos, no se debe confiar en ellas. Este problema se puede superar, o al menos mitigar, introduciendo modelos basados en física dentro de la arquitectura de la red neuronal. Si bien estos algoritmos híbridos son cada vez más populares dentro de la comunidad científica, normalmente la física es insertada en la función de coste a través de algunas Condiciones de contorno conocidas, en forma de ecuaciones diferenciales parciales. Luego, el error se retropopagación para ajustar los pesos y sesgos, obligándolos a cumplir con las leyes de la física dadas. En esta tesis se sigue un enfoque diferente, donde la física se introduce de forma independiente en tres partes de la red neuronal, a saber, las neuronas de entrada, las neuronas de salida y la función métrica (ρ en ABC-SS), lo que da como resultado tres variantes que son entrenadas con ABC-SS. En consecuencia, la necesidad de datos se reduce y las capacidades de extrapolación del modelo hibrido mejoran notablemente, especialmente cuando la física se agrega a las neuronas de salida como un parámetro de sesgo adicional. Además, el uso de ABC-SS como motor de aprendizaje proporciona estabilidad y una cuantificación más realista de la incertidumbre, lo que genera un algoritmo más fiable. Esto es especialmente interesante en ingeniería, ya que nos permite aprovechar y explotar el valioso conocimiento que existe dentro de los modelos basados en física, así como la flexibilidad delas redes neuronales artificiales para capturar el comportamiento no lineal que a menudo se encuentra en los datos reales. Los principios antes mencionados nos llevan a la última etapa de esta tesis doctoral, cuando estos son aplicados a la ingeniería de pronóstico, una disciplina que se enfoca en predecir como evolucionara el daño y el rendimiento de un sistema a lo largo del tiempo. Para ello, la capacidad de manejar datos secuenciales es de gran importancia, y es ahí donde destacan las redes neuronales recurrentes. En la literatura existente se puede observar como estos algoritmos basados en datos también se combinaron con modelos basados en física. Mientras estos modelos recurrentes hibrido han proporcionado resultados prometedores, también han mostrado ser especialmente sensibles a problemas relacionados con la retropropagacion del gradiente, conocidos como “vanishing gradients”. Arquitecturas más complejas como “Long-Short-Term-Memory” han demostrado mitigar este problema, pero a expensas de aumentar la cantidad de parámetros y funciones de activación ´on. En esta tesis, se propone una red neuronal recurrente guiada por física y entrenada con ABC-SS, para hacer predicciones sobre el rendimiento futuro de un sistema de ingeniería basándose en datos secuenciales históricos y modelos físicos. La naturaleza probabilística del entrenamiento Bayesiano ABC-SS, junto con su cuantificación flexible de la incertidumbre, proporciona un algoritmo fiable que evita los problemas asociados con la evaluación del gradiente y su retropropagación en el tiempo, por lo que las dependencias a largo plazo pueden ser aprendidas sin la necesidad de arquitecturas más complejas. Además, la combinación del conocimiento basado en física y la regularización Bayesiana contribuye a mejorar la capacidad de extrapolación de la red neuronal recurrente propuesta, lo que es fundamental para realizar predicciones sobre un horizonte lejano. Para evaluar el rendimiento de los algoritmos propuestos en esta tesis se presentan varios casos de estudio con diferentes problemas de ingeniería, desde fatiga en materiales compuestos hasta desplazamientos y aceleraciones en estructuras de hormigón armado sometidas a cargas sísmicas. En todos ellos se observa una cuantificación realista de la incertidumbre proporcionada por ABC-SS, alta precisión comparable a la de las redes neuronales actuales, estabilidad gracias a la ausencia de evaluación del gradiente, y la capacidad de hacer predicciones precisas más allá del dominio de los datos de entrenamiento cuando se combinan con modelos basados en física. Con respecto a las aplicaciones a casos reales, las redes neuronales Bayesianas propuestas se podrían considerar como parte de una herramienta de PHM más amplia, ayudando a tomar decisiones mejor informadas sobre futuras operaciones de mantenimiento, basadas en pronósticos sobre la integridad estructural del sistema.

  • English

    Artificial neural networks are a family of algorithms whose principles are inspired by the behaviour of biological neurons in the human brain. They have been very successful in performing a wide variety of tasks, and are making a considerable impact on our daily lives. Moreover, many industries have been reaping the rewards from the use of these technologies for decades. But this is not the case in many areas of engineering, and more specifically, civil/structural engineering, where their application is mainly confined within the research domain. Even though civil engineering is a sector with tight margins where safety is the number one priority, and therefore, the benefits of a successful implementation could be significant. The reasons behind such little interest are diverse, from scarcity of quality data, to general distrust about their potential and applicability in the sector. Indeed, artificial neural networks are often considered as a black box system, given that they can approximate any function but without providing insights about its structure or form. Besides, they suffer from a series of drawbacks and their predictions are not always correct. Hence, quantifying the uncertainty in the outputs of the neural networks becomes of great importance. The state-of-the-art Bayesian neural networks, such as Variational Inference, Hamiltonian Monte Carlo, or Probabilistic Backpropagation, have largely contributed to cast light on this matter, but their method to quantify the uncertainty may be considered as rigid. This is mainly due to the use of parametric probability models for the likelihood function and/or the weights and bias, but also because of the limitations specific to the backpropagation algorithm. In this thesis, a novel training algorithm for Bayesian neural networks based on approximate Bayesian computation is proposed, hereafter called BNN by ABC-SS. The weights and bias parameters are trained probabilistically without backpropagation or gradient evaluation, thus issues such as local minima are avoided and the stability of the algorithm is improved. Also, predefined parametric probability models are not used for the weights and bias, but they can adopt any form depending on the training data. As a result, BNN by ABC-SS presents great flexibility to learn from the observed data, and more importantly, to quantify the uncertainty inherent in such data. The output of the Bayesian neural network trained with ABC-SS is a non-parametric probability density function that can be understood as the degree of belief of such output in light of the data available. As previously mentioned, lack of data is also an important limitation for artificial neural networks, as their training is entirely dependent on them. Furthermore, extrapolation is outside their capabilities, which means that the predictions made outside the domain of the training data are often random, and should not be trusted in most cases. This problem can be overcome, or at least mitigated, by introducing the knowledge extracted from physics-based models into the neural network architecture. While these hybrid algorithms are becoming more and more popular within the scientific community, they normally insert the physics in the loss function through some known boundary conditions, in the form of partial differential equations. The error is then backpropagated to adjust the weights, forcing them to comply with the given laws of physics. A different approach is followed in this thesis, where the physics are introduced independently in three parts of the neural network, namely the input neurons, the output neurons and the metric function (ρ in ABC-SS), resulting in three different variants which are then trained with ABC-SS. The need for data is reduced and the extrapolation capabilities of the overall model improved notably, especially when the physics are added to the output neurons like an extra bias parameter. Additionally, the use of ABC-SS as learning engine provides stability and a more realistic quantification of the uncertainty, yielding a more reliable algorithm. This is especially interesting in engineering, as it allows us to exploit both the valuable knowledge within the physics-based models and the flexibility of artificial neural networks to capture the nonlinear behaviour often found in real data. The aforementioned principles lead us to the last stage of this doctoral dissertation, when they are applied to prognostics, an engineering discipline that focuses on predicting how the damage and performance of a system will evolve through time. To that end, the capacity of handling sequential data is of great importance, and that is particularly where recurrent neural networks excel at. In the literature, these data-driven algorithms have also been combined with physics-based models and provided promising results, however, they are specially sensitive to gradient related problems, such as vanishing gradients. More complex architectures like Long-Short-Term-Memory have proven to mitigate this issue, but at the expense of increasing the number of parameters and activation functions. In this thesis, a physics-guided recurrent neural network trained with ABC-SS is proposed to make predictions about the future performance of an engineering system based on historical sequential data and physics-based knowledge. The probabilistic nature of the ABC-SS algorithm, along with its flexible quantification of the uncertainty, translates into a reliable algorithm that avoids the issues associated to the evaluation of the gradient and its propagation through time, thus long-term dependencies can be learnt without the need for more complex architectures. Moreover, the combination of physics-based knowledge and Bayesian regularization contributes to an improved extrapolation capacity of the proposed recurrent neural network, which is paramount in multi-step ahead forecasting. Several case studies are presented to evaluate the performance of the proposed algorithms in different engineering problems, from fatigue in composite materials to displacement and accelerations in concrete structures subjected to seismic loads. The key findings from those case studies are the realistic quantification of the uncertainty provided by ABCSS, high accuracy comparable to that of the state-of-the-art neural networks, stability thanks to the absence of gradient evaluation, and the ability to make precise predictions beyond the domain of the training data when combined with physics-based models. Regarding real-world applications, the proposed Bayesian neural networks can be envisaged becoming part of a wider PHM tool, helping to make informed decisions about future maintenance operations based on prognostics about the structural integrity of the system.