Computer visión and artificial intelligence for yield components' assessment in digital viticulture
- Autores: Fernando Palacios López
- Directores de la Tesis: Javier Tardáguila Laso (dir. tes.), María Paz Diago Santamaría (codir. tes.)
- Lectura: En la Universidad de La Rioja ( España ) en 2021
- Idioma: inglés
- Número de páginas: 37
- Títulos paralelos:
- Visión por ordenador e inteligencia artificial para la evaluación de los componentes del rendimiento en la viticultura digital
- Tribunal Calificador de la Tesis: Spyridon Fountas (presid.), Emilio Jiménez Macías (secret.), Manuel Pérez Ruiz (voc.)
- Programa de doctorado: Programa de Doctorado en Enología, Viticultura y Sostenibilidad por la Universidad de Castilla-La Mancha; la Universidad de La Rioja; la Universidad de Murcia; la Universidad de Salamanca y la Universidad de Valladolid
- Materias:
- Enlaces
- Tesis en acceso abierto en: Dialnet
- Resumen
- español
La estimación de los componentes del rendimiento de la vid es una tarea de gran relevancia para la industria vitivinícola y los viticultores. Los métodos tradicionales para obtener estos componentes suelen ser tediosos, requieren mucho tiempo y se limitan a una adquisición reducida de datos. Las nuevas tecnologías han surgido para ofrecer una alternativa a estos métodos. Entre ellas, la visión artificial y la inteligencia artificial se han utilizado ampliamente en diferentes campos para transformar la información contenida en las imágenes y otros datos en conocimiento que sirvan de apoyo la toma de decisiones. En particular, la visión artificial y la inteligencia artificial se están utilizando recientemente para estimar parámetros relevantes en la agricultura y la viticultura.
El objetivo principal de esta Tesis Doctoral es proporcionar nuevas herramientas en viticultura digital que combinen la visión artificial y la inteligencia artificial para la estimación de los componentes del rendimiento en condiciones de campo. En particular, se intentaron los siguientes objetivos: i) la aplicación de la visión artificial y el aprendizaje automático para la estimación de la compacidad de los racimos de la vid; ii) la combinación del aprendizaje profundo y la visión artificial para cuantificar el número de flores de la vid por cepa; iii) el uso de la visión artificial para analizar el impacto del estado del dosel en la oclusión de las bayas de la vid; iv) la combinación de la visión artificial, el aprendizaje profundo y el aprendizaje automático para cuantificar el número de bayas de la vid en tamaño guisante por cepa; y v) el uso de la visión artificial, el aprendizaje profundo y el aprendizaje automático para estimar el rendimiento de la uva meses antes de la vendimia.
Para el primer objetivo, se adquirieron imágenes RGB de la vid en continuo utilizando una plataforma de detección móvil para obtener una estimación de la compacidad de los racimos de la vid. Se desarrolló un algoritmo de visión artificial para extraer las características morfológicas de los racimos de las imágenes, y un modelo de aprendizaje automático utilizó esas características para evaluar la compacidad de cada racimo. Los resultados mostraron que el método desarrollado puede ser una alternativa más objetiva que la evaluación visual tradicional realizada por evaluadores entrenados.
Para el segundo objetivo, centrado en la cuantificación de las flores de la vid, se adquirió un conjunto de imágenes RGB de la vid en continuo en el estado fenológico de prefloración utilizando una plataforma de detección móvil. Se siguió un enfoque de segmentación semántica de aprendizaje profundo para segmentar y contar individualmente cada flor presentada en las imágenes. Se encontró una alta correlación entre el número de flores estimadas (a partir de las imágenes) y el rendimiento final en la vendimia, lo que demuestra que el sistema desarrollado es muy útil para obtener un indicador de rendimiento cerca de 100 días antes de la vendimia.
El análisis del impacto del estado del dosel en la oclusión de las bayas de la vid se abordó en un trabajo en el que se adquirieron manualmente imágenes RGB de las cepas cerca de la vendimia. A partir de los resultados obtenidos se pudo concluir que la visión artificial puede emplearse para evaluar el rendimiento en cepas total y parcialmente defoliadas en la zona productiva, combinada con un modelo capaz de capturar la variabilidad en el estado del dosel de diferentes viñedos.
Para la cuantificación de las bayas en tamaño guisante de la vid (cuarto objetivo), se empleó una plataforma de detección móvil para capturar imágenes RGB de la vid en continuo en el estado fenológico de tamaño guisante. Se aplicaron técnicas de segmentación semántica de aprendizaje profundo para obtener el número de bayas visibles en las imágenes y varias características del dosel de la vid que fueron utilizadas por modelos de aprendizaje automático para estimar el número de bayas por cepa, superando así parcialmente los artefactos de oclusión del dosel. Los resultados presentados en este capítulo demostraron que esta herramienta podría ser muy beneficiosa para desarrollar un indicador de rendimiento casi dos meses antes de la vendimia sin aplicar una defoliación completa intensiva de las cepas.
Por último, se presentó el tema de la evaluación del rendimiento de la uva. Se utilizaron las imágenes y las cepas del trabajo del tercer objetivo. Se combinaron la visión artificial, el aprendizaje profundo y el aprendizaje automático para obtener algunas características del dosel, que eran relevantes para estimar el rendimiento final superando las oclusiones del dosel, en diferentes variedades de vid. El modelo de estimación demostró ser preciso a la hora de estimar el rendimiento no solo en las variedades de vid ya incluidas en el modelo, sino también en nuevas variedades no incluidas.
Los resultados presentados en el trabajo de investigación de esta Tesis Doctoral ponen de manifiesto la utilidad y aplicabilidad de la visión artificial, el aprendizaje profundo y el aprendizaje automático para estimar los componentes del rendimiento de la vid, de forma no invasiva, en condiciones de campo. Estos resultados pueden ser cruciales en la viticultura digital como alternativa a los métodos tradicionales, y como apoyo a la toma de decisiones en los viñedos.
- English
Grapevine yield components’ estimation is a highly relevant task for the wine industry and grape growers. Traditional methods to obtain these components are usually tedious, time-demanding and limited to a reduced acquisition of data. New technologies have arisen to offer an alternative to these methods. Among them, computer vision and artificial intelligence have been widely used in different fields to transform the information contained in images and other data into knowledge that supports decision-making. Particularly, computer vision and artificial intelligence are being recently used to estimate relevant parameters in agriculture and viticulture.
The main goal of this PhD Thesis is to provide new tools in digital viticulture that combine computer vision and artificial intelligence towards yield components’ estimation under field conditions. In particular, the following objectives were attempted: i) the application of computer vision and machine learning for grapevine cluster compactness estimation; ii) the combination of deep learning and computer vision to quantify the number of grapevine flowers per vine; iii) the use of computer vision to analyze the impact of the canopy status on grapevine berry occlusion; iv) the combination of computer vision, deep learning and machine learning to quantify the number of grapevine pea-size berries per vine; and v) the use of computer vision, deep learning and machine learning to estimate grape yield months before harvest.
For the first objective, RGB vine images were acquired on-the-go using a mobile sensing platform to obtain a compactness estimation of the grapevine clusters. A computer vision algorithm was developed to extract cluster morphology features from the images, and a machine learning model used those features to assess the compactness of each cluster. The results shown that the developed method can be a more objective alternative to traditional visual assessment performed by trained evaluators.
For the second objective, which is focused on the quantification of grapevine flowers, a set of RGB vine images was acquired on-the-go at pre-flowering phenological stage using a mobile sensing platform. A deep learning semantic segmentation approach was followed to individually segment and count each flower presented on the images. A high correlation was found between the number of estimated flowers (from the images) and the final yield at harvest, proving that the developed system is highly useful to obtain a yield indicator near 100 days before harvest.
The analysis of the impact of the canopy status on grapevine berry occlusion was addressed in a work where RGB vine images were manually acquired near harvest. From the results obtained it could be concluded that computer vision can be employed to assess yield on fully and partially defoliated vines in the fruiting zone, combined with a model capable to capture the variability in the canopy status from different vineyards.
For the quantification of grapevine pea-size berries (fourth objective), a mobile sensing platform was employed to capture RGB vine images on-the-go at pea-size phenological stage. Deep learning semantic segmentation techniques were applied to obtain the number of visible berries in the images and several vine canopy features that were used by machine learning models to estimate the number of berries per vine, thus partially overcoming canopy occlusion artifacts. The results presented in this chapter demonstrated that this tool could be highly beneficial to develop a yield indicator almost two months before harvest without applying an intensive full vine defoliation.
Finally, the grape yield assessment issue was presented. The images and vines from the work of the third objective were used. Computer vision, deep learning and machine learning were combined to obtain some canopy features, that were relevant to estimate the final yield overcoming canopy occlusions, in different grapevine varieties. The estimation model proved to be accurate at estimating the yield not only in grapevine varieties already included in the model, but also in new varieties not included.
The outcomes presented in the research work of this PhD Thesis manifest the usefulness and applicability of computer vision, deep learning and machine learning to estimate grapevine yield components, non-invasively, under field conditions. These outcomes can be crucial in digital viticulture as an alternative to traditional methods, and a support for decision making in vineyards.
- español
