Usando Kinect como sensor para pulverización inteligente

• C. Correa ^[1] ; C. Valero ^[1] ; P. Barreiro ^[1] ; J. Ortiz-Cañavate ^[1] ; J. Gil ^[1]
  1. [1] Universidad Politécnica de Madrid
• Localización: VII Congreso Ibérico de Agroingeniería y Ciencias Hortícolas: innovar y producir para el futuro. Libro de actas / coord. por Francisco Ayuga Téllez, Alberto Masaguer, Ignacio Mariscal Sancho, Morris Villarroel Robinson, Margarita Ruiz Altisent, Fernando Riquelme Ballesteros, E. C. Correa, 2014, ISBN 978-84-695-9055-3, págs. 109-114
• Idioma: español
• Títulos paralelos:
  • Using Kinect as sensor for smart spraying
• Texto completo no disponible (Saber más ...)
• Resumen
  • español

    Este trabajo está orientado a resolver el problema de la caracterización de la copa de árboles frutales para la aplicación localizada de fitosanitarios. Esta propuesta utiliza un mapa de profundidad (Depth image) y una imagen RGB combinadas (RGB-D), proporcionados por el sensor Kinect de Microsoft, para aplicar pesticidas de forma localizada. A través del mapa de profundidad se puede estimar la densidad de la copa y a partir de esta información determinar qué boquillas se deben abrir en cada momento. Se desarrollaron algoritmos implementados en Matlab que permiten además de la adquisición de las imágenes RGB-D, aplicar plaguicidas sólo a hojas y/o frutos según se desee. Estos algoritmos fueron implementados en un software que se comunica con el entorno de desarrollo "Kinect Windows SDK", encargado de extraer las imágenes desde el sensor Kinect. Por otra parte, para identificar hojas, se implementaron algoritmos de clasificación e identificación. Los algoritmos de clasificación utilizados fueron "Fuzzy C-Means con Gustafson Kessel" (FCM-GK) y "K-Means". Los centroides o prototipos de cada clase generados por FCM-GK fueron usados como semilla para K-Means, para acelerar la convergencia del algoritmo y mantener la coherencia temporal en los grupos generados por KMeans. Los algoritmos de clasificación fueron aplicados sobre las imágenes transformadas al espacio de color L*a*b*; específicamente se emplearon los canales a*, b* (canales cromáticos) con el fin de reducir el efecto de la luz sobre los colores. Los algoritmos de clasificación fueron configurados para buscar cuatro grupos: hojas, porosidad, frutas y tronco. Una vez que el clasificador genera los prototipos de los grupos, un clasificador denominado Máquina de Soporte Vectorial, que utiliza como núcleo una función Gaussiana base radial, identifica la clase de interés (hojas). La combinación de estos algoritmos ha mostrado bajos errores de clasificación, rendimiento del 4% de error en la identificación de hojas. Además, estos algoritmos de procesamiento de hasta 8.4 imágenes por segundo, lo que permite su aplicación en tiempo real. Los resultados demuestran la viabilidad de utilizar el sensor "Kinect" para determinar dónde y cuándo aplicar pesticidas. Por otra parte, también muestran que existen limitaciones en su uso, impuesta por las condiciones de luz. En otras palabras, es posible usar "Kinect" en exteriores, pero durante días nublados, temprano en la mañana o en la noche con iluminación artificial, o añadiendo un parasol en condiciones de luz intensa.

  • português

    This work is aimed to solve the problem of fruit tree canopy characterization for spraying purposes. This proposal is based on using a depth map and a RGB image provided by the vision sensor "Kinect" from Microsoft to perform smart spraying. Through the depth map the density of trees can be estimated and thereby it is possible to determine which nozzles should be turned on/off at every moment. Furthermore, algorithms to apply pesticides only to leaves and/or fruits as desired were created. The software was developed in Matlab that allows the acquisition of the depth map and RGB image from the “Kinect" sensor. This software communicates with the "Kinect Windows SDK", processes the information, and then provides information regarding the presence and location of leaves and/or fruit. To identify leaves, classification and identification algorithms were applied. The classification algorithms used were "Fuzzy C-Means with Gustafson Kessel" FCM-GK and "K-Means". In this framework the centroids generated by FCM are used as seed for K-means, in order to accelerate the implementation and maintain temporal consistency in the groups generated by the K-means algorithm. Classification algorithms were applied over the images transformed to the L*a*b* color spaces, specifically over the channels a*b* (the chromatics channels) in order to reduce the light effect over the colors. Classification algorithms were tuned to search for four clusters: leaves, porosity, fruits, and trunk. Once the classifier generates the cluster prototype, leaves are identified by using a binary Support Vector Machine that uses as kernel a Gaussian radial basis function. The combinations of all these algorithms have shown low misclassification, yield 4% error on the leaves identification. Besides, these algorithms process up to 8.4 frames per second, allowing its application in real time. Result shows the feasibility of using the “Kinect” sensor to determine where and when to apply pesticide. On the other hand, it also shows the limitation imposed by the lightening conditions. In other words, it is possible to use “Kinect” outdoors, but working during cloudy days, early in the morning or at night using artificial illumination, or adding a sun shield for strong light conditions.