Pipeline de detección y seguimiento de manzanas para geolocalización de anomalías.

Guchin, Alexei - Sheppard, Thomas

Resumen:

El objetivo principal de este trabajo es desarrollar una solución que permita automatizar y optimizar el proceso de análisis de frutas en entornos agrícolas. Para lograr este propósito, se diseñó un sistema que combina técnicas de visión por computadora y aprendizaje profundo. En este trabajo, presentamos la implementación de un sistema que clasifica manzanas en sanas o enfermas y las asocia con una posición geográfica para identificar dónde se encuentran. Este sistema, es un pipeline que integra algoritmos de detección, tracking (seguimiento) en video y clasificación de manzanas, vinculándolas a una ubicación geográfica para generar un mapa de calor que identifica áreas con una mayor presencia de manzanas enfermas. Durante el procesamiento de cada frame de un video, se lleva a cabo la detección de las manzanas presentes, su seguimiento en el tiempo y el conteo de las manzanas vistas. Al finalizar de procesar el video se clasifican las manzanas detectadas utilizando todas las imágenes que se obtuvieron de cada una. También puede clasificar las manzanas en tiempo real, es decir, a medida que se procesan los frames. El pipeline es muy flexible al uso de otros algoritmos ya que fue implementado de forma genérica, teniendo que solamente implementar interfaces que usen el algoritmo. Además, está integrado con ROS (Robot Operating System) para que pueda ejecutarse en robots. Para la detección de manzanas se utilizó YOLOv8, Faster R-CNN y SAM. Para el seguimiento en video se emplearon StrongSORT, HybridSORT, DeepOCSORT, BoT-SORT y Norfair. Para la clasificación de manzanas se utilizó CLIP y VisionTransformer.

Detalles Bibliográficos
2024
Detección de objetos
Tracking
Seguimiento en video
Clasificación de imágenes
Manzanas
Redes neuronales
Inteligencia artificial
Visión por computadora
Robótica
Agricultura de precisión
Español
Universidad de la República
COLIBRI
https://hdl.handle.net/20.500.12008/45630
Acceso abierto
Licencia Creative Commons Atribución (CC - By 4.0)