Abstract:
This project addresses the design and implementation of an autonomous manipulation system that integrates RGB-D computer vision and collaborative robotics. The objective is to develop a solution capable of detecting, segmenting, and classifying moving parts on a conveyor belt, justified by the industrial need to optimize operational efficiency with minimal human intervention. For the implementation, a hardware architecture was developed combining processing on a NVIDIA Jetson Nano, an Intel RealSense depth camera, and a robotic arm, communicating via MQTT protocol and ROS2 topics. The system core integrated the YOLOv5-seg model with the inverse kinematics algorithms to synchronize detection with the robot actuation in real-time. Experimental results validated that the Deep Learning model successfully identified objects and predicted their position using the camera image, demonstrating a high capacity for generalization across different categories. It is concluded that the proposed control architecture exhibits stability against position and speed variations, being able to guarantee robust autonomous operation. For future work, implementing dynamic calibration modes and speed estimation systems is recommended to refine individual trajectory calculations.
Keywords: Computer vision, collaborative robotics, industry 4.0, deep learning, automation.
Description:
El presente trabajo aborda el diseño e implementación de un sistema de manipulación autónoma que integra visión artificial RGB-D y robótica colaborativa. El objetivo es desarrollar una solución capaz de detectar, segmentar y clasificar piezas en movimiento sobre una banda transportadora, justificándose en la necesidad industrial de optimizar la eficiencia operativa con mínima intervención humana. Para el desarrollo, se implementó una arquitectura de hardware que combinó procesamiento en una NVIDIA Jetson Nano, una cámara de profundidad Intel RealSense y un brazo robótico, comunicándose vía protocolo MQTT y tópicos de ROS2. El núcleo del sistema consiste en el trabajo conjunto del modelo de segmentación YOLOv5-seg y los algoritmos de cinemática inversa para sincronizar la detección con la actuación del robot en tiempo real. Los resultados experimentales validaron que el modelo de Deep Learning identificó objetos y predijo su posición exitosamente a través de la imagen de la cámara, demostrando una alta capacidad de generalización ante distintas categorías. Se concluye que la arquitectura de control propuesta muestra estabilidad ante variaciones de posición y velocidad, siendo capaz de garantizar una operación autónoma robusta. Para trabajos futuros, se recomienda implementar modos de calibración dinámica y sistemas de estimación de velocidad para perfeccionar el cálculo de trayectorias individuales.
