Diseño e Implementación de un Sistema de Visión Artificial usando un Brazo Robótico Niryo One, Cámara RBG-D y Redes Neuronales Artificiales aplicado a la Robótica Colaborativa

León Cuzco, Mélany Verónica

DSpace Principal
→
Unidades Académicas
→
Facultad de Ingeniería en Electricidad y Computación
→
Tesis de Electrónica y Automatización
→
Ver ítem

dc.contributor.advisor	Valarezo Añazco, Edwin, Director
dc.contributor.author	León Cuzco, Mélany Verónica
dc.creator	ESPOL. FIEC
dc.date.accessioned	2024-02-28T14:24:00Z
dc.date.available	2024-02-28T14:24:00Z
dc.date.issued	2024
dc.identifier.citation	León Cuzco, M. V. (2024). Diseño e Implementación de un Sistema de Visión Artificial usando un Brazo Robótico Niryo One, Cámara RBG-D y Redes Neuronales Artificiales aplicado a la Robótica Colaborativa. [Proyecto Integrador]. ESPOL. FIEC, Guayaquil. 46p.
dc.identifier.uri	http://www.dspace.espol.edu.ec/handle/123456789/60547
dc.description	La robótica colaborativa aplica la robótica en entornos compartidos con la finalidad de asistir a usuarios en tareas particulares. Estos robots colaboran directamente con usuarios garantizando la integridad de ambas partes con sistemas de seguridad que integran Inteligencia Artificial. La inclusión de los cobots en las industrias es limitada por las grandes inversiones que su instalación, puesta en marcha y mantenimiento implican. En este trabajo de tesis se diseñó e implementó un sistema colaborativo que incorpora dos modelos de inteligencia artificial (IA) a un brazo robótico Niryo One, un gripper con 2 DoF, cámara RGB-D Intel RealSense y una tarjeta Jetson Nano para procesar los datos de los sensores y generar el control del hardware. El primer modelo basado en Procesamiento del Lenguaje Natural (PLN) reconoce órdenes ingresadas por voz. El segundo, es un modelo de visión artificial basado en redes neuronales artificiales que identifica y localiza los cuatro objetos incluyendo un cubo, cilindro, estrella y pirámide. Los experimentos realizados determinan que el módulo de voz se inicializa en 0,256 segundos e infiere los comandos con una tasa de éxito del 96% en 0,53 ms. El módulo de visión es inicializado en 47 s e identifica y localiza los objetos de un frame en 3 segundos con exactitud promedio del 94%. Finalmente, el módulo control presenta 1cm de error de navegación, la tasa de éxito para las tareas de agarre y entrega al usuario son de 98,5% 90% respectivamente. Palabras Clave: Robótica Colaborativa, Inteligencia artificial, Visión Artificial, Deep Learning, Niryo One.
dc.format	application/pdf
dc.format.extent	46 página
dc.language.iso	spa
dc.publisher	ESPOL. FIEC
dc.rights	openAccess
dc.subject	Robótica Colaborativa
dc.subject	Inteligencia artificial
dc.subject	Visión Artificial
dc.subject	Deep Learning
dc.title	Diseño e Implementación de un Sistema de Visión Artificial usando un Brazo Robótico Niryo One, Cámara RBG-D y Redes Neuronales Artificiales aplicado a la Robótica Colaborativa
dc.type	Ingeniera en Electrónica y Automatización Industrial
dc.identifier.codigoespol	T-114060
dc.description.city	Guayaquil
dc.description.degree	Escuela Superior Politecnica del Litoral
dc.identifier.codigoproyectointegrador	INGE-2249
dc.description.abstractenglish	Collaborative robots (Cobots) focuses on implementing robots in common environments with human users and other robots. Cobots must avoid potential accidents between human and themselves by implementing safety systems based on Artificial Intelligence (AI). Also, the AI enhances the autonomy of the robots, allowing them to be deployed in less controlled scenarios. The inclusion of cobots in industries is limited due to the investments involved in buying, installation, and maintenance. In this thesis work, a collaborative system was designed and implemented, integrating two models of Artificial Intelligence (AI) along with a Niryo One robotic arm, a gripper with 2 DoF, an Intel RealSense RGB-D camera, and a Jetson Nano. The first model, based on Natural Language Processing (NLP) recognizes voice-input commands. The second model is an artificial vision-based on Deep Learning to identify and locate four objects including a cube, cylinder, star, and pyramid. The conducted experiments determined that the voice module initializes in 0.256 seconds and the inference time is 0.53 ms, the success rate of recognition is 96%. The vision module initializes in 47 seconds and identifies the objects within a frame in 3 seconds with an average accuracy of 94%. Finally, the control module demonstrates a navigation error of 1cm, with success rates of 98.5% for gripping and 90% for user delivery tasks. Keywords: Collaborative Robotics, Artificial Intelligence, Computer Vision, Deep Learning, Niryo One.