Desarrollo de un modelo de Aprendizaje Profundo para la detección de movimientos y ademanes en presentaciones del sistema RAP de ESPOL

Chévez Coronel, Kevin Isaac; Rugel Díaz, Pamela Nayeli

DSpace Home
→
Unidades Académicas
→
Facultad de Ingeniería en Electricidad y Computación
→
Tesis de Computación
→
View Item

dc.contributor.advisor	Domínguez Bonini, Federico , Director
dc.contributor.author	Chévez Coronel, Kevin Isaac
dc.contributor.author	Rugel Díaz, Pamela Nayeli
dc.creator	ESPOL.FIEC
dc.date.accessioned	2024-10-20T20:31:54Z
dc.date.available	2024-10-20T20:31:54Z
dc.date.issued	2024
dc.identifier.citation	Chévez Coronel, K. I. y Rugel Díaz, P. N. (2024). Desarrollo de un modelo de Aprendizaje Profundo para la detección de movimientos y ademanes en presentaciones del sistema RAP de ESPOL. [Proyecto Integrador]. ESPOL.FIEC .
dc.identifier.uri	http://www.dspace.espol.edu.ec/handle/123456789/62323
dc.description	Esta investigación desarrolla un módulo de retroalimentación automática para presentaciones orales usando un modelo de detección de ademanes basado en inteligencia artificial. El objetivo es mejorar la precisión y utilidad del sistema RAP mediante este módulo. Se hipotetiza que un modelo entrenado con datos históricos y sintéticos ofrecerá una retroalimentación más precisa. El proyecto se justifica por la necesidad de optimizar la evaluación del RAP. Se mplearon técnicas de procesamiento de video y análisis de datos con herramientas como Python, OpenCV y MediaPipe. Se aplicaron técnicas de normalización y data augmentation para enriquecer el dataset, y se entrenaron tres tipos de modelos: uno con datos históricos, otro con datos sintéticos y un modelo combinado. Los resultados obtenidos demostraron que el modelo entrenado con datos generados en un entorno controlado ofreció el mejor desempeño en la identificación de ademanes. La retroalimentación generada incluyó un análisis detallado de la frecuencia de acciones, acompañado de ejemplos visuales y estadísticas precisas. El modelo implementado permite una evaluación efectiva y cuantitativa de las acciones durante las presentaciones y facilita una comprensión clara del desempeño del usuario y mejora la utilidad del sistema RAP. Palabras Clave: Detección de ademanes, Retroalimentación Automática, Procesamiento de Video, Inteligencia Artificial, Análisis de Datos.
dc.format	application/pdf
dc.format.extent	47 página
dc.language.iso	spa
dc.publisher	ESPOL.FIEC
dc.rights	openAccess
dc.subject	Detección de ademanes
dc.subject	Procesamiento de Video
dc.subject	Retroalimentación Automática
dc.subject	Inteligencia Artificial
dc.subject	Análisis de Datos
dc.title	Desarrollo de un modelo de Aprendizaje Profundo para la detección de movimientos y ademanes en presentaciones del sistema RAP de ESPOL
dc.type	Ingeniero/a en Ciencias de la Computación
dc.identifier.codigoespol	T-76976
dc.description.city	Guayaquil
dc.description.degree	Escuela Superior Politécnica del Litoral
dc.identifier.codigoproyectointegrador	TECH-361
dc.description.abstractenglish	This research develops an automatic feedback module for oral presentations using a gesture detection model based on artificial intelligence. The main objective is to improve the accuracy and usefulness of the RAP system through this module. It is hypothesized that a model trained with both historical and synthetic data will provide more precise feedback. The project is justified by the need to optimize the current RAP evaluation. Video processing and data analysis techniques were employed using tools such as Python, OpenCV, and MediaPipe. Techniques like normalization and data augmentation were applied to enrich the dataset, and three types of models were trained: one with historical data, another with synthetic data, and a combined model. The results showed that the model trained with data generated in a controlled environment performed the best in gesture identification. The feedback provided included a detailed analysis of action frequency, along with visual examples and precise statistics. The implemented model enables effective and quantitative evaluation of actions during presentations, facilitating a clear understanding of user performance and enhancing the utility of the RAP system. Keywords: Gesture Detection, Automatic Feedback, Video Processing, Artificial Intelligence, Data Analysis.