Abstract:
CONDITION FOR PUBLICATION OF PROJECT. Autism Disorder (ASD) poses a significant challenge to child communication and emotional regulation, particularly in those with verbal limitations. This project aims to develop a device that integrates an augmentative communication system through physical pictograms with a stress monitoring module based on computer vision and artificial intelligence. The hypothesis states that combining embedded technologies with emotional analysis algorithms enhances communicative autonomy while improving the effectiveness of early intervention in family and educational contexts. The system was developed through an iterative design methodology that encompassed 3D modeling and additive manufacturing, implementation of PECS cards with RFID technology, use of a Jetson Orin Nano processing unit, an ESP32 microcontroller, and multimodal emotion recognition models. Results confirmed the prototype’s capability to detect facial expressions, identify stress-related gestures, and generate structured messages from pictograms. It is concluded that the system represents a viable, accessible, and effective alternative to strengthen communication and promote the emotional well-being of children with ASD.
Keywords: Emotional monitoring, Child-Device Interaction, Multimodal analysis, Augmentative and Alternative Communication, Inclusive technology.
Description:
CONDICIONAMIENTO DE PUBLICACION DE PROYECTO. El Trastorno del Espectro Autista (TEA) representa un reto significativo en la comunicación y la regulación emocional infantil, particularmente en niños con limitaciones verbales. Este proyecto tiene como objetivo desarrollar un dispositivo que integre un sistema de comunicación aumentativa mediante pictogramas físicos y un módulo de monitoreo de niveles de estrés basado en visión por computadora e inteligencia artificial. La hipótesis sostiene que la integración de tecnologías embebidas con algoritmos de análisis emocional permite incrementar la autonomía comunicativa, a la vez que optimiza la intervención temprana en entornos familiares y educativos. El desarrollo se llevó a cabo mediante una metodología de diseño iterativo que incluyó modelado y fabricación aditiva en 3D, implementación de tarjetas PECS con tecnología RFID, empleo de una unidad de procesamiento Jetson Orin Nano, un microcontrolador ESP32 y modelos de reconocimiento multimodal de emociones. Los resultados confirmaron la funcionalidad del prototipo en la detección de expresiones faciales, gestos asociados al estrés y construcción de mensajes estructurados a partir de pictogramas. Se concluye que el sistema constituye una alternativa viable, accesible y eficaz para fortalecer la comunicación como el bienestar emocional de niños con TEA.
