Diseño de un algoritmo basado en aprendizaje reforzado para ajustar dinámicamente el tiempo de backoff en un entorno machine-type communication

Guamán Guamán, Paul Enrique

DSpace Principal
→
Unidades Académicas
→
Facultad de Ingeniería en Electricidad y Computación
→
Tesis de Maestría en Telecomunicaciones
→
Ver ítem

dc.contributor.advisor	Tello O., Luis Patricio , Director
dc.contributor.author	Guamán Guamán, Paul Enrique
dc.creator	ESPOL
dc.date.accessioned	2023-11-01T20:31:32Z
dc.date.available	2023-11-01T20:31:32Z
dc.date.issued	2023
dc.identifier.citation	Guamán Guamán, P. E. (2023). Diseño de un algoritmo basado en aprendizaje reforzado para ajustar dinámicamente el tiempo de backoff en un entorno machine-type communication. [Proyecto Integrador]. ESPOL. FIEC .
dc.identifier.uri	http://www.dspace.espol.edu.ec/handle/123456789/58579
dc.description	Los dispositivos que requieren un acceso a la red de comunicaciones más grande como el internet va creciendo de forma exponencial, por lo que se requiere disponer de medios los cuales garanticen el acceso a estos dispositivos. Las redes celulares son la mejor opción para garantizar esta conectividad. Los dispositivos de comunicación tipo máquina (MachineType Communication, MTC) generan elevadas solicitudes de conexión simultáneas, lo que implica un elevado número de colisiones en el canal de acceso aleatorio de la red celular. El proceso de backoff en el procedimiento de acceso aleatorio se utiliza para resolver las colisiones cuando varios usuarios han seleccionado los mismos recursos para el intento de acceso. Este proceso consiste en definir un tiempo de espera previo a una re-transmisión; la estación base determina este tiempo por medio del Indicador de Backoff (BI), lo difunde en la red y los dispositivos que han colisionado calculan un tiempo de retransmisión aleatoriamente en función del BI configurado por la red. En la especificación técnica, el valor de BI es fijo y, en ocasiones de elevada carga en el canal de acceso, esto provoca un elevado número de retransmisiones en las solicitudes de conexión que utilizan un mismo slot, así como una baja probabilidad de acceder a la red de comunicaciones. En esta investigación se evalúa el canal de acceso aleatorio y se diseña un algoritmo basado en aprendizaje por refuerzo para ajustar dinámicamente el valor de BI. Se utilizó el software MATLAB para desarrollar un modelo de simulación del procedimiento de acceso aleatorio basado en contención; este modelo contempla las especificaciones del organismo de estandarización Third Generation Partnership Project (3GPP) para comunicaciones celulares. Se utilizó Q-Learning para ajustar dinámicamente el valor del BI y se evaluaron las métricas de rendimiento de red consideradas de mayor relevancia: probabilidad de acceso satisfactorio, número de retransmisiones y retardo en el acceso. Los resultados demuestran que el algoritmo diseñado incrementa la probabilidad de acceso satisfactorio manteniendo un valor superior a 75% incluso en escenarios de elevada carga con un ligero impacto en el número de retransmisiones, pero incrementando el retardo en el acceso de los dispositivos debido a la dispersión del tiempo de retransmisión de las peticiones fallidas. La solución es óptima para aplicaciones tolerantes al retardo en las que la calidad de servicio se mide en base a la probabilidad de acceso satisfactorio de los dispositivos a la red de comunicación.
dc.format	application/pdf
dc.format.extent	74 páginas
dc.language.iso	spa
dc.publisher	ESPOL
dc.rights	openAccess
dc.subject	Backoff
dc.subject	MTC
dc.subject	Redes celulares
dc.subject	Q_Learning
dc.title	Diseño de un algoritmo basado en aprendizaje reforzado para ajustar dinámicamente el tiempo de backoff en un entorno machine-type communication
dc.type	Magister en Telecomunicaciones
dc.identifier.codigoespol	T-113854
dc.description.city	Guayaquil
dc.description.degree	Escuela Superior Politécnica del Litoral
dc.identifier.codigoproyectointegrador	FIEC-POSTG029
dc.description.abstractenglish	Devices that require access to the largest communications network, such as the Internet, are growing exponentially, so it is necessary to have means that guarantee access to these devices. Cellular networks are the best option to guarantee this connectivity. Machine-type Communication (MTC) devices generate high simultaneous connection requests, which implies a high number of collisions on the random access channel of the cellular network. The backoff process in the random access procedure is used to resolve collisions when multiple users have selected the same resources for the access attempt. This process consists of defining a waiting time prior to a re-transmission; the base station determines this time through the Backoff Indicator (BI), broadcasts it on the network, and the colliding devices calculate a retransmission time randomly based on the BI configured by the network. In the technical specification, the BI value is fixed, and sometimes, a high load on the access channel causes a high number of retransmissions in connection requests that use the same slot as well as a low probability of accessing the communication network. In this research, the random access channel is evaluated, and an algorithm based on reinforcement learning is designed to adjust the BI value in a dynamic manner. MATLAB software was used to develop a simulation model of the contention-based random access procedure; This model includes the specifications of the Third Generation Partnership Project (3GPP) standardization body for cellular communications. Q-Learning was used to adjust the BI value dynamically, and the network performance metrics considered most relevant were evaluated: Probability of successful access, number of retransmissions, and access delay. The results show that the designed algorithm increases the probability of successful access by maintaining a value greater than 75% even in high load scenarios, with a slight impact on the number of retransmissions but increasing the delay in device access because of dispersion of the retransmission time of the failed requests. The solution is optimal for delaytolerant applications in which the quality of service is measured bas