Descripción:
Los dispositivos que requieren un acceso a la red de comunicaciones más grande como el internet va creciendo de forma exponencial, por lo que se requiere disponer de medios los cuales garanticen el acceso a estos dispositivos. Las redes celulares son la mejor opción para garantizar esta conectividad. Los dispositivos de comunicación tipo máquina (MachineType Communication, MTC) generan elevadas solicitudes de conexión simultáneas, lo que implica un elevado número de colisiones en el canal de acceso aleatorio de la red celular. El proceso de backoff en el procedimiento de acceso aleatorio se utiliza para resolver las colisiones cuando varios usuarios han seleccionado los mismos recursos para el intento de acceso. Este proceso consiste en definir un tiempo de espera previo a una re-transmisión; la estación base determina este tiempo por medio del Indicador de Backoff (BI), lo difunde en la red y los dispositivos que han colisionado calculan un tiempo de retransmisión aleatoriamente en función del BI configurado por la red. En la especificación técnica, el valor de BI es fijo y, en ocasiones de elevada carga en el canal de acceso, esto provoca un elevado número de retransmisiones en las solicitudes de conexión que utilizan un mismo slot, así como una baja probabilidad de acceder a la red de comunicaciones. En esta investigación se evalúa el canal de acceso aleatorio y se diseña un algoritmo basado en aprendizaje por refuerzo para ajustar dinámicamente el valor de BI. Se utilizó el software MATLAB para desarrollar un modelo de simulación del procedimiento de acceso aleatorio basado en contención; este modelo contempla las especificaciones del organismo de estandarización Third Generation Partnership Project (3GPP) para comunicaciones celulares. Se utilizó Q-Learning para ajustar dinámicamente el valor del BI y se evaluaron las métricas de rendimiento de red consideradas de mayor relevancia: probabilidad de acceso satisfactorio, número de retransmisiones y retardo en el acceso. Los resultados demuestran que el algoritmo diseñado incrementa la probabilidad de acceso satisfactorio manteniendo un valor superior a 75% incluso en escenarios de elevada carga con un ligero impacto en el número de retransmisiones, pero incrementando el retardo en el acceso de los dispositivos debido a la dispersión del tiempo de retransmisión de las peticiones fallidas. La solución es óptima para aplicaciones tolerantes al retardo en las que la calidad de servicio se mide en base a la probabilidad de acceso satisfactorio de los dispositivos a la red de comunicación.