Sistema para el análisis y procesamiento de los LOGS de los servidores de red de la Facultad de Ingeniería en Electricidad y Computación (FIEC) de la ESPOL usando HADOOP

Abstract

El propósito de este proyecto es implementar un sistema que permita el análisis y procesamiento de los logs de los servidores de red del laboratorio de la Facultad de Ingeniería en Electricidad y Computación (FIEC) de la ESPOL. Estos logs son de gran tamaño por lo que resulta indispensable utilizar una plataforma de procesamiento masivo y escalable de datos, para ello se ha usado el framework Hadoop. El documento está dividido en 6 capítulos que comprenden el planteamiento del problema, el marco teórico, el análisis del problema con su respectivo diseño de la solución, la implementación y análisis de los resultados, las pruebas realizadas y posteriormente las conclusiones y recomendaciones. En el primer capítulo se define la problemática actual, se indican los objetivos y justificación del proyecto, así como también el alcance del mismo. En el segundo capítulo se expone el marco teórico utilizado para este trabajo, se explican conceptos como: la plataforma Hadoop, el modelo MapReduce, Hive como una herramienta de consultas y los servicios web ofertados por Amazon usados para las pruebas. El tercer capítulo explica el diseño de la solución del problema. En este capítulo se establecen las responsabilidades que tendrá cada uno de los componentes en los que ha sido dividido el proyecto, así como los datos de entrada y salida que se manejarán en cada etapa. En el cuarto capítulo se explican los detalles considerados en el código usado para la implementación y el funcionamiento del sistema. Se enfatiza también en el manejo de los diferentes formatos encontrados en los archivos de los logs procesados. El quinto capítulo describe las pruebas realizadas utilizando los servicios web de Amazon (Amazon Web Services). Como resultado de las pruebas se incluyen gráficos sobre el tiempo requerido para procesar los datos utilizando diferentes cantidades de nodos. Finalmente en el sexto capítulo se presentan las conclusiones obtenidas, y se plantean recomendaciones para futuros trabajos relacionados.