Sistema para generar gráficas a partir de logs tcpdump usando hadoop

Abstract

El propósito de este proyecto de materia de graduación es la de realizar un sistema que genere gráficas a partir de un procesamiento y análisis de logs tcpdump. El tamaño de los Logs a procesar es relativamente grande, por lo que se necesita un procesamiento masivo de estos datos, para ello utilizamos el esquema MapReduce a través del Framework Hadoop. En el capítulo 1, se analiza los datos a ser procesados por el sistema, se realiza una breve descripción del formato de Logs así como la conversión de los mismos. En el capítulo 2, se plantea el diseño de la solución, las herramientas que utilizamos para desarrollar el sistema, además explica cómo trabaja las fases MapReduce en nuestra solución. En el capítulo 3, se detalla la implementación y el funcionamiento del sistema, se describe las pruebas realizadas en los servicios web de Amazon así como los resultados obtenidos. Finalmente en el capítulo 4, se presentan las conclusiones obtenidas con el desarrollo de sistema con el esquema MapReduce. En las recomendaciones se sugiere herramientas complementarias que podrían ayudar a un mejor análisis de Logs.