Uso de la Plataforma Pig sobre Hadoop como Alternativa a una RDBMS para el Análisis de Datos Masivos. Prueba de Concepto Utilizando Registros de Detalles de Llamadas

Abstract

El propósito de este proyecto de materia de graduación es el de crear un sistema capaz de procesar cantidades masivas de datos de detalles de llamadas y mensajes generadas por una empresa de telefonía celular, usando un sistema de computación distribuida. En el capítulo 1, se identifican los objetivos del proyecto; así como también se especifica el alcance. En el capítulo 2, se realiza el análisis del problema presentando el marco teórico de la tecnología a emplearse, y también explicando la arquitectura del sistema existente actualmente en la empresa objeto de este estudio, al cual se acoplará y en parte reemplazará el sistema desarrollado. En el capítulo 3, se trata sobre el diseño de la solución. Primeramente se presentan las herramientas escogidas para implementar el sistema y la arquitectura del mismo. Luego se detalla el formato de archivos a ser procesados y su esquema de almacenamiento. Se finaliza con un ejemplo de código comentado. En el capítulo 4, se describe la interfaz de usuario del sistema, y las opciones con las que cuenta. En el capítulo 5, se presentan los resultados de rendimiento de las pruebas realizadas. Además se presenta una comparación de los costos de la tecnología usada actualmente versus el nuevo sistema propuesto. Finalmente, se presentan las conclusiones obtenidas en el desarrollo del sistema; también recomendaciones en cuanto a mejoras y herramientas complementarias al alcance realizado.