Sistema de reportes y análisis sobre tendencias en la Web de la ESPOL usando Hadoop para el procesamiento masivo de los datos

Abstract

En la web de la ESPOL existe una gran cantidad de datos, y no existe una herramienta que permita recolectarlos y realizar un análisis de su contenido, para resolver este problema usamos Hadoop que es una plataforma que nos permite desarrollar aplicaciones que tengan que tratar con grandes cantidades de datos, hasta petabytes. Los programas MapReduce de Hadoop están diseñados para computar grandes volúmenes de datos en paralelo. El ejemplo más claro de esto, lo que va a ser de gran ayuda y que se usa para este tipo de problemas es el WordCount, que lee archivos de texto y cuenta con qué frecuencia ocurren las palabras. En el WordCount la entrada es un archivo de texto y la salida es otro archivo de texto; donde el primero es un archivo donde se encuentran todas las palabras, y el segundo en cada línea tiene una palabra y el número de frecuencia de la misma. Se usa esta función para que nos permita conocer las palabras que más usan en la web los miembros de la comunidad de la ESPOL. Con todos estos datos recogidos vamos a mostrar el reporte y análisis en un gráfico que mostrará las tendencias de las palabras dinámicamente.