Sistema de reportes y análisis sobre tendencias en la web de la ESPOL usando hadoop para el procesamiento masivo de los datos.

Abstract

Los sistemas de reportes y análisis sobre tendencias son ampliamente utilizados hoy en día gracias a su capacidad de analizar las palabras más usadas por los usuarios en la web, por ejemplo se han usado estos sistemas en las redes sociales, ya que las mismas en los últimos años han tenido gran acogida. En la web de la ESPOL existe una gran cantidad de datos, y no existe una herramienta que permita recolectarlos y realizar un análisis de su contenido, para resolver este problema usamos Hadoop que es una plataforma que nos permite desarrollar aplicaciones que tengan que tratar con grandes cantidades de datos, hasta petabytes. Los programas MapReduce de Hadoop están diseñados para computar grandes volúmenes de datos en paralelo. El ejemplo más claro de esto, lo que va a ser de gran ayuda y que se usa para este tipo de problemas es el WordCount, que lee archivos de texto y cuenta con qué frecuencia ocurren las palabras, como resultado final vamos a tener gráficos estadísticos para analizar las tendencias.