Description:
Este proyecto propone un modelo de análisis de los archivos que sigan el formato de un correo electrónico, según la norma RFC822 con el fin de determinar posibles mensajes spam. Para el filtrado de los mismos hemos utilizado la plataforma Apache Hadoop junto con la plataforma para analizar grandes cantidades de datos en un lenguaje de alto nivel Apache Pig.
Para este estudio, obtuvimos una cantidad predeterminada de correos con y sin spam. Se realizó un análisis utilizando la metodología de filtros bayesianos aplicados a los mensajes electrónicas introducida por el ensayista, programador, diseñador de lenguajes y co-fundadador de viaweb Paul Graham, en modo stand alone así como en multinodo para ver las diferencias de tiempos de ejecución con uno y varios computadores. El conocimiento previo de la cantidad exacta de spam nos permitió determinar el grado de exactitud de nuestro filtro.