Utilización de la plataforma hadoop para la implementación de un programa que permita determinar mensajes spam

Abstract

Se denomina spam a los mensajes no solicitados, de remitente no conocido que perjudican de alguna o varias maneras al receptor. Habitualmente son de tipo publicitario y enviados en cantidades masivas. Este proyecto propone un modelo de análisis de los archivos que sigan el formato de un correo electrónico, según la norma RFC822 con el fin de determinar potenciales mensajes spam. Para el filtrado de los mismos hemos utilizado la plataforma Apache Hadoop junto con la plataforma para analizar grandes cantidades de datos en un lenguaje de alto nivel Apache Pig. Para este estudio, obtuvimos una cantidad predeterminada de correos ham y spam. Se realizó un análisis utilizando la metodología de filtros bayesianos aplicados a los mensajes electrónicos introducida por el ensayista, programador, diseñador de lenguajes y co-fundador de viaweb Paul Graham, en modo stand alone así como en multinodo para ver las diferencias de tiempos de ejecución con uno y varios computadores. El conocimiento previo de la cantidad exacta de mensajes spam nos permitió determinar el grado de exactitud de nuestro filtro.