Modulo de recomendaciones de paginas a visitar en la Wikipedia, basado en las aportaciones efectuadas por la comunidad de usuarios usando Hadoop

Abstract

Los sistemas de recomendaciones cada día se vuelven indispensables para filtrar la gran cantidad de información disponible en la Web. Uno de los objetivos principales de estos sistemas es asistir a los usuarios en sus procesos de búsqueda de información en la Web. En este trabajo se presenta una revisión básica de los aspectos fundamentales relacionados con el diseño, implementación y estructura de un módulo de recomendación para la Wikipedia, utilizando Map/Reduce implementado en el Framework Apache Hadoop para procesar grandes cantidades de información. En la Wikipedia se puede catalogar dos tipos de usuarios, el usuario aportador y el usuario que realiza la consulta, los usuarios suelen aportar a diversas wikis sean estas o no de la misma categoría o contenido. Figura 1. Rol de usuarios en la Wikipedia Se creó el módulo de recomendaciones basándose en las wikis a la que han aportado los usuarios. Dada una wiki se consultó que usuarios aportaron a esa wiki, para luego buscar por cada usuario a que otras wikis han aportado y de esta manera obtener para esa wiki una lista de posibles wikis a recomendar. Para tratar en lo posible de no perder la consistencia de la información entre la wiki que el usuario consultó y las wikis recomendadas se aplicó el coeficiente de similitud de Jaccard entre la wiki consultada y cada una de las posibles wikis a recomendar. Este coeficiente nos permite obtener un valor que nos indica el porcentaje de similitud que hay entre dos wikis basándose en el número de usuarios que han aportado tanto a una o ambas wikis, al final son presentadas al usuario aquellas wikis que obtuvieron el porcentaje de similitud más elevado. Podemos decir que el resultado de las recomendaciones para una wiki muestra otros tópicos que también gustan a los usuarios que aportaron con dicha wiki, pero que no necesariamente traten sobre la misma temática.