Evaluación, análisis y comparación del rendimiento de programas de procesamiento masivo implementados usando lenguajes de programación java, python y c++ sobre la plataforma hadoop para clústeres de varios tamaños

Abstract

En el presente trabajo se exhibe el análisis del rendimiento de lenguajes de programación tales como Java, C++ y Python sobre la plataforma Hadoop. Para su evaluación se han implementado cuatro programas típicos de procesamiento masivo de datos. El documento se ha dividido en cuatro capítulos que comprende desde fundamento teórico hasta las soluciones y los resultados obtenidos. En el Capítulo 1 se describe la necesidad de obtener un criterio de partida al momento de elegir un lenguaje de programación para resolver una tarea específica, se detallan los objetivos planteados y el alcance del presente trabajo. En el Capítulo 2 se introduce el concepto de Hadoop como plataforma de procesamiento masivo de datos y los complementos empleados tales como Streaming y Pipes. En el Capítulo 3 se detallan los problemas planteados, las soluciones dadas, así como los formatos de entrada/salida y las librearías usadas. Finalmente en el Capítulo 4 se detallan los resultados obtenidos y se realiza la comparación y el análisis de los mismos.