Resumen

La cantidad de datos producidos en campos científicos y comerciales está creciendo de manera dramática. En consecuencia, han surgido tecnologías de big data, como Hadoop y Spark, para abordar los desafíos de recopilar, procesar y almacenar datos a gran escala. Desafortunadamente, las aplicaciones de big data suelen tener problemas de rendimiento y no aprovechan completamente la infraestructura de hardware. Una razón es que las aplicaciones se desarrollan utilizando lenguajes de programación de alto nivel que no proporcionan control del sistema a bajo nivel en términos de rendimiento de modelos de programación altamente paralelos como la interfaz de paso de mensajes (MPI). Además, el big data se considera una barrera de modelos de programación paralela o aceleradores (por ejemplo, CUDA y OpenCL). Por lo tanto, el objetivo de este estudio es investigar cómo se puede mejorar el rendimiento de las aplicaciones de big data sin sacrificar el consumo de energía de una infraestructura de hardware. Se propone un sistema Híbrido Spark MPI OpenACC (HSMO) para integrar Spark como un

• Materias:Funciones Flujo de información Estudio de población Modelado de sistemas Modelo de campo
• Subjects:Functions Information flow Population study System modeling Field model
• Palabras claves:Datos; Big data; Rendimiento; Modelos de programación; Infraestructura de hardware; Spark;
• Keywords:Data; Big data; Performance; Programming models; Hardware infrastructure; Spark;