Resumen

El sistema de archivos distribuido de Hadoop (HDFS) es sin duda el marco más popular para almacenar y procesar grandes cantidades de datos en grupos de máquinas. Aunque se han propuesto una gran cantidad de prácticas para mejorar la eficiencia de procesamiento y la utilización de recursos, el HDFS tradicional todavía sufre de la sobrecarga de baja velocidad de transferencia basada en disco y tasa de E/S. En este documento, intentamos abordar este problema desarrollando un marco de Hadoop basado en memoria llamado MHDFS. En primer lugar, se diseña una estrategia para asignar y configurar recursos de memoria razonables para MHDFS y se utiliza RAMFS para desarrollar el marco. Luego, proponemos un nuevo método para manejar la sustitución de datos al disco cuando los recursos de memoria están ocupados en exceso. Se diseña un algoritmo para estimar y actualizar la sustitución basado en las métricas de calor de archivo. Finalmente, se realizan experimentos sustanciales que demuestran la efectividad de MHDFS y su ventaja sobre el H

• Materias:Difusión de información Inteligencia de enjambre Programación híbrida Modelo de programación Máquinas virtuales
• Subjects:Information dissemination Swarm intelligence Hybrid programming Programming model Virtual machines
• Palabras claves:Hadoop; Sistema de archivos distribuido; HDFS; Marco basado en memoria; MHDFS; Reemplazo de datos
• Keywords:Hadoop; Distributed file system; Hdfs; Memory-based framework; Mhdfs; Data replacement