Resumen

Las operaciones de unión de conjuntos de datos juegan un papel crucial en la obtención de las relaciones de datos masivos en la vida real. Unir dos conjuntos de datos con MapReduce requiere un diseño adecuado de las etapas de Map y Reduce para diferentes escenarios. Los factores que afectan la eficiencia de la unión de MapReduce incluyen la densidad de los conjuntos de datos y la transmisión de datos en clústeres como Hadoop. Este estudio tiene como objetivo mejorar la eficiencia de los algoritmos de unión de MapReduce en Hadoop aprovechando la entropía de Shannon para medir los cambios de información de los conjuntos de datos que se unen en diferentes etapas de MapReduce. Para reducir la incertidumbre de los conjuntos de datos en las uniones a través de la red, se propone un nuevo algoritmo de unión de MapReduce con estrategias de partición dinámica llamado unión de partición dinámica (DPJ). Aprovechando los cambios de entropía en las particiones de los conjuntos de datos durante las etapas de Map y Reduce,

• Materias:Colonias de abejas artificiales Inteligencia artificial Patrón espacial Innovación de la comunicación Algoritmo de red neuronal
• Subjects:Artificial bee colonies Artificial intelligence Spatial pattern Communication innovation Neural network algorithm
• Palabras claves:Conjuntos de datos; MapReduce; Eficiencia; Operaciones de unión; Entropía de Shannon; Hadoop
• Keywords:Data sets; MapReduce; Efficiency; Join operations; Shannon entropy; Hadoop