Resumen

La unión de múltiples conjuntos de datos en MapReduce puede aumentar los gastos generales de disco y de red, ya que los resultados intermedios de la unión tienen que escribirse en el sistema de archivos distribuido subyacente, o los registros de salida del mapa tienen que replicarse varias veces. Este artículo propone un método para aplicar filtros basados en el orden de procesamiento de los conjuntos de datos de entrada, que es adecuado para los dos tipos de uniones multidireccionales: uniones de atributos comunes y uniones de atributos distintos. El número de registros redundantes filtrados depende del orden de procesamiento. En las uniones por atributos comunes, no es necesario replicar los registros de entrada, por lo que se crea un conjunto de filtros que se aplican sucesivamente. En las uniones de atributos distintos, los registros de entrada tienen que replicarse, por lo que es necesario crear varios conjuntos de filtros, que dependen del número de atributos de unión. Los resultados experimentales mostraron que nuestro enfoque superaba a una cascada de uniones bidireccionales y a las uniones multidireccionales básicas en los casos en que se unían pequeñas porciones de los conjuntos de datos de entrada.

• Materias:Matemáticas Análisis Matemático Álgebra Ingeniería Lógica matemática
• Subjects:mathematics Mathematical Analysis Algebra Engineering Mathematical logic
• Palabras claves:filtros, atributo común, atributo distinto, conjuntos de datos de entrada, registros de entrada, orden de procesamiento, resultados intermedios de la unión, número, multidireccional básica, resultados experimentales
• Keywords:filters, common attribute, distinct attribute, input datasets, input records, processing order, intermediate join results, number, basic multiway, experimental results