Resumen

Apache Hadoop ha sido una herramienta popular de procesamiento paralelo en la era de los grandes datos. Si bien los practicantes han reescrito muchos algoritmos de análisis convencionales para adaptarlos a Hadoop, el problema de la ineficiencia de E/S en los programas basados en Hadoop ha sido reportado repetidamente en la literatura. En este artículo, abordamos el problema de la ineficiencia de la E/S en el análisis masivo de datos basado en Hadoop presentando nuestra modificación eficiente de Hadoop. Primero incorporamos un diseño de datos columnar en el marco convencional de Hadoop, sin ninguna modificación de los componentes internos de Hadoop. También dotamos a Hadoop de capacidad de indexación para ahorrar una gran cantidad de E/S al procesar no solo predicados de selección, sino también consultas de unión estrella que se utilizan con frecuencia en muchas tareas de análisis.

• Materias:Algoritmo de agrupamiento Reconocimiento de caracteres Reconocimiento de entidades nombradas Algoritmos de recomendación Tecnologías de contenedores
• Subjects:Clustering algorithm Character recognition Named entity recognition Recommendation algorithms Container technologies
• Palabras claves:Hadoop; Ineficiencia de E/S; Análisis de datos; Diseño de datos columnar; Capacidad de indexación; Consultas de unión de estrella.
• Keywords:Hadoop; Io inefficiency; Data analysis; Columnar data layout; Indexing capability; Star-join queries