Resumen

Spark SQL es una herramienta de procesamiento de big data para consultas y análisis de datos estructurados. Sin embargo, debido a la ejecución de Spark SQL, hay múltiples ocasiones en las que se escribe datos intermedios en el disco, lo que reduce la eficiencia de ejecución de Spark SQL. Centrándonos en los problemas existentes, diseñamos e implementamos una capa de caché de datos intermedios entre el sistema de archivos subyacente y el núcleo superior de Spark para reducir el costo de E/S aleatoria en disco. Mediante el uso del módulo de preanálisis de consultas, podemos ajustar dinámicamente la capacidad de la capa de caché para diferentes consultas. Y el módulo de asignación puede asignar la memoria adecuada para cada nodo en el clúster. Según el intercambio de datos intermedios en el flujo de trabajo de Spark SQL, este documento propone un algoritmo de fusión de correlación basado en costos, que puede reducir eficazmente el costo de lectura y escritura de datos redundantes. Este documento desarrolla el m

• Materias:Big Data Segmentación de líneas Tráfico de red Reconocimiento de entidad Esquema de programación
• Subjects:Big Data Line segmentation Network traffic Entity recognition Programming scheme
• Palabras claves:Herramienta de procesamiento de big data; Consulta de datos estructurados; Spark SQL; Capa de caché de datos intermedios; Módulo de preanálisis de consultas; SSO (Optimizador de Spark SQL)
• Keywords:Big data processing tool; Structured data query; Spark SQL; Intermediate data cache layer; Query pre-analysis module; SSO (Spark SQL Optimizer)