Resumen

La creciente tendencia del big data ha llevado a los científicos a compartir y transferir la simulación y los datos analíticos a través de las instalaciones de investigación y computación geodistribuidas. Sin embargo, los marcos de transferencia de datos existentes utilizados para compartir datos carecen de la capacidad para adoptar los atributos de los sistemas de archivos paralelos subyacentes (PFS). LADS (Layout-Aware Data Scheduling) es una herramienta de transferencia de datos de extremo a extremo optimizada para redes de terabits que utiliza una programación de datos consciente del diseño a través de PFS. Sin embargo, no considera la arquitectura NUMA (Acceso a Memoria No Uniforme). En este documento, proponemos una programación de hilos y recursos consciente de NUMA para la transferencia de datos optimizada en redes de terabits. En primer lugar, proponemos buffers RMA distribuidos para reducir la contención del controlador de memoria en los zócalos de la CPU y luego programamos los hilos basados en el zócalo de la CPU y los nodos

• Materias:Algoritmo de agrupamiento Reconocimiento de caracteres Reconocimiento de entidades nombradas Algoritmos de recomendación Tecnologías de contenedores
• Subjects:Clustering algorithm Character recognition Named entity recognition Recommendation algorithms Container technologies
• Palabras claves:Big data; Transferencia de datos; Sistemas de archivos paralelos; LADS; Arquitectura NUMA; Optimización de memoria
• Keywords:Big data; Data transfer; Parallel file systems; LADS; NUMA architecture; Memory optimization