Resumen

Este documento adopta Hadoop para construir y probar la plataforma de almacenamiento y recuperación de recursos de pintura. Este documento adopta Hadoop como la plataforma y MapReduce como el marco de computación y utiliza el sistema de archivos distribuido Hadoop Distributed Filesystem (HDFS) para almacenar datos de registro masivos, lo que resuelve el problema de almacenamiento de datos masivos. Según los requisitos comerciales del sistema, este documento diseña el sistema de acuerdo con el proceso de minería de texto web, dividido principalmente en módulo de preprocesamiento de datos de registro, módulo de almacenamiento de datos de registro, módulo de análisis de datos de registro y módulo de visualización de datos de registro. La parte central del sistema es el módulo de análisis de datos de registro. El análisis del ranking de palabras clave de búsqueda, del Uniform Resource Locator (URL) y de la relación de clics de usuario, el ranking de URL y otras dimensiones se realiza a través del análisis estadístico de datos, y se realiza primero un agrupamiento grueso Canopy según las palabras clave de búsqueda, y luego se utiliza el agrup

• Materias:Funciones Flujo de información Estudio de población Modelado de sistemas Modelo de campo
• Subjects:Functions Information flow Population study System modeling Field model
• Palabras claves:Hadoop; Almacenamiento; Recuperación; Análisis de datos; Agrupamiento; Percepción remota
• Keywords:Hadoop; Storage; Retrieval; Data analysis; Clustering; Remote sensing