Resumen

Los datos son una fuente importante de descubrimiento de conocimiento, pero la existencia de datos duplicados similares no solo aumenta la redundancia de la base de datos, sino que también afecta el trabajo posterior de minería de datos. Limpiar datos duplicados similares es útil para mejorar la eficiencia del trabajo. Basándose en la complejidad del idioma chino y el cuello de botella del sistema de una sola máquina para el rendimiento de computación de datos a gran escala, este artículo propone un método de limpieza de datos chinos que combina el modelo BERT y un algoritmo de agrupamiento k-means y proporciona un esquema de implementación paralela del algoritmo. En el proceso de texto a vector, se introduce el vector de posición para obtener las características contextuales de las palabras, y el vector se ajusta dinámicamente según la semántica para que las palabras polisémicas puedan obtener representaciones vectoriales diferentes en diferentes contextos. Al mismo tiempo, la implementación paralela del proceso está diseñada en base a Hadoop. Después de eso, se utiliza el algorit

• Materias:Colonias de abejas artificiales Inteligencia artificial Patrón espacial Innovación de la comunicación Algoritmo de red neuronal
• Subjects:Artificial bee colonies Artificial intelligence Spatial pattern Communication innovation Neural network algorithm
• Palabras claves:Datos; Datos duplicados; Método de limpieza; Modelo BERT; Algoritmo de clustering k-means; Implementación paralela
• Keywords:Data; Duplicate data; Cleaning method; BERT model; K-means clustering algorithm; Parallel implementation