Resumen

Utilizar el algoritmo de -vecinos más cercanos (kNN) en el método de aprendizaje supervisado para detectar anomalías puede obtener resultados más precisos. Sin embargo, al usar el algoritmo kNN para detectar anomalías, es ineficiente encontrar vecinos en datos de registro a gran escala; al mismo tiempo, los datos de registro están desequilibrados en cantidad, por lo que es un desafío seleccionar vecinos adecuados para diferentes distribuciones de datos. En este documento, proponemos un método de detección de anomalías basado en registros con una selección eficiente de vecinos y una selección automática de vecinos. Primero, proponemos un método de búsqueda de vecinos basado en minhash y árbol MVP. El algoritmo minhash se utiliza para agrupar registros similares en el mismo cubo, y se construye un modelo de árbol MVP para las muestras en cada cubo. De esta manera, podemos reducir el esfuerzo de cálculo de distancias y la cantidad de muestras de vecinos que deben compararse, para mejorar la eficiencia de encontrar

• Materias:Big Data Segmentación de líneas Tráfico de red Reconocimiento de entidad Esquema de programación
• Subjects:Big Data Line segmentation Network traffic Entity recognition Programming scheme
• Palabras claves:Algoritmo; Anomalía; Detección; Datos de registro; Vecinos; Eficiencia
• Keywords:Algorithm; Anomaly; Detection; Log data; Neighbors; Efficiency