Resumen

La extracción de datos y el cálculo de series temporales en aplicaciones críticas siguen siendo objeto de estudio. Actualmente, en el campo de las series temporales hidrológicas, la mayor parte de la detección de valores atípicos se centra en mejorar la especificidad. Para detectar eficazmente los valores atípicos en datos masivos de sensores hidrológicos, se propone un método de detección de anomalías para series temporales hidrológicas basado en Flink. En primer lugar, se utilizan la ventana deslizante y el modelo ARIMA para pronosticar el flujo de datos. A continuación, se calcula el intervalo de confianza para el resultado de la predicción, y los resultados fuera del rango del intervalo se juzgan como datos alternativos de anomalía. Por último, basándose en los datos históricos del lote, se utiliza el algoritmo K-Means para agrupar los datos del lote. Se calcula la probabilidad de transición de estado y se evalúa la calidad de los datos anómalos. Tomando como datos experimentales los datos de sensores hidrológicos obtenidos del río Chu, se llevan a cabo experimentos sobre el tiempo de detección y el rendimiento de la detección de anomalías, respectivamente. Los resultados muestran que, al calcular las decenas de millones de datos, el tiempo que cuestan dos esclavos es menor que el de un esclavo, y la reducción máxima es del 17,43%. La sensibilidad de la evaluación aumenta del 72,91% al 92,98%. En términos de retardo, el retardo medio de los distintos esclavos es aproximadamente el mismo, que se mantiene dentro de los 20 ms. Esto demuestra que, en una plataforma de big data, el algoritmo propuesto puede mejorar eficazmente la eficiencia computacional de la detección de series temporales hidrológicas para decenas de millones de datos y presenta una mejora significativa de la sensibilidad.

• Materias:Matemáticas Análisis Matemático Álgebra Ingeniería Matemática aplicada Lógica matemática
• Subjects:mathematics Mathematical Analysis Algebra Engineering Applied Mathematics Mathematical logic
• Palabras claves:series temporales hidrológicas, detección de series temporales hidrológicas, datos masivos de sensores hidrológicos, datos alternativos de anomalías, método de detección de anomalías, plataforma de big data, datos históricos por lotes, datos de sensores hidrológicos, rendimiento de detección de anomalías, probabilidad de transición de estado
• Keywords:hydrological time series, hydrologic time series detection, massive hydrologic sensor data, alternative anomaly data, anomaly detection method, big data platform, historical batch data, hydrological sensor data, outlier detection performance, state transition probability