Resumen

Los mtodos estadsticos tradicionales y el aprendizaje automtico en conjuntos de datos masivos suponen un reto debido a las limitaciones de la memoria primaria de los ordenadores. La red neuronal de regresin cuantlica compuesta (CQRNN) es un mtodo de estimacin eficiente y robusto. Pero la mayora de los algoritmos computacionales existentes no pueden resolver CQRNN para conjuntos de datos masivos de forma fiable y eficiente. Con este fin, proponemos un mtodo CQRNN de divide y vencers (DC-CQRNN) para ampliar CQRNN en conjuntos de datos masivos. La idea principal es dividir el conjunto de datos global en algunos subconjuntos, aplicando el CQRNN para los datos dentro de cada subconjunto, y los resultados finales mediante la combinacin de estos resultados de formacin a travs de la media ponderada. Es obvio que la demanda de memoria primaria puede reducirse significativamente con nuestro enfoque y, al mismo tiempo, el tiempo de clculo tambin se reduce significativamente. Los estudios de simulacin Monte Carlo y la aplicacin de un conjunto de datos medioambientales verifican e ilustran que nuestro enfoque propuesto funciona bien para CQRNN en conjuntos de datos masivos. El conjunto de datos medioambientales contiene millones de observaciones. El mtodo DC-CQRNN propuesto se ha implementado con Python en el sistema Spark, y tarda 8 minutos en completar el entrenamiento del modelo, mientras que un conjunto de datos completo CQRNN tarda 5,27 horas en obtener un resultado.

• Materias:Algoritmos (Matemáticas) Algebra Ingeniería Lógica matemática Matemáticas
• Subjects:Agorithms (Math) Algebra Engineering Mathematical logic mathematics
• Palabras claves:Tradicional; Métodos estadísticos; Aprendizaje automático; Conjuntos de datos masivos; Red neuronal de regresión cuantílica compuesta; Divide y vencerás
• Keywords:Traditional; Statistical methods; Machine learning; Massive datasets; Composite quantile regression neural network; Divide and conquer