Resumen

La predicción en grandes conjuntos de datos es una tarea común pero complicada, que no puede ser ejecutada utilizando la conocida regresión lineal paramétrica. Sin embargo, los métodos no paramétricos y semiparamétricos, que permiten la predicción construyendo modelos de datos no lineales, son intensivos computacionalmente y carecen de la escalabilidad suficiente para hacer frente a grandes conjuntos de datos y extraer resultados exitosos en un tiempo razonable. Presentamos versiones distribuidas y paralelas de algunos modelos de regresión no paramétricos y semiparamétricos. Utilizamos el paradigma MapReduce y describimos los algoritmos en términos de las estructuras de datos de SPARK para paralelizar los cálculos. La precisión de la predicción de los algoritmos propuestos se compara con el modelo de regresión lineal, que es el único modelo de predicción que actualmente tiene una realización distribuida paralela dentro del marco de SPARK para abordar problemas de big data. También se proporcionan las ventajas de

• Materias:Modelo Matemático Superálgebras Gráfico bipartito Números trapezoidales
• Subjects:Mathematical model Superalgebras Bipartite graph Trapezoidal numbers
• Palabras claves:Pronósticos; Grandes conjuntos de datos; No paramétrico; Semiparamétrico; Paralelización; Regresión
• Keywords:Forecasting; Big datasets; Nonparametric; Semiparametric; Parallelization; Regression