Resumen

Un desafío importante para la segmentación semántica de videos es cómo aprovechar la información espacio-temporal y producir resultados consistentes para una secuencia de video. Muchos trabajos previos utilizan el flujo óptico precalculado para deformar los mapas de características entre fotogramas adyacentes. Sin embargo, el flujo óptico impreciso y la operación de deformación sin parámetros aprendibles pueden no lograr una deformación precisa de características y solo aportar una ligera mejora. En este artículo, proponemos un nuevo marco llamado Red de Deformación Dinámica (DWNet) para deformar de forma adaptativa las características entre fotogramas y mejorar la precisión de los modelos basados en deformación. En primer lugar, diseñamos un módulo de refinamiento de flujo (FRM) para optimizar el flujo óptico precalculado. Luego, proponemos una convolución guiada por flujo (FG-Conv) para lograr una deformación de características adaptativa basada en el flujo óptico refinado. Además, introducimos la pérdida de consistencia temporal que

• Materias:Funciones Flujo de información Estudio de población Modelado de sistemas Modelo de campo
• Subjects:Functions Information flow Population study System modeling Field model
• Palabras claves:Desafío; Segmentación semántica de video; Información espacio-temporal; Deformación de características; Flujo óptico; Consistencia temporal
• Keywords:Challenge; Semantic video segmentation; Spatiotemporal information; Feature warping; Optical flow; Temporal consistency