Resumen

El seguimiento visual sigue siendo una tarea desafiante debido a la oclusión, cambios de apariencia, movimiento complejo, etc. En este artículo proponemos un nuevo rastreador RGB-D basado en la fusión de características profundas multimodales (MMDFF). El modelo MMDFF consta de cuatro Redes Neuronales Convolucionales (CNN) profundas: CNN específica de movimiento, CNN específica de RGB, CNN específica de profundidad y CNN correlacionada RGB-Profundidad. La imagen de profundidad se codifica en tres canales que se envían a la CNN específica de profundidad para extraer características profundas de profundidad. La imagen de flujo óptico se calcula para cada fotograma y luego se alimenta a la CNN específica de movimiento para aprender características profundas de movimiento. La información profunda de RGB, profundidad y movimiento se puede fusionar de manera efectiva en múltiples capas a través del modelo MMDFF. Finalmente, las características profundas de fusión multimodal se envían al rastreador C-COT para obtener el resultado de seguimiento. Para la evaluación, se realizar

• Materias:Big Data Restricciones distribuidas Algoritmo de inferencia Gestión administrativa
• Subjects:Big Data Distributed constraints Inference algorithm Administrative management
• Palabras claves:Visual; Seguimiento; Rgb-d; Fusión de características profundas multimodales; Cnn; Resultado de seguimiento
• Keywords:Visual; Tracking; Rgb-d; Multimodal deep feature fusion; Cnn; Tracking result