Resumen

Para el seguimiento de altavoces, integrar información multimodal de audio y video proporciona una solución efectiva y prometedora. Los desafíos actuales se centran en la construcción de un modelo de observación estable. Con este fin, proponemos un rastreador de altavoces audiovisuales en 3D asistido por aprendizaje métrico profundo en el marco de filtro de partículas de dos capas. En primer lugar, se aplica el modelo de movimiento guiado por audio para generar muestras candidatas en la estructura jerárquica que consiste en una capa de audio y una capa visual. Luego, se propone un modelo de observación estable con una red Siamesa diseñada, que proporciona la probabilidad basada en la similitud para calcular los pesos de las partículas. La posición del altavoz se estima utilizando un conjunto óptimo de partículas, que integra las decisiones de las partículas de audio y las partículas visuales. Finalmente, se adopta una estrategia de actualización de plantilla basada en mecanismos

• Materias:Big Data Gestión de riesgos Administración de información Red neuronal Teoría de redes
• Subjects:Big Data Risk management Information management Neural network Network Theory
• Palabras claves:Seguimiento de altavoces; Información multimodal; Audio; Video; Aprendizaje métrico profundo; Marco de filtro de partículas
• Keywords:Speaker tracking; Multimodal information; Audio; Video; Deep metric learning; Particle filter framework