Resumen

Describimos el diseño de un sistema que consta de varios componentes de procesamiento de audio y video en tiempo real de última generación que permiten la manipulación de flujos multimodales (por ejemplo, edición automática en línea para aplicaciones de videoconferencias multiparte) en entornos abiertos y sin restricciones. Los algoritmos subyacentes están diseñados para permitir que múltiples personas entren, interactúen y salgan de la escena observable sin restricciones. Incluyen la localización continua de objetos de audio y su aplicación para la codificación espacial de objetos de audio, la detección y seguimiento de caras, la estimación de posturas de cabeza y enfoque visual de atención, la detección y localización de eventos verbales y paralingüísticos, y la asociación y fusión de estos diferentes eventos. Combinados todos juntos, representan flujos multimodales con objetos de audio y objetos de video semánticos y proporcionan información semántica para sistemas de manipulación de flujos (como un director virtual). Se han realizado varios experimentos para evaluar el rend

• Materias:Métodos de Control Vectores de movimiento Codificación de video Sistemas de reproducción Reconocimiento visual
• Subjects:Control Methods Motion Vectors Video Coding Playback systems Visual recognition
• Palabras claves:Sistema; Procesamiento de audio; Procesamiento de video; Manipulación de flujos multimodales; Algoritmos; Sistemas de manipulación de flujos
• Keywords:System; Audio; Video processing; Multimodal stream manipulation; Algorithms; Stream manipulation systems