Análisis y Síntesis Audiovisual para Interfaces Multimodales Ordenador-Persona

Abstract

Las técnicas multimodales de procesamiento de señal están llamadas a jugar un papel preponderante en la implementación de interfaces que faciliten la interacción natural entre los ordenadores y los humanos. En particular, el desarrollo de interfaces eficientes que emulen la comunicación entre personas requiere el uso de técnicas capaces de procesar conjuntamente los modos visual y auditivo. Este trabajo introduce el uso de herramientas de análisis audiovisual basadas en el análisis en componentes principales y en descomposiciones que utilizan restricciones de no negatividad sobre secuencias faciales de vídeo con voz. Además, se estudia y compara la aplicabilidad de las bases audiovisuales obtenidas mediante estas técnicas a lo largo de diversos experimentos en los que se evalúa la calidad de la síntesis audiovisual de forma objetiva y subjetiva