Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/1966| Multimodal information fusion for deception detection in videos | |
| Rodrigo Rill-García | |
| Hugo Jair Escalante Balderas Luis Villaseñor Pineda | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Deception Multimodal fusion Boosting methods | |
| Deception (the action of deliberately causing someone to believe something that is not true) can have many different repercussions and it is inherent to our daily life. However, detecting lies is inherently complex for humans despite our continuous contact with them. Due to this, not only there is uncertainty on which features could or should be used as cues for (automatic) deception detection, but also labeled data is scarce. In this thesis, we explore features that can be automatically extracted from videos for affective computing and study their performance for the specific task of deception detection in videos. Additionally, we present a study on different multimodal fusion methods meant to improve the individual performance of the different feature sets extracted, including a novel set of methods based on boosting. For this study, high-level features are extracted using open automatic tools on the visual, acoustical and textual modalities, respectively. Experiments are conducted using a real-life trial dataset as well as a novel Mexican deception detection dataset using Spanish as the spoken language. Summarizing, in this thesis we study high-level features and perform a multimodal complementarity analysis between them to support the idea that multimodal fusion is a good approach for deception detection; with such evidence, we present one of the first works focused on multimodal deception detection methods further than early concatenation of features, including the first study (to the best of our knowledge) on automatic deception detection in clips from Mexican subjects speaking Spanish. El engaño (la acción de causar deliberadamente que alguien crea algo que no es cierto) puede tener varias diferentes repercusiones y es parte inherente de nuestra vida diaria. Sin embargo, detectar mentiras es inherentemente complejo para los humanos a pesar de nuestro continuo contacto con ellas. Debido a esto, no sólo hay incertidumbre en cuáles atributos podrían o deberían ser usados como pistas para detección (automática) de engaño, sino que también los datos etiquetados son escasos. En esta tesis, exploramos atributos que pueden ser automáticamente extraídos de videos para cómputo afectivo y estudiamos su desempeño para la tarea específica de detección de engaño en videos. Además, presentamos un estudio de diferentes métodos de fusión multimodal destinados a mejorar el desempeño individual de los diferentes conjuntos de atributos extraídos, incluyendo un nuevo conjunto de métodos basados en boosting. Para este estudio, atributos de alto nivel son extraídos usando herramientas automáticas de uso libre en las modalidades visual, acústica y textual, respectivamente. Los experimentos se llevan a cabo usando una base de datos de juicios de la vida real así como una nueva base de datos mexicana para detección de engaño usando el español como la lengua hablada. Resumiendo, en esta tesis estudiamos atributos de alto nivel y realizamos un análisis de complementariedad multimodal entre ellos para apoyar la idea de que la fusión multimodal es un buen acercamiento para la detección de engaño; con dicha evidencia, presentamos uno de los primeros trabajos enfocados en detección de engaño multimodal más allá de una concatenación temprana de atributos, incluyendo el primer estudio (hasta donde sabemos) en detección automática de engaño en videoclips de sujetos mexicanos hablando español. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2019-08 | |
| Tesis de maestría | |
| Inglés | |
| Estudiantes Investigadores Público en general | |
| Rill García, R, (2019), Multimodal information fusion for deception detection in videos, Tesis de Maestría, Instituto Nacional de Astrofísica, Óptica y Electrónica. | |
| DISPOSITIVOS DE TRANSMISIÓN DE DATOS | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Maestría en Ciencias Computacionales |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| RillGR.pdf | 3.04 MB | Adobe PDF | Visualizar/Abrir |