Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/2683| Desarrollo de un Corpus Multimodal de Estados Afectivos en un Ambiente de Juegos | |
| miriam enriquez cuazitl | |
| Luis Enrique Sucar DELIA IRAZU HERNANDEZ FARIAS Jesús Rivas | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Affective Computing Virtual Rehabilitation Affective State Recognition Multimodal Synchronization Multimodal Database | |
| El reconocimiento automático de emociones es uno de los campos que el cómputo afectivo aborda para facilitar la comunicación humano-máquina. Este campo es amplio y está en desarrollo debido a que, no sólo las emociones humanas son complejas y requieren de mucha experiencia por parte de los especialistas para ser reconocidas, sino porque también debe existir información disponible que pueda servir como antecedente para entrenar sistemas automáticos para el reconocimiento de emociones humanas. Para lograr este propósito existen algunas bases de datos que brindan información sobre emociones basadas en información física (expresiones faciales, posturas del cuerpo) y fisiológicas (ritmo cardíaco, EEG, respiración). Este trabajo es motivado, por un lado, por la necesidad de reconocer estados afectivos de personas durante el proceso de rehabilitación virtual al interactuar con juegos serios. Por otro lado, por generar una base de datos que incluya aspectos no considerados en bases de datos previas, como son estados afectivos complejos evocados en la interacción con un juego, la combinación de datos fisiológicos y físicos específicos, hasta ahora no reportados juntos, y la participación preponderante de personas de Latinoamérica. Se construyó una base de datos novedosa en la que se inducen 5 estados afectivos: cansancio, frustración, motivación, ansiedad y aburrimiento. Además, se implementaron diferentes sensores de tipo fisiológico y físico: electroencefalograma (EEG), espectroscopia funcional de infrarrojo cercano (fNIRS), presión de dedos, movimientos de manos y expresiones faciales. Por último, se consideró como estímulo detonante a un juego serio, el cual, utilizando diferentes niveles de dificultad, podía inducir cada uno de los diferentes estados afectivos propuestos. Para la construcción de la base de datos, se sincronizaron los sensores de EEG, fNIRS, cámaras de video y un gripper utilizando la herramienta Lab Streaming Layer. La base de datos resultante comprende información de 20 participantes latinoamericanos, hombres y mujeres, cuyas edades oscilan entre los 20 y los 71 años. Para cada sujeto, se recopilaron señales de EEG, fNIRS, movimiento de manos, presión en los dedos, así como cinco grabaciones de video frontales (una por cada juego) y cinco grabaciones laterales. Automatic emotion recognition is one of the fields that affective computing addresses to facilitate human-machine communication. This field is broad and continuously developing, not only because human emotions themselves are complex and require significant expertise from specialists to be recognized, but also because there must be available information that can serve as precedent for training automatic systems to recognize human emotions. To achieve this purpose, it is common in affective computing to have databases that provide information about emotions based on physical (facial expressions, body postures, etc) and physiological data (heart rate, EEG, respiration, etc). These two types of data are often chosen because of their high reliability in recognizing emotions, as it is more challenging to deceive a machine using this type of information. For example, it is more difficult for humans to control brain signals or galvanic skin responses when an event occurs that disrupts their system. In this work, a novel database is built that includes the recognition of people’s affective states during the virtual rehabilitation process when interacting with serious games. It also includes five complex affective states: fatigue, frustration, motivation, anxiety, and boredom, elicited by interaction with the games as difficulty levels vary. Additionally, different physiological and physical sensors, previously unrecorded together, were implemented: Electroencephalogram (EEG), functional Near-Infrared Spectroscopy (fNIRS), finger pressure, hand movement, and facial expressions. Finally, this database has the predominant participation of people from Latin America. To synchronize the database, the EEG and fNIRS signals, the cameras’ video recordings, and the gripper signals were aligned using the Lab Streaming Layer tool. The resulting database includes information from 20 Latin American male and female participants, ranging in age from 20 to 71 years. For each subject, EEG, fNIRS, hand movement, and finger pressure sig- nals, as well as five frontal video recordings (one for each game) and five lateral recordings, were collected. Additionally, data labeling performed by psychology specialists was incorporated, along with the results of personality and autism questionnaires, which were used as input for the annotation process. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2025-05 | |
| Tesis de maestría | |
| Español | |
| Estudiantes Investigadores Público en general | |
| Enriquez Cuazitl M. (2025), Desarrollo de un Corpus Multimodal de Estados Afectivos en un Ambiente de Juegos, Tesis de Maestría, Instituto Nacional de Astrofísica, Óptica y Electrónica. | |
| OTRAS ESPECIALIDADES MÉDICAS | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Maestría en Ciencias y Tecnologías Biomédicas |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| ENRIQUEZCM_MCTB.pdf | 16.65 MB | Adobe PDF | Visualizar/Abrir |