Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/2480| Detection of violent incidents in Spanish using multimodal information from social networks | |
| Luis Arellano | |
| Hugo Jair Escalante Luis Villaseñor Pineda | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| violent incidents in Spanish multimodal classification social media, transformers | |
| Violence (intentional use of force/power against a person, group, or community usually to obtain something) can have repercussions ranging from individuals to nations and is an inherent part of daily life in Latin American populations. However, detecting violent incidents on time or even as prevention is highly complex despite the continuous attempts to detect and
predict them. Due to the complexity of the problem, there is uncertainty in the sources of information and the characteristics that should be used for its automatic detection, added to that labeled data of violent incidents are scarce, and in certain languages such as Spanish null.
In this thesis, we explore the multimodality of models and data that can be extracted from social networks, for the detection of violent incidents in Spanish, we study their performance for the specific detection task and the multi-labeling task. In addition, we present a study of some multimodal fusion methods to improve performance compared to unimodal methods on the extracted dataset, with a focus on models based on transformers. Automatic trend detection methods such as bidirectional encoder representations from transformers (BERT), vision transformer (ViT), or vision and language transformer (ViLT) are used. The experiments are carried out using a self-created database consisting of two corpus with the same theme
“violent incidents in Spanish” but with different purposes of classifying and training models of masked language, both with visual and textual modality. Summarizing, in this thesis we design and recover a multimodal database in Spanish of violent incidents divided into 2 corpus and we study multimodal models to provide evidence for the idea that multimodal fusion is a good approach for the detection of violent incidents; Therefore, we present one of the first works focused on the detection of multimodal violent incidents in Spanish that includes the
construction of a database and attempts to classify incidents into 9 different categories, beyond incident identification, including the first corpus (to the best of the Authors knowledge) in Spanish of multi-label violent incidents.
La violencia (uso intencional de la fuerza/poder contra una persona, grupo o comunidad usualmente con la intención de obtener algo) puede tener repercusiones desde personales hasta nacionales y es parte inherente de la vida diaria en las poblaciones latinoamericanas. Sin embargo, detectar incidentes violentos de forma oportuna o incluso como prevención tiene una alta complejidad a pesar de nuestros continuos intentos por detectarla y predecirla. En virtud de la complejidad, hay incertidumbre en las fuentes de información y las características que deberían ser usadas para su detección automática, aunado a eso datos etiquetados de incidentes violentos son escasos y en ciertos idiomas como el español básicamente nulos. En esta tesis, exploramos la multimodalidad de modelos y datos que pueden ser extraídos en redes sociales, para la detección de incidentes violentos en español, estudiamos su desempeño para la tarea específica de detección y para la tarea de multi-etiquetado. Además, presentamos un estudio de algunos métodos de fusión multimodal con el objetivo de mejorar el desempeño en comparación a los métodos unimodales en el conjunto de datos extraído, con enfoque en modelos basados en transformers. Se hace uso de métodos de detección automática en tendencia como BERT, ViT o ViLT (de uso libre). Los experimentos se llevan a cabo usando una base de datos de creación propia y que consiste en dos corpus con la misma temática “incidentes violentos en español” pero con los fines distintos clasificar y entrenar modelos de lenguaje enmascarado, ambos con la modalidad visual y textual. Resumiendo, en esta tesis se diseña y recupera una base de datos multimodal en español de incidentes violentos dividida en 2 corpus y estudiamos modelos multimodales para aportar evidencia a la idea de que la fusión multimodal es un buen acercamiento para la detección de incidentes violentos; con dicha evidencia, presentamos uno de los primeros trabajos enfocados en detección de incidentes violentos multimodal en español que incluye la construcción de una base de datos y que intenta clasificar los incidentes en 9 categorías distintas, más allá de identificación de incidentes, incluyendo el primer corpus (hasta donde sabemos) en español de incidentes violentos multi-etiqueta. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2023-02 | |
| Tesis de maestría | |
| Inglés | |
| Estudiantes Investigadores Público en general | |
| Arellano Muñoz L. J., (2023), Detection of violent incidents in Spanish using multimodal information from social networks, Tesis de Maestría, Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| OTRAS ESPECIALIDADES TECNOLÓGICAS | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Maestría en Ciencias Computacionales |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| ARELLANOMLJ_MCC.pdf | 21.34 MB | Adobe PDF | Visualizar/Abrir |