Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/2080| Unsupervised image annotation as multimodal query expansion | |
| Luis Luis Pellegrin | |
| Hugo Jair Escalante Balderas | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Unsupervised image Annotation Automtic Query expansion Image captioning Visual prototypes. | |
| This thesis deals with the unsupervised automatic image annotation (UAIA) problem, given a reference collection composed by texts and images, where not necessarily exists a direct relationship among the data, this problem is defined as the assignation of words extracted from the texts to images, looking to describe their visual content. The idea behind our work is to exploit interactions between modalities with the aim to annotate images, and taking into account complementarity and redundancy in the data. We have introduced two effective methods for UAIA in the context of a common framework inspired in the way a query is expanded throughout Automatic Query Expansion (AQE) in information retrieval. On the one hand, a local method that processes text information associated to images retrieved when using the image to annotate as query, several methods from the state of the art can be described under this formulation. On the other hand, a global method that pre-process offline the reference collection to identify visual-textual associations that are later used for annotation. Both methods are extensively evaluated in benchmarks for large-scale UAIA. Esta tesis lidia con el problema de anotación automática de imágenes no supervisada (UAIA, por sus siglas en inglés), dada una colección de referencia compuesta por textos e imágenes, donde no existe necesariamente una relación directa entre los datos, este problema es definido como la asignación de palabras extraídas de los textos a las imágenes, buscando describir su contenido visual. La idea detrás de nuestro trabajo es explotar interacciones entre modalidades con el objetivo de anotar imágenes, y tomar en cuenta complementariedad y redundancia en los datos. Hemos introducido dos métodos efectivos para UAIA en el contexto de un marco de trabajo común inspirado en la forma en que es expandida una consulta en la expansión automática de consultas (AQE) en recuperación de información. Por un lado, un método local que procesa información textual asociada a las imágenes recuperadas cuando una imagen a anotar es usada como consulta, muchos métodos del estado del arte pueden ser descritos bajo esta formulación. Por otro lado, un método global que preprocesa fuera de línea la colección de referencia para identificar asociaciones textuales que más tarde se usan para anotación. Ambos métodos son extensamente evaluados en bases de referencia usadas por UAIA a gran escala. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2017-10 | |
| Tesis de doctorado | |
| Inglés | |
| Estudiantes Investigadores Público en general | |
| Pellegrin Zazueta, L. M., (2017), Unsupervised image annotation as multimodal query expansion, Tesis de Doctorado, Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| LENGUAJES DE PROGRAMACIÓN | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Doctorado en Ciencias Computacionales |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| PellegrinZaLM.pdf | 16.84 MB | Adobe PDF | Visualizar/Abrir |