Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/1787| Identificación de peatones en imágenes aéreas con redes neuronales explicativas y fusión de sensores | |
| Jose de Jesus Velazquez Arreola | |
| Raquel Díaz Hernández | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Artificial intelligence explained Fision sensor Neural network convolution | |
| The beginnings of the observation of the Earth are referenced to the first world war, with the mounting of normal cameras on reconnaissance aircraft to identify the positions and movements of the enemy troops. This technology evolved over the years, allowing the installation of multispectral sensors in satellites to obtain images of the Earth for different studies. However, developing this technology is very expensive and has as a limitation the resolutions that can be obtained in these images for specific purposes. Unmanned aerial vehicles (UAV) cover these limitations. For this reason, UAVs are widely used, for example, in national security, surveying, mining, search and rescue. The latter is the motivation for the present thesis. Obtaining information from a camera in the visible spectrum (RGB) and a second camera with long wavelength infrared spectral range (LWIR), the thermal camera provides important information mainly in poor light scenes. The images are classified using two convolutional neural networks (CNN), one for each type of image. These networks are trained with images obtained from the KAIST database, which consists of a sequence of visible and thermal images with pedestrians labeled, in day and night times, to have data with changes in luminosity that can occur in daily activities. Afterwards, the Layer-wise Relevance Propagation method is implemented, which allows to visualize through a heatmap those pixels that were relevant for the decision of the neural networks, ending the process with the fusion of the information obtained from the neural networks applying an architecture of score fusion. With this methodology 94.98% accuracy is obtained when classifying the images, to define the presence or absence of person in the scene. Los inicios de la observación de la Tierra son referenciados a la primera guerra mundial, al montar cámaras normales en aviones de reconocimiento para identificar las posiciones y movimientos de las tropas enemigas. Esta tecnología fue evolucionando con el pasar de los años, permitiendo montar sensores multiespectrales en satélites para obtener imágenes de la Tierra para diferentes estudios de la misma. Sin embargo, desarrollar tecnología satelital es costosa y tiene como una limitante las resoluciones que se pueden obtener en estas imágenes para propósitos específicos. Los vehículos aéreos no tripulados (UAV) cubren estas limitaciones. Por esta razón, los UAV son ampliamente utilizados, por ejemplo, en seguridad nacional, topografía, minería, búsqueda y rescate. Este último es la motivación del presente trabajo de tesis. Obteniendo información de una cámara en el espectro visible y una segunda cámara con respuesta espectral en el infrarrojo de longitud de onda larga, la cámara térmica aporta información importante principalmente en escenarios con poca luminosidad. Se clasifican las imágenes haciendo uso de dos redes neuronales convolucionales (CNN), una para cada tipo de imagen. Estas redes son entrenadas con imágenes obtenidas de la base de datos KAIST, que consta de una secuencia de imágenes visibles y térmicas con peatones etiquetados, en escenarios de día y de noche para tener datos con cambios de luminosidad que se puede presentar en actividades diarias. Posteriormente se implementa el método Layer-wise Relevance Propagation que permite visualizar a través de un mapa de calor aquellos pixeles que fueron relevantes para la decisión de las redes neuronales, finalizando el proceso con la fusión de la información obtenida de las redes neuronales aplicando una arquitectura de la fusión por decisión. Con esta metodología se obtiene 94.98% de exactitud al realizar la clasificación de las imágenes, para definir la presencia o la ausencia personas en la escena en cuestión. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2019-02 | |
| Tesis de maestría | |
| Español | |
| Estudiantes Investigadores Público en general | |
| Velázquez Arreola, J. J., (2019), Identificación de peatones en imágenes aéreas con redes neuronales explicativas y fusión de sensores, Tesis de Maestría, Instituto Nacional de Astrofísica, Óptica y Electrónica. | |
| CIENCIAS DEL ESPACIO | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Maestría en Ciencia y Tecnología del Espacio |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| VelazquezAJJ.pdf | 3.43 MB | Adobe PDF | Visualizar/Abrir |