Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/2638| Visual robot navigation incorporating causal models in deep reinforcement learning | |
| Nilda Gabriela Xolo Tlapanco | |
| Eduardo Morales Luis Enrique Sucar Gomez Balderas Ernesto | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Causal Reinforcement Learning Deep Reinforcement Learning Robotics Micro Air Vehicles Causal Models | |
| The use of UAVs or drones has been applied for different domains and an interest in common of them is the development of an autonomous pilot, Reinforcement Learning (RL) can be used for visual navigation in drones but needs substantial computational resources, long training times, and issues like sample efficiency, robustness, and interpretability. A field that combines RL with causal models called Causal Reinforcement Learning promises to reduce the time for exploration and improve adaptation to novel situations or environments but is not proven yet in robotics tasks, for this reasons we propose adapting an RL algorithm to learn and use knowledge of a causal model to improve the action selection in the visual-based navigation. We present our results with the use of a Causal Bayesian Network defined and the learning of it in the RL training phase to use in a real-world drone. El uso de UAVs o drones se ha aplicado en diferentes dominios y un interés en común entre ellos es el desarrollo de un piloto autónomo. El aprendizaje por refuerzo (RL) se puede utilizar para la navegación visual en drones pero necesita importantes recursos computacionales, largos tiempos de entrenamiento y presenta problemas como eficiencia de las muestras, robustez e interpretabilidad. Un campo que combina RL con modelos causales llamado Aprendizaje por Refuerzo Causal promete reducir el tiempo de exploración y mejorar la adaptación a situaciones o entornos novedosos pero aún no ha sido probado en tareas de robótica, por estas razones proponemos adaptar un algoritmo de RL para aprender y utilizar el conocimiento de un modelo causal para mejorar la selección de acciones en la navegación basada en imágenes. Presentamos nuestros resultados con el uso de una Red Causal Bayesiana definida y su aprendizaje en la fase de entrenamiento de RL para su uso en un dron del mundo real. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2024-09 | |
| Tesis de maestría | |
| Inglés | |
| Estudiantes Investigadores Público en general | |
| Xolo Tlapanco, N. G., (2024), Visual robot navigation incorporating causal models in deep reinforcement learning, Tesis de Maestría, Instituto Nacional de Astrofísica, Óptica y Electrónica. | |
| OTRAS ESPECIALIDADES TECNOLÓGICAS | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Maestría en Ciencias Computacionales |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| XOLOTNG_MCC.pdf | 12.66 MB | Adobe PDF | Visualizar/Abrir |