Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/2337| Aprendizaje por Transferencia en Aprendizaje por Refuerzo Profundo | |
| Jesús García-Ramírez | |
| Eduardo F. Morales Hugo Jair Escalante Balderas | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Deep Learning Deep Reinforcement Learning Transfer Learning | |
| One important aim in Artificial Intelligence is to learn by interaction and withas few human interventions as possible. In recent years, two important Artificial Intelligence techniques have been combined to achieve the above: Deep Learning(DL) and Reinforcement Learning(RL).The combination of these two techniques is called Deep Reinforcement Learning(DRL), which has the advantages of both techniques: an agent can learn interactingwith a world representation (RL) and uses raw data as input from which features areautomatically extracted.Nevertheless, the limitations of both techniques are carried to DRL methods: thetraining time is too long even with specialized hardware and they require high numberof instances to obtain acceptable performance. Transfer Learning (TL) can help to reduce the training times and the number ofinstances to obtain an acceptable performance. TL uses previously acquired knowledgethe achieve the above objective.In this thesis some methods based on TL for DRL algorithms are proposed. Specifically, the aim of the proposed methods is to identify the relevant elements ofdifferent source tasks to learn a new one and obtain better results than training fromscratch. To obtain these results we propose different TL based methods for DRL. First, we propose a method based on information theory for selecting a pre-trained model that can potentially, obtain good performance in a new task. We propose to usea regresor to predict the performance of a pre-trained model in the target task using the information of feature maps obtained from a sample of the target task. The proposed method can select adequately a pre-trained model that find a significance difference between the training from scratch and the RL proposed method. Also, we propose a new algorithm for transferring part of a pre-trained model. Uno de los objetivos de la inteligencia artificial es aprender mediante la interacción y con poca intervención de humanos. En los años recientes se han combinado dos técnicasde inteligencia artificial para lograr lo anterior: el aprendizaje profundo (Deep Learning, DL) y el aprendizaje por refuerzo (Reinforcement Learning, RL). La combinación de estas dos técnicas se denomina aprendizaje por refuerzo profundo (Deep ReinforcementLearning, DRL), la cual utiliza las ventajas de las dos técnicas mencionadas anteriormente: se aprende mediante la interacción con una representación del mundo (RL) y se tienen como entrada datos sin procesar a partir de las cuales se extraen características de manera automática (DL). Sin embargo, también se tienen las limitaciones de ambas técnicas, dos de las más importantes son: se requiere mucho tiempo de entrenamiento aún si se cuenta con equipo especializado y un gran número de instancias para obtener un buen desempeño. El aprendizaje por transferencia (Transfer Learning, TL) puede ayudar a reducir el tiempo de entrenamiento y por consecuencia las instancias necesarias para alcanzar un desempeño aceptable. El TL utiliza conocimiento previamente adquirido para alcanzar el objetivo anterior. En esta tesis se proponen métodos basados en TL para DRL, específicamente se busca aprovechar los pesos de diferentes modelos profundos para aprender una nueva tarea, obteniendo mejor desempeño respecto al entrenamiento sin transferencia. Para llegar a este objetivo se propusieron diferentes métodos basados en TL para algoritmos basados en DRL. Primero, se propone un método para seleccionar un modelo pre-entrenado que potencialmente obtendrá un buen desempeño para una nueva tarea a aprender, basado en teoría de la información. Dicha propuesta utiliza un regresor para predecir el desempeño al inicializar los pesos de un modelo profundo en la tarea objetivo conun modelo pre-entrenado. Esto se realiza mediante información de los feature maps del modelo pre-entrenado con ejemplos de la tarea objetivo. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica. | |
| 2022-03 | |
| Tesis de doctorado | |
| Español | |
| Estudiantes Investigadores Público en general | |
| García Ramírez, Jesús, (2022), Aprendizaje por Transferencia en Aprendizaje por Refuerzo Profundo, Tesis de Doctorado, Instituto Nacional de Astrofísica, Óptica y Electrónica. | |
| LENGUAJES DE PROGRAMACIÓN | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Doctorado en Ciencias Computacionales |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| GarciaRaJ.pdf | 17.42 MB | Adobe PDF | Visualizar/Abrir |