Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/2656| Multi-objective Evolutionary Algorithms for the optimization of Deep Neural Network Architectures | |
| Cosijopii Garcia-Garcia | |
| Alicia Morales-Reyes Hugo Jair Escalante Balderas | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Multi-objective optimization Evolutionary Algorithms Convolutional Neural Networks Neural Architecture Search Cartesian Genetic Programming | |
| Neural Architecture Search (NAS) has emerged as a critical area in deep learning, focusing on automating the design of convolutional neural networks (CNNs) to optimize their performance across different tasks. Despite advancements, most NAS approaches have predominantly focused on single-objective optimization, aiming primarily to maximize accuracy. This approach often overlooks other important factors, such as model complexity, computational time, and generalization capability. In this thesis, we address these gaps by introducing a multi-objective framework for NAS that leverages evolutionary algorithms (EAs). Our contributions include the development of a novel search space representation for CNNs based on Cartesian genetic programming (CGP), designed to accommodate both architectural operations and hyperparameters flexibly. This representation enables a more efficient exploration of potential architectures, capturing a diverse range of highperformance models. Furthermore, we propose a progressive search strategy that incorporates self-supervised learning techniques to guide the evolutionary process more effectively. Additionally, a new performance estimation strategy is developed, based on incremental dataset expansion, to reduce computational costs during the search process. To validate the proposed framework, extensive experiments were conducted on benchmark image classification tasks, comparing the performance of our multi-objective NAS approach with state-of-the-art NAS methods. The results demonstrate that our approach not only achieves competitive accuracy but also offers improved trade-offs between multiple objectives. The findings highlight the potential of evolutionary-based multi-objective optimization in advancing NAS methodologies, providing a pathway towards more effective and adaptable deep learning models for real-world applications. La búsqueda de arquitecturas neuronales (NAS) se ha convertido en un área crítica en el aprendizaje profundo; ésta se enfoca en automatizar el diseño de redes neuronales convolucionales (CNNs) para optimizar su rendimiento en diversas tareas. A pesar de los avances, la mayoría de los enfoques de NAS se han centrado predominantemente en la optimización de un solo objetivo, buscando principalmente maximizar la precisión. Este enfoque a menudo pasa por alto otros factores importantes, como la complejidad del modelo, el tiempo computacional y la capacidad de generalización. En esta tesis, abordamos estas limitaciones introduciendo un enfoque multiobjetivo para NAS que utiliza algoritmos evolutivos multiobjetivo (MOEAs). Nuestras contribuciones incluyen el desarrollo de una nueva representación del espacio de búsqueda para CNNs basada en la Programación Genética Cartesiana (CGP), diseñada para utilizar operaciones a nivel de capas como hiperparámetros; todo esto de manera flexible. Esta representación permite una exploración más eficiente de arquitecturas, capturando un amplio conjunto de modelos eficientes. Además, proponemos una estrategia de búsqueda progresiva que incorpora técnicas de aprendizaje autosupervisado para guiar el proceso evolutivo de manera más efectiva. Adicionalmente, se desarrolla una nueva estrategia de estimación de desempeño basada en la expansión incremental de conjuntos de datos, con el fin de reducir los costos computacionales durante el proceso de búsqueda. Para validar el marco propuesto, se realizaron varios experimentos en tareas de clasificación de imágenes utilizando diferentes benchmarks, comparando el rendimiento de nuestro enfoque de NAS multiobjetivo con métodos NAS del estado del arte. Los resultados demuestran que nuestro enfoque no solo logra una precisión competitiva, sino que también ofrece mejores trade-offs entre múltiples objetivos. Los resultados obtenidos de- muestran el potencial de la búsqueda basada en algoritmos evolutivos multiobjetivo para el diseño automatizado de arquitecturas neuronales, proporcionando soluciones que son tanto efectivas como eficientes en diferentes escenarios del mundo real. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2025-02 | |
| Tesis de doctorado | |
| Inglés | |
| Estudiantes Investigadores Público en general | |
| García García, C., (2025), Multi-objective Evolutionary Algorithms for the optimization of Deep Neural Network Architectures, Tesis de Doctorado, Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| OTRAS ESPECIALIDADES TECNOLÓGICAS | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Doctorado en Ciencias Computacionales |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| GARCÍAGC_DCC.pdf | 5.01 MB | Adobe PDF | Visualizar/Abrir |