Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/423| A high performance hardware architecture for multilayer spiking neural networks | |
| MARCO AURELIO NUÑO MAGANDA | |
| MIGUEL OCTAVIO ARIAS ESTRADA CESAR TORRES HUITZIL | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Neural net architecture Reconfigurable architecture Field programmabel gate arrays | |
| In this work, a hardware architecture for Multilayer Spiking Neural Networks (SNNs)
has been developed. Several attempts for implementing Multilayer SNNs have been
done, but none of them have explored a hardware implementation and tradeoffs in detail.
Spiking Neuron Models (SNMs) have obtained the interest of the computer science
researchers due to their potential use as a more biological plausible processing model,
which have been tested and successfully applied in several computational tasks, like
speech processing, computer vision and robot navigation, with less hardware resources
and iterations compared with classical models.
In this research the hardware plausibility of SNNs has been demonstrated through the
design of a dedicated hardware architecture for emulating a large number of spiking
neurons. Dedicated modules have been developed for coding, recall and learning, being
the main difference and contribution of this work compared to previously reported
works the coding and the learning that has been carried out on a single chip. This
implementation scheme reduces the bandwidth required for processing several stages in
different hardware processors, and allows the hardware reusing of processing elements.
In classical neural networks, a set of input patterns is passed as input to the network,
and the network performs the learning by adjusting the weights for adapting the actual
network output to the target or desired network output. In multilayer SNNs, three
processing stages can be identied. In the rst processing phase, the data coding process
is performed. The implemented coding scheme required for multilayer SNNs is the
Gaussian Receptive Fields, which maps an input value into a set of ring times. The
input ring times obtained by the GRFs are used for feeding the SNN. The main advantage
of the GRFs is that they generate a sparse coding for the input values, solving
several problems of scale adjusting of other coding schemes. In the second phase, the
network output is computed, by evaluating the input ring times using the activation
function. Each neuron connection have a set of synaptic terminals. The number of
synaptic terminal is xed in compilation time, but the architecture can be extended
to support different number of terminals. The output ring time of the current neuron
depends on the weights and delays associated to each synaptic terminal. When
each neuron generates its own ring time, the neuron remains in an inactivity state. En esta tesis, se ha desarrollado una arquitectura hardware para redes neuronales pulsantes (SNNs) multicapa. Existen varios intentos para la implementación de este tipo de redes, pero ninguno de éstos ha profundizado en cuanto a la implementación y los compromisos hardware en detalle. Los modelos neuronales pulsantes (SNMs) han atraido el interés de los investigadores en ciencias computacionales, debido a su uso potencial como un modelo de procesamiento más plausible biológicamente, el cual ha sido utilizado exitosamente en diferentes tareas computacionales, como navegación robótica, visión por computadora y reconocimiento del habla, además los SNMs utilizan una cantidad menor de recursos hardware y requieren de una menor cantidad de iteraciones para el procesamiento en comparación, se ha demostrado la plausibilidad en hardware de las SNNs mediante el diseño de una arquitectura hardware dedicada que permita la emulación de una gran cantidad de neuronas pulsantes. Se han implementado módulos dedicados para las fases de codificación, recall y de aprendizaje (learning), siendo la principal diferencia y contribución de este trabajo que la codificación y el aprendizaje son llevados a cabo dentro del chip (on-chip). Este esquema de implementación reduce el ancho de banda requerido para las transferencias de datos entre módulos de procesamiento de diferentes plataformas (PC-FPGA) y permite el reuso de elementos procesadores hardware. En redes neuronales clásicas, un conjunto de patrones son pasados como entrada a una determinada red y la red debe efectuar el aprendizaje mediante el ajuste de los pesos actuales, la salida actual y la salida esperada (o función objetivo). En redes neuronales pulsantes multicapa, se identican tres etapas de procesamiento básico: en la primera etapa, se efectúa la codificación de los datos. El esquema de codificación implementado se denomina campos receptivos gausianos (GRFs), los cuales convierten los datos de entrada (continuos o discretos) en tiempos de disparo de salida. La ventaja de los GRFs consiste en que efectúan una codificación dispersa, la cual evita ciertos problemas de ajuste de escala presentes en otras técnicas de codificación. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2009-10 | |
| Tesis de doctorado | |
| Inglés | |
| Estudiantes Investigadores Público en general | |
| Nuño-Maganda M.A. | |
| ÓPTICA | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Doctorado en Ciencias Computacionales |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| NuñoMaMA.pdf | 3.05 MB | Adobe PDF | Visualizar/Abrir |