Sgsaformer: spike gated self-attention transformer y atención temporal
Autores: Gao, Shouwei; Qin, Yu; Zhu, Ruixin; Zhao, Zirui; Zhou, Hao; Zhu, Zihao
Idioma: Inglés
Editor: MDPI
Año: 2024
Disponible con Suscripción Virtualpro
Artículos
Categoría
Ingeniería y Tecnología
Licencia
Atribución – Compartir igual
Consultas: 7
Citaciones: Sin citaciones
Las redes neuronales de picos (SNNs), una estructura de modelo de red neuronal inspirada en el cerebro humano, han surgido como un paradigma de aprendizaje profundo más eficiente en energía debido a su única transmisión basada en picos y características impulsadas por eventos. La combinación de SNNs con el modelo Transformer mejora significativamente el rendimiento de SNNs manteniendo una buena eficiencia energética. El mecanismo de compuerta, que ajusta dinámicamente los datos de entrada y controla el flujo de información, juega un papel importante en las redes neuronales artificiales (ANNs). Aquí, introducimos este mecanismo de compuerta en SNNs y proponemos un nuevo modelo de Transformer de picos, llamado SGSAFormer, basado en la arquitectura de red Spikformer. Introducimos el módulo de Unidad Lineal con Compuerta de Picos (SGLU) para mejorar el módulo de Perceptrón Multicapa (MLP) en SNNs agregando un mecanismo de compuerta para mejorar la potencia expresiva del modelo. También incorporamos la Autoatención con Compuerta de Picos (SGSA) para fortalecer el mecanismo de atención de la red, mejorando su capacidad para capturar información temporal y procesamiento dinámico. Además, proponemos un módulo de Atención Temporal (TA), que selecciona nuevos filtros para los datos de entrada a lo largo de la dimensión temporal y puede reducir sustancialmente el consumo de energía con solo una ligera disminución en la precisión. Para validar la efectividad de nuestro enfoque, realizamos experimentos extensos en varios conjuntos de datos neuromórficos. Nuestro modelo supera a otros modelos de vanguardia en términos de rendimiento.
Descripción
Las redes neuronales de picos (SNNs), una estructura de modelo de red neuronal inspirada en el cerebro humano, han surgido como un paradigma de aprendizaje profundo más eficiente en energía debido a su única transmisión basada en picos y características impulsadas por eventos. La combinación de SNNs con el modelo Transformer mejora significativamente el rendimiento de SNNs manteniendo una buena eficiencia energética. El mecanismo de compuerta, que ajusta dinámicamente los datos de entrada y controla el flujo de información, juega un papel importante en las redes neuronales artificiales (ANNs). Aquí, introducimos este mecanismo de compuerta en SNNs y proponemos un nuevo modelo de Transformer de picos, llamado SGSAFormer, basado en la arquitectura de red Spikformer. Introducimos el módulo de Unidad Lineal con Compuerta de Picos (SGLU) para mejorar el módulo de Perceptrón Multicapa (MLP) en SNNs agregando un mecanismo de compuerta para mejorar la potencia expresiva del modelo. También incorporamos la Autoatención con Compuerta de Picos (SGSA) para fortalecer el mecanismo de atención de la red, mejorando su capacidad para capturar información temporal y procesamiento dinámico. Además, proponemos un módulo de Atención Temporal (TA), que selecciona nuevos filtros para los datos de entrada a lo largo de la dimensión temporal y puede reducir sustancialmente el consumo de energía con solo una ligera disminución en la precisión. Para validar la efectividad de nuestro enfoque, realizamos experimentos extensos en varios conjuntos de datos neuromórficos. Nuestro modelo supera a otros modelos de vanguardia en términos de rendimiento.