logo móvil

Sgsaformer: spike gated self-attention transformer y atención temporal

Autores: Gao, Shouwei; Qin, Yu; Zhu, Ruixin; Zhao, Zirui; Zhou, Hao; Zhu, Zihao

Idioma: Inglés

Editor: MDPI

Año: 2024

Disponible con Suscripción Virtualpro

Artículos


Categoría

Ingeniería y Tecnología

Licencia

Atribución – Compartir igual

Consultas: 7

Citaciones: Sin citaciones


Descripción
Las redes neuronales de picos (SNNs), una estructura de modelo de red neuronal inspirada en el cerebro humano, han surgido como un paradigma de aprendizaje profundo más eficiente en energía debido a su única transmisión basada en picos y características impulsadas por eventos. La combinación de SNNs con el modelo Transformer mejora significativamente el rendimiento de SNNs manteniendo una buena eficiencia energética. El mecanismo de compuerta, que ajusta dinámicamente los datos de entrada y controla el flujo de información, juega un papel importante en las redes neuronales artificiales (ANNs). Aquí, introducimos este mecanismo de compuerta en SNNs y proponemos un nuevo modelo de Transformer de picos, llamado SGSAFormer, basado en la arquitectura de red Spikformer. Introducimos el módulo de Unidad Lineal con Compuerta de Picos (SGLU) para mejorar el módulo de Perceptrón Multicapa (MLP) en SNNs agregando un mecanismo de compuerta para mejorar la potencia expresiva del modelo. También incorporamos la Autoatención con Compuerta de Picos (SGSA) para fortalecer el mecanismo de atención de la red, mejorando su capacidad para capturar información temporal y procesamiento dinámico. Además, proponemos un módulo de Atención Temporal (TA), que selecciona nuevos filtros para los datos de entrada a lo largo de la dimensión temporal y puede reducir sustancialmente el consumo de energía con solo una ligera disminución en la precisión. Para validar la efectividad de nuestro enfoque, realizamos experimentos extensos en varios conjuntos de datos neuromórficos. Nuestro modelo supera a otros modelos de vanguardia en términos de rendimiento.

Documentos Relacionados

Temas Virtualpro