脉冲神经网络（SNN）论文阅读（六）-----ECCV-2024 脉冲驱动的SNN目标检测框架：SpikeYOLO

原文链接：CSDN-脉冲神经网络（SNN）论文阅读（六）-----ECCV-2024 脉冲驱动的SNN目标检测框架：SpikeYOLO

目录

论文信息

论文标题：Integer-Valued Training and Spike-Driven Inference Spiking Neural Network for High-performance and Energy-efficient Object Detection
论文地址
code
由中科院自动化所（李国齐团队）研究人员发表于ECCV 2024 Oral。

主要贡献

• 设计了SpikeYOLO architecture用于目标检测。
• 设计了新的脉冲神经元：I-LIF，训练时保持整数值通信推理时重参数化为低功耗的二元脉冲。
• 在静态以及神经形态目标检测数据集上均取得了SOTA性能。
  

SpikeYOLO

• 宏观设计参考YOLOv8，微观设计参考作者团队之前提出的Meta-SpikeFormer[1]中的meta SNN block。
• 设计了SNN-Block-1和SNN-Block-2，其他架构和YOLOv8保持一致。
• SNN-Block-1:
  
• SNN-Block-2:
  

Integer Leaky Integrate-and-Fire (I-LIF) Spiking Neuron

• 脉冲神经元累积膜电势，当膜电势达到阈值时产生脉冲，从连续的膜电势到离散的脉冲信号会带来信息损失。
• I-LIF神经元基于LIF神经元模型，在训练时产生模拟值输出，而在推理时转换为二元的脉冲，从而缓解信息损失提升性能。
• 训练期间将膜电势round到最近的整数值，控制其输出范围位于[0,D]之间，D是超参数标识I-LIF可产生的最大值输出。使用矩形函数代理梯度计算梯度信息。
  
• 推理期间将原始的时间步长$T$扩展至$T\times D$，将本应位于[0,D]的输出在扩展后的时间步长内转换为每个时间步长内的二元脉冲输出。
  

实验对比

静态COCO 2017 Dataset 对比：

神经形态Gen1 Automotive Detection Dataset对比：

更多详细信息请看原文。

参考文献：
[1] Spike-driven transformer v2: Meta spiking neural network architecture inspiring the design of next-generation neuromorphic chips. In ICLR. 2024.

本文由CSDN-lan人啊原创，转载请注明！