中国科学院自动化所研发出新型类脑学习方法 有望引导新型类脑芯片设计

灾难性遗忘是反向传播学习算法固有的问题，是人工神经网络（ANN）和尖峰神经网络（SNN）研究中的一个难题。

大脑利用多尺度可塑性在某种程度上解决了这个问题。在特定通路的全局调控下，神经调节剂被分散到目标脑区，突触和神经元的可塑性都受到神经调节剂的局部调节。具体来说，神经调节剂改变神经元和突触可塑性的能力和性质。这种修饰被称为突触再可塑性（metaplasticity）。

近日，中国科学院自动化研究所徐波教授及其合作者研发出一种基于神经调制依赖可塑性的新型类脑学习方法（Neuromodulation-assisted Credit Assignment,NACA），可有效解决目前人工神经网络中普遍存在的「灾难性遗忘」问题，有望进一步引导新型类脑芯片的设计。

该研究以「A brain-inspired algorithm that mitigates catastrophic forgetting of artificial and spiking neural networks with low computational cost」为题，于 8 月 25 日发表在《Science Advances》上。

论文链接：

https://www.science.org/doi/10.1126/sciadv.adi2947

该方法基于大脑复杂神经调节通路的结构，以期望矩阵编码的形式建立神经调节通路的数学模型。接收到刺激信号后，产生不同强度的多巴胺监督信号，进一步影响局部突触和神经元的可塑性。

NACA 支持使用纯前馈流学习方法来训练 ANN 和 SNN。通过全局多巴胺扩散支持，与输入信号同步，甚至在输入信号前向传播信息。与选择性调整峰值时间相关的可塑性相结合，NACA 在快速收敛和减轻灾难性遗忘方面表现出显著的优势。

NACA 算法在两个识别任务中提高了 SNN 和 ANN 的性能。（来源：论文）

在两个典型的图像和语音模式识别任务中，研究小组评估了 NACA 算法的准确率和计算成本。在使用图像分类(MNIST)和语音识别(TIDigits)标准数据集的测试中，NACA 获得了更高的分类准确率(约 1.92%)和更低的学习能耗(约 98%)。

此外，研究小组重点测试了 NACA 在类连续学习上的连续学习能力，并将神经调节扩展到神经元可塑性的范围。

在连续 MNIST 手写体数字、连续字母表手写体字母、连续 MathGreek 手写体数学符号、连续 cifare -10 自然图像和连续 DvsGesture 动态手势等 5 个不同类别的连续学习任务中，NACA 比反向传播和弹性权巩固算法能耗更低，能够显著缓解灾难性遗忘问题。