【连续学习之SSL算法】2018年论文Selfless sequential learning

1 介绍

年份：2018

期刊： arXiv preprint
Aljundi R, Rohrbach M, Tuytelaars T. Selfless sequential learning[J]. arXiv preprint arXiv:1806.05421, 2018.

本文提出了一种名为SLNID（Sparse coding through Local Neural Inhibition and Discounting）的正则化算法，其核心原理是通过模拟大脑中的侧抑制机制，在神经网络中鼓励表示稀疏性，即在网络层级上抑制同时激活的神经元，从而实现对新任务学习时保留网络容量以减少对先前任务的遗忘，并提高序列学习的性能。本文算法属于基于正则化的算法，因为它通过引入一个新的正则化项来鼓励神经网络在表示层面上保持稀疏性，同时考虑了神经元的重要性，以减少对先前任务的干扰。

2 创新点

1. 自less序列学习（Selfless Sequential Learning）概念：
   • 提出了自less序列学习的概念，强调在学习过程中不仅要考虑当前任务，还要为未来任务预留模型容量。
2. 基于侧抑制的正则化策略：
   • 受到大脑中侧抑制机制的启发，提出了一种新的正则化方法，通过惩罚同时激活的神经元来鼓励表示稀疏性。
3. 局部神经抑制（Local Neural Inhibition）：
   • 为了适应复杂任务，提出了局部神经抑制的概念，即只在局部邻域内抑制其他神经元的活动，而不是在整个层级上。
4. 神经元重要性权重（Neuron Importance for Discounting Inhibition）：
   • 引入了神经元重要性的概念，用于调整正则化项，以避免对先前任务中重要的神经元施加抑制，从而减少对旧任务的干扰。
5. 稀疏编码通过局部神经抑制和折扣（SLNID）：
   • 结合了上述概念，提出了SLNID正则化方法，该方法在保持表示稀疏性的同时，允许对先前任务重要的神经元进行折扣处理。
6. 实验验证：
   • 在多个数据集（包括Permuted MNIST、CIFAR和Tiny Imagenet）上验证了所提方法的有效性，并与现有的终身学习（Lifelong Learning, LLL）方法进行了比较，显示出一致的性能提升。
7. 与现有LLL方法的兼容性：
   • 展示了SLNID正则化方法可以与现有的基于重要参数保持的LLL方法（如EWC和MAS）结合使用，并且能够提升这些方法的性能。

3 算法

3.1 算法原理

1. 表示稀疏性（Representation Sparsity）：
   • 算法强调在神经网络的激活（即神经元的输出）层面上实现稀疏性，而不是在参数层面上。这样做的目的是减少新任务学习时对旧任务的干扰，因为稀疏的表示意味着大部分神经元在任何给定时间都是不活跃的，从而为新任务留出更多的网络容量。
2. 局部神经抑制（Local Neural Inhibition）：
   • 算法通过局部神经抑制来实现表示稀疏性。这意味着算法会抑制在同一局部区域内同时激活的神经元，模仿大脑中的侧抑制过程。这种局部抑制通过一个高斯权重函数实现，该函数根据神经元之间的距离来调整它们之间的相互抑制强度。
3. 神经元重要性（Neuron Importance）：
   • 算法引入了神经元重要性的概念，用于衡量神经元在先前任务中的重要性。这是通过计算神经元输出对损失函数梯度的绝对值累积来实现的。重要的神经元在新任务中不会被抑制，以避免对旧任务的性能造成影响。
4. 正则化项（Regularization Term）：
   • 算法在训练目标函数中加入了一个正则化项，用于惩罚那些同时激活的神经元。这个正则化项考虑了神经元的重要性，并使用高斯函数来实现局部抑制。
5. 折扣抑制（Discounting Inhibition）：
   • 对于那些对先前任务重要的神经元，算法会减少或“折扣”对它们的抑制，以保护旧任务的性能不受学习新任务的影响。
6. 结合现有方法（Combination with Existing Methods）：
   • SLNID正则化项可以与现有的终身学习（Lifelong Learning, LLL）方法结合使用，如EWC（Elastic Weight Consolidation）和MAS（Memory Aware Synapses）。这些方法通过惩罚对先前任务重要参数的改变来减少灾难性遗忘。
7. 训练过程（Training Process）：
   • 在训练过程中，算法会优化一个包含数据损失、参数重要性惩罚项和表示稀疏性正则化项的组合目标函数。这有助于在保持对新任务的学习的同时，保留对旧任务的记忆。

3.2 算法步骤

1. 初始化网络参数$\theta$和网络容量。
2. 对于序列中的每个新任务$T_n$，执行以下步骤：

a. 使用当前任务的数据集训练网络，同时最小化以下目标函数：

$$\underset{\theta }{\min }\frac{1}{M}\sum _{m=1}^{M}L(y_m,f(x_m,{\theta }_n))+{\lambda }_{\Omega }\sum _k{\Omega }_k({\theta }_{n_k}-{\theta }_{n-1_k}{)}^2+{\lambda }_{SSL}{R}_{SSL}(H_l)$$

其中，$L$是损失函数，$f$是网络预测函数，${\theta }_{n-1}$是之前任务学习到的最优参数，${\lambda }_{\Omega }$和${\lambda }_{SSL}$是权衡参数，$R_{SSL}$是稀疏表示正则化项。
b. 计算每个神经元的重要性权重${\alpha }_i$，通过累积每个神经元输出对损失函数梯度的绝对值来实现：

$${\alpha }_i=\frac{1}{M}\sum _{m=1}^M|g_i(x_m)|,g_i(x_m)=\frac{\partial (L(y_m,f(x_m,{\theta }_n)))}{\partial n_i}$$

其中，$n_i$是第$i$个神经元的输出。

c. 应用局部神经抑制和折扣抑制，更新正则化项$R_{SSL}(H_l)$：

$$R_{SLNID}(H_l)=\frac{1}{M}\sum _{i,j}{e}^{-({\alpha }_i+{\alpha }_j)}{e}^{-\frac{(i-j{)}^2}{2{\sigma }^2}}\sum _m{h}_{m_i}{h}_{m_j},\text{for }i\ne j$$

其中，$h_{m_i}$是第$m$个输入在隐藏层的激活值，${\sigma }^2$是高斯函数的方差，控制局部邻域的范围。它通过考虑神经元的重要性和它们之间的空间距离来调整相互间的抑制强度。

d. 更新网络参数$\theta$，通过梯度下降或其他优化算法最小化目标函数。

3. 重复步骤 2，直到所有任务都已学习。
4. 在新任务学习时，通过保留未使用的神经元和减少对重要神经元的干扰，减少对先前任务的遗忘，并提高新任务的学习效率。

4 实验分析

图1展示了参数稀疏（a）与表示稀疏（b）在简单双任务案例中的区别，其中参数稀疏导致第二层及更深层的激活在新任务学习时发生改变，而表示稀疏通过限制激活的神经元数量减少了这种干扰。实验结论表明，表示稀疏（如SLNID方法所采用的）相比于参数稀疏，在序列学习中能更有效地减少新任务对旧任务的干扰，从而提高了模型在连续任务学习中的性能和稳定性。

图2展示了在5个排列MNIST序列上不同正则化技术的比较，其中基于表示的正则化技术（实心条形）表现优于基于参数的正则化（带线条的条形）和激活函数（点状条形），特别是SLNID正则化在最后两个任务上表现最佳，表明其在保留网络容量以学习后续任务方面更为有效。实验结论表明，基于表示的正则化方法，尤其是SLNID，能够在序列学习中更好地维持性能，特别是在学习序列中较晚出现的任务时，这表明这些方法在保留网络容量以适应新任务方面更为有效。

5 思考

（1）参数稀疏与表示稀疏分别是什么意思？有哪些代表性算法？

1. 参数稀疏（Parameter Sparsity）：
   • 定义：参数稀疏指的是网络中的权重参数本身是稀疏的，即许多权重值为零或接近零。这意味着网络中只有少数连接是活跃的，而大部分连接可以被忽略。
   • 代表性算法：
     • 权重衰减（Weight Decay）：通过在损失函数中添加L1或L2正则化项来实现参数的稀疏性，L1正则化倾向于产生更稀疏的解。
     • Pruning：这是一种后训练技术，通过移除那些对输出影响最小的权重来减少网络的复杂度。
     • Sparse Coding：在信号处理和机器学习中，通过优化使得编码向量中只有少数非零元素，用于特征提取和压缩。
2. 表示稀疏（Representation Sparsity）：
   • 定义：表示稀疏指的是网络在处理输入时产生的激活模式是稀疏的，即在任何给定时间，只有少数神经元处于激活状态，而大多数神经元的激活值接近零。
   • 代表性算法：
     • ReLU激活函数：由于ReLU函数将负值置为零，它自然倾向于产生稀疏的激活。
     • L1正则化应用于激活：通过对激活值施加L1正则化，鼓励模型学习到更稀疏的表示。
     • 自编码器（Autoencoders）：特别是稀疏自编码器，它们通过正则化项强制编码表示为稀疏形式。
     • 文章中提到的SLNID：通过局部神经抑制和折扣抑制来实现表示稀疏，减少新任务学习时对旧任务的干扰。