IJCAI23 - Continual Learning Tutorial

前言

如果你对这篇文章感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

本篇 Tutorial 主要介绍了 CL 中的一些基本概念以及一些过往的方法。

---

Problem Definition

Continual Learning 和 Incremental learning 以及 Lifelong learning 属于同一概念， 其所关心的场景均为「如何在新数据持续到来的情况下更新模型？」；并且由于存储空间和隐私问题，流式数据通常不能被存储。

CL 的整体目标为最小化所有已见任务的期望损失，如下所示：

CL 又细分为三类（ { Y t } \{\mathcal{Y}^t\} {Yt} 表示 $t$ 时刻的类别标签集合，$P({\mathcal{Y}}^t)$ 表示类别分布，$P({\mathcal{X}}^t)$ 表示输入数据分布）：

• Class-Incremental Learning (CIL): { Y t } ⊂ { Y t + 1 } , P ( Y t ) ≠ P ( Y t + 1 ) , P ( X t ) ≠ P ( X t + 1 ) \left\{\mathcal{Y}^t\right\} \subset\left\{\mathcal{Y}^{t+1}\right\},P\left(\mathcal{Y}^t\right) \neq P\left(\mathcal{Y}^{t+1}\right),P\left(\mathcal{X}^t\right) \neq P\left(\mathcal{X}^{t+1}\right) {Yt}⊂{Yt+1},P(Yt)=P(Yt+1),P(Xt)=P(Xt+1)
• Task-Incremental Learning (TIL): { Y t } ≠ { Y t + 1 } , P ( X t ) ≠ P ( X t + 1 ) \left\{\mathcal{Y}^t\right\} \neq\left\{\mathcal{Y}^{t+1}\right\},P\left(\mathcal{X}^t\right) \neq P\left(\mathcal{X}^{t+1}\right) {Yt}={Yt+1},P(Xt)=P(Xt+1)，测试时任务 $\text{id}(t)$ 已知
• Domain-Incremental Learning (DIL): { Y t } = { Y t + 1 } , P ( Y t ) = P ( Y t + 1 ) , P ( X t ) ≠ P ( X t + 1 ) \left\{\mathcal{Y}^t\right\} =\left\{\mathcal{Y}^{t+1}\right\},P\left(\mathcal{Y}^t\right) =P\left(\mathcal{Y}^{t+1}\right),P\left(\mathcal{X}^t\right) \neq P\left(\mathcal{X}^{t+1}\right) {Yt}={Yt+1},P(Yt)=P(Yt+1),P(Xt)=P(Xt+1)

与其它相关领域的区别

Multi-task Learning：（1）同时拿到所有任务的数据；（2）离线训练

Transfer Learning：（1）只有两个阶段；（2）并且不关注第一阶段，即 Source 的性能

Meta-Learning：（1）离线训练；（2）不关心 meta-train 的性能

---

CL 的一些传统做法

具体方法分类如下：

Data-Centric Methods

核心思想：保存一部分先前数据，在面对新任务时，可以作为训练损失的正则项 (hosting the data to replay former knowledge when learning new, or exert regularization terms with former data)

保存一部分数据的过往方法：

• [Welling ICML’09] 计算 Embedding 空间的类中心，选取离类中心近的样本。
• [Rebuffi et al. CVPR’17] 每个类依次贪心选取样本，使得样本 Embedding 均值逼近类中心。
• [Shin et al. NIPS’17] [Gao and Liu ICML’23] 使用生成式模型学习每个类的数据分布。

将先前数据作为新任务训练损失正则项的一些方法：

• [Lopez-Paz and Ranzato NIPS’17] 训练时要求模型不仅在新任务上做好，在旧任务上也要做的比之前好；模型在新任务和旧任务上的损失梯度夹角为正。

一些可能的问题：

• [Verwimp et al. ICCV’21] Data replay 可能会遭遇 overfitting.
• [Wu NeurIPS’18] 生成式模型也会出现灾难性遗忘。

Model-Centric Methods

核心思想：调整网络结构，或者识别网络中的重要参数并限制其变化

• [Kirkpatrick et al. PNAS’17] 训练新任务时，限制模型参数的变化，越重要的参数权重越高

Algorithm-Centric Methods

核心思想：设计一些训练机制避免旧模型的遗忘 (design training mechanisms to prevent the forgetting of old model)

知识蒸馏 (Knowledge Distillation) 的相关方法：

• [Li et al. TPAMI’17] 将旧模型作为 Teacher，训练时模型不仅要做好当前任务，在过去任务上需要表现得和 Teacher 尽可能相近。

模型纠正 (Model Rectify) 的相关方法：

• 例如「降低新类输出概率 Logit」和「降低最后一层新类的权重矩阵」。

Trends of CL

最后是 CL 近几年的整体发展趋势：

---

参考资料

• IJCAI23 - Continual Learning Tutorial
• PyCIL - A Python Toolbox for Class-Incremental Learning