EMT-LTR--学习任务间关系的多目标多任务优化

EMT-LTR–学习任务间关系的多目标多任务优化

title： Learning Task Relationships in Evolutionary Multitasking for Multiobjective Continuous Optimization

author： Zefeng Chen, Yuren Zhou, Xiaoyu He, and Jun Zhang.

journal： IEEE TRANSACTIONS ON CYBERNETICS (TCYB)

DOI：10.1109/TCYB.2020.3029176

code: GitHub - youle921/MultiTask

1.主要贡献：

​ 1）提出了一种学习任务间关系的多目标多任务优化算法（EMT-LTR）；

​ 2）采用领域自适应技术将每个任务的决策空间视为一个流形，并将不同任务的所有决策空间联合建模为一个联合流形。

​ 3）将联合流形投影到隐层空间，同时保留所有任务的必要特征和每个流形的拓扑结构。

​ 4）任务关系表示为由多个映射函数组成的联合映射矩阵，学习到的任务关系用于进化过程中不同决策空间之间的信息传递。

2.问题提出：

​ 1）在MTO领域，利用任务间关系的研究很少。

​ 2）当任务数量特别多时，现有的研究通过学习任意两个任务间的映射关系的方式会很复杂。

​ 因此，如何联合建模所有任务之间的关系（而不仅仅是两个任务之间的关系）并有效地利用这些关系，是文章的研究目标。

3.EMT-LTR：

3.1 算法框架

​ 1）对于给定的$K$个任务$T_1,T_2,...,T_K$，设置采样集$S_1,S_2,...,S_K$

​ 2）对这些采样集进行LTR，得到联合映射矩阵$M$（不同任务间关系），它包含K个映射函数和一个隐层空间。

​ 3）接下来EMT-LTR的步骤跟MO-MFEA相同，不同的是MOMFEA是发生在统一搜索空间中，而EMT-LTR则是隐层空间。

​ 注意：在每一代中，从采样集中学习到的任务关系被用于子代产生和评估阶段，使用下一代种群的个体更新采样集。知识迁移是通过将来自其他任务的精英个体注入到当前任务或交配。

3.2 学习任务间关系(LTR)

​ LTR的总体想法：使用$K$个采样集$S_1,S_2,...,S_K$来学习$K$个优化任务$T_1,T_2,...,T_K$间的关系。先根据Pareto支配关系与不同目标函数之和两个准则将每个采样集$S_k,k=1,2,...,K$都分成如下四类（此处的分类方式并不唯一）。第一类：前50%非支配解；第二类：后50%非支配解；第三类：前50%支配解；第四类：后50%支配解。

​ 为了更真实地反映这些任务之间地关系，所构造地映射函数应该满足如下几个重要地属性：1）同一类样本点映射到隐层空间的相似位置；2）不同类样本点映射到隐层空间的不同位置且容易区分；3）每个样本集的拓扑结构也需要保留在隐层空间中。

​ 文章使用拉普拉斯矩阵来表示每一个流形（公式3和6），并以此来反映属性1和2；对于属性3，则使用了降维后的联合流形（公式11）；并设计了一个包含三个子函数的损失函数。具体细节请查阅原文，LTR的算法伪代码如下所示。

3.3 知识迁移

1）任务间的表示转换：

​ 如下图所示，假设${\Omega }_a,{\Omega }_b$是任务$T_a,T_b$的决策空间，通过LTR构建映射函数$M_a,M_b$。然后，从决策空间到隐层空间的映射可以通过如下规则执行：

​ $X^i\in {\Omega }_a$在隐层空间的表示为$M_a^T{X}^i$，$X^j\in {\Omega }_b$在隐层空间的表示为$M_b^T{X}^j$.

​ 从隐层空间到决策空间的映射可以通过如下规则执行：

​ $X^i\in {\Omega }_a$在隐层空间的表示为${(M_a{M}_b^{+})}^T{X}^i$，$X^j\in {\Omega }_b$在隐层空间的表示为${(M_b{M}_a^{+})}^T{X}^j$.

2）任务间知识迁移：首先，从$T_a$的当前种群中选择一个非支配个体（位于${\Omega }_a$中）；然后，通过上述的任务间转换将这个个体转换到${\Omega }_b$中。

​ 注意：从任务$T_a$中得到的这个转换个体可以注入到任务$T_b$中，也可以与$T_b$中的个体进行交配。

​

3.4 采样集更新

​ 1）预设定一个更新周期$up$来表示采样集更新的频率。

​ 2）当更新周期满足时，将任务$T_k$中通过环境选择保存到下一代种群的个体放入采样集$S_k$中。如果这些个体不足以填满$S_k$，则从之前的采样集$S_k$中随机选择个体补充到$S_k$中；如果这些个体数目超过了$S_k$，则随机删除某些个体直到$S_k$的大小为$S{N}_k$.

4.思考

1）相比于其他直接使用领域自适应的MTO算法，EMT-LTR中提出了将所有任务的决策空间映射到隐层空间，并保留所有任务的必要特征和拓扑结构。假设我们可以通过某种方式找到相似任务，那么EMT-LTR则可以通过所建立的联合流形解决该迁移哪些个体的问题。

2）根据信息论的基础知识我们可以得到，领域自适应方式在映射的过程中会对原始任务造成一些信息损失，如何在保证映射的前提下，减少信息损失也是我们要考虑的一个问题，不仅是多任务优化领域，也包括迁移学习领域。而EMT-LTR则考虑了每个任务的必要特征和拓扑结构等信息，在一定程度上考虑到了映射后的信息损失。