Masked Relation Learning for DeepFake Detection

一、研究背景
1.现有deepfake检测方法大多关注于局部伪影或面部不协调，较少挖掘局部区域间的关系。
2.现有关系挖掘类的工作往往忽略了关系信息的传播。
3.遮挡建模在减轻信息冗余的同时促进高级语义信息（诱导性偏差较小）的挖掘，有助于提升网络的泛化性能。

二、研究动机
1.Deepfake技术会单独操纵视频中的每一帧，伪造结果缺乏时间连贯性。基于视频的检测技术更加关注相邻帧之间的时间不连贯性和时空不一致性，可降低对空间伪影的依赖并提升泛化性能。
2.将关系特征作为一种泛化模式可以提升检测性能，但大量的冗余关系信息会阻碍信息的表达。遮挡建模能减少信息的冗余，迫使模型习得更具泛化性的内在特征。

三、研究目标
从区域级关系中学习通用的鉴别性特征，减轻对视觉伪影的依赖。

四、技术路线

• 本文将deepfake检测任务定义为图分类问题，每个面部区域作为一个图的结点，并对结点间的关系进行建模。
• 对部分关系进行屏蔽，减少冗余并促进模型对全局结构的感知
• 实现在无监督的情况下定位面部伪造区域。
  

1.时空注意力模块（STA）：
学习不同面部区域的注意力特征。

• 将特征图$F_0^t$转换为注意力图$F_A^t$
• 用注意力图强调特征图得到注意力特征图$F^t$
• 对注意力特征图进行平均归一化得到注意力特征向量$V^t$
  
• 设置正交多样性损失$L_{od}$使不同注意力特征向量关注不同面部信息
• T为视频片段划分数量，$V^t\in {\mathbb{R}}^{N\ast C}$，$N$为注意力头数量，$I$为单位阵
• (4)使不同注意力头的输出差异尽可能大
  
• 设置时间一致性损失$L_{tc}$，使每个注意力头在时间维度上追踪各自区域
• (5)使相邻帧之间的注意力向量保持一致
  

2.遮挡关系学习模块（MRL）：
屏蔽部分区域间的相关性以减少信息冗余，以此促进对本质特征的学习并捕获全局视角下的不规则关系。

• 最小屏蔽策略：计算门限值$q$， $p$为预定义参数
  

• 随机屏蔽策略：根据伯努利分布采样$\eta$
  

• 利用TGCN捕获不规则关系：TGCN由GCN和GRU构成

• 

• 对特征关系图进行图卷积计算
  

• 对隐藏层进行图卷积计算
  

• 更新隐藏层
  
  3.特征分类
  
  4.损失函数
  
  5.算法流程
  
  
  五、实验结果
  Although our method has sub-optimal performance on FF++(HQ), it outperforms state-of-the-art approaches on detecting
  unseen deepfake datasets. Strong generalization ability is one of the pursuits of deepfake detection. Our method effectively promotes the generalization ability of detectors.
  
  
  
  Hereby we localize the fake regions by Grad-CAM in Fig. 9. We observe that our method can highlight the fake regions of
  manipulated faces. For instance, NeuralTextures only modifies the mouth region