Projection head与使用例子

概念介绍

在深度学习中，Projection head是一种用于提取特征或表征的网络结构。它通常是一个或多个全连接层，将输入的高维特征映射到一个低维的向量空间，以便于进行后续的任务，如对比学习、聚类、分类等。

Projection head的使用

A Simple Framework for Contrastive Learning of Visual Representation

https://arxiv.org/abs/2002.05709

一张图像经过两个不同的变换，通过同一个encoder（Res50）得到 h，再经过一个Projection head（FC+ReLu），得到 z，结果互为正样本，负样本是其他图像和他们的变换结果。

Projection head只在训练时使用，做下游任务时使用encoder（Res50）的输出 h。

参考文章

【学习笔记】对比学习综述 （Contrastive Learning Review）-CSDN博客