当前位置： 首页 > news >正文

论文笔记：SUPERVISED CONTRASTIVE REGRESSION

news 2025/6/27 10:31:37

2022arxiv的论文，没有中，但一作是P大图班本MIT博，可信度应该还是可以的

0 摘要

  • 深度回归模型通常以端到端的方式进行学习，不明确尝试学习具有回归意识的表示。
    • 它们的表示往往是分散的，未能捕捉回归任务的连续性质。
  • 在本文中，我们提出了“监督对比回归”（Supervised Contrastive Regression，SupCR）的框架
    • 该框架通过将样本与目标距离进行对比来学习具有回归意识的表示。
    • SupCR与现有的回归模型是正交的，并且可以与这些模型结合使用以提高性能。
  • 在涵盖计算机视觉、人机交互和医疗保健领域的五个真实世界回归数据集上进行的大量实验表明，使用SupCR可以达到最先进的性能，并且始终在所有数据集、任务和输入模式上改进先前的回归基线。
    • SupCR还提高了对数据损坏的鲁棒性
    • 对减少的训练数据具有弹性
    • 改善了迁移学习的性能
    • 并且对未见过的目标有很好的泛化能力。

1 介绍

1.1 动机

  • 之前的回归问题
    • 都集中在以端到端的方式对最终预测进行约束
    • 并未明确考虑模型学到的表示
  • ——>学习的表示往往是分散的，未能捕捉回归任务中连续的关系
  • 图1(a)展示了在从网络摄像头户外图像预测天气温度的任务中，由L1损失学习的表示
    • L1模型学习的表示并没有呈现连续的真实温度值；相反，它按不同的摄像头以一种碎片化的方式进行分组。
      • 这种无序和碎片化的表示对于回归任务是次优的，甚至可能会妨碍性能，因为其中包含了干扰信息
  • 之前的表示学习都集中在分类问题上
    • 尤其是监督学习和对比学习
    • 如图1(b)所示，这些方法在上述视觉温度预测任务中学习的表示对于回归问题来说是次优的
      • 因为它忽略了回归任务中样本之间的连续顺序。

1.2 本文思路

  • 引入了“监督对比回归”（Supervised Contrastive Regression，SupCR）这一新的深度回归学习框架
    • 首先学习一个表示，确保嵌入空间中的距离与目标值的顺序相对应
      • 为了学习这样一个具有回归意识的表示，我们根据样本的标签/目标值距离将样本进行对比
    • 然后使用这个表示来预测目标值
  • 方法明确地利用样本之间的有序关系来优化下游回归任务的表示（如1(c)所示）
  • 此外，SupCR与现有的回归方法正交
    • 可以使用任何类型的回归方法将学习到的表示映射到预测值上。

2 方法

2.0 方法定义

  • 学习一个神经网络，由两部分组成

     

    • 特征encoder
    • 预测器p(\cdot):R^{d_e}\rightarrow R^{d_t} 从x \in X中预测y \in R^{d_t}
  •  对于给定的输入 batch，类似于对比学习,首先对数据进行两次数据增强，得到batch的两个view
    • 这两个view被输入到编码器f(·)中，为每个增强的输入数据获取一个de维特征嵌入
    • 监督对比回归损失L_{SupCR}是在这些特征嵌入上计算的
      • 为了将学习到的表示用于回归，冻结编码器f(·)，然后在其之上训练预测器，使用回归损失（例如，L1损失）

2.1 监督对比回归损失

  • 大前提：希望损失函数能够确保嵌入空间中的距离与标签空间中的距离相对应
  • 给定N个数据组成的batch ，其中有input和label \{(x_n,y_n)\}_{n \in [N]}
    • 对该批数据应用数据增强，得到两个视图的batch
      • \tilde{x}_{2n}=t(x_n),\tilde{x}_{2n-1}=t'(x_n)
      • t和t'是两种数据增强方式
      • ——>得到两个视图下的batch\{(\tilde{x}_l,\tilde{y}_l)\}_{l \in [2N]}
        • \tilde{y}_{2n}=\tilde{y}_{2n-1}=y_n
    • 数据增强后的batch会被喂到encoder中，以获得相应的embedding
      • v_l=f(\tilde{x}_l)\in R^{d_e}, \forall n \in [2N]
  • 监督对比回归损失为

比如我们计算20这个样本的对比学习损失函数时，将30作为anchor的时候，会有两个负样本；将0作为anchor的时候，会有一个负样本

 2.2 理论证明

略

3 实验

3.1 五个实验

AgeDB
  • 从人脸图像预测年龄。
  • 包含了16,488张名人的图像和相应的年龄标签。
  • 年龄范围在0到101岁之间。
  • 数据集被分为12,208张训练图像、2140张验证图像和2140张测试图像。
TUAB
  • 从EEG静息态信号估计脑龄。
  • 包括1,385个21通道的EEG信号，采样频率为200Hz，来自年龄范围从0到95岁的个体。
  • 数据集被分为1,246个受试者的训练集和139个受试者的测试集。
MPIIFaceGaze
  • 从人脸图像估计注视方向。
  • 包含了213,659张从15名参与者收集的人脸图像
  • 将其划分为一个33,000张训练图像、6,000张验证图像和6,000张测试图像的数据集，参与者之间没有重叠。
  • 注视方向被描述为一个二维向量，第一维是俯仰角，第二维是偏航角。俯仰角的范围是-40°到10°，偏航角的范围是-45°到45°。
SkyFinder
  • 从户外网络摄像头图像预测温度。
  • 包含了由44台摄像头在每天上午11点左右拍摄的35,417张图像，天气和照明条件涵盖了广泛的范围。
  • 温度范围是-20°C到-49°C。
  • 数据集被分为28,373张训练图像、3,522张验证图像和3,522张测试图像。
IMDB-WIKI
  • 从人脸图像预测年龄
  • 包含了523,051张名人图像和相应的年龄标签。
  • 年龄范围在0到186岁之间（有些图像标签错误）。
  • 使用该数据集来测试方法对减少训练数据的弹性，迁移学习的性能以及对未见目标的泛化能力。

3.2 实验效果

 

 3.3 数据损坏的鲁棒性

使用ImageNet-C基准测试中的损坏生成过程来对AgeDB测试集进行19种不同强度级别的多样化损坏。

 3.4 训练数据的影响

 

相关文章：

论文笔记：SUPERVISED CONTRASTIVE REGRESSION

2022arxiv的论文，没有中，但一作是P大图班本MIT博，可信度应该还是可以的 0 摘要 深度回归模型通常以端到端的方式进行学习，不明确尝试学习具有回归意识的表示。 它们的表示往往是分散的，未能捕捉回归任务的连续性质。…...

编程日记 2023/8/9 1:43:47

Java 多线程并发 CAS 技术详解

一、CAS概念和应用背景 CAS的作用和用途 CAS（Compare and Swap）是一种并发编程中常用的技术，用于解决多线程环境下的并发访问问题。CAS操作是一种原子操作，它可以提供线程安全性，避免了使用传统锁机制所带来的性能开…...

编程日记 2023/8/9 1:42:46

如何压缩高清PDF文件大小？将PDF文件压缩到最小的三个方法

PDF格式是一种非常常用的文档格式，但是有时候我们需要将PDF文件压缩为更小的大小以便于传输和存储。在本文中，我们将介绍三种PDF压缩的方法，包括在线PDF压缩、利用软件PDF压缩以及使用WPS缩小pdf。 首先，在线PDF压缩是最常用的方…...

编程日记 2023/8/9 1:41:44

04 统计语言模型（n元语言模型）

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html 预训练 预先训练 我们…...

编程日记 2023/8/9 1:40:42

Linux各目录详解

Linux文件系统是一个树状结构，由多个目录（或文件夹）组成。以下是常见的Linux目录及其功能的详细解释： /（根目录）：在Linux文件系统中，所有其他目录和文件都是从根目录派生的。所有的存…...

编程日记 2023/8/9 1:39:41

【css】属性选择器分类

属性选择器类型示例说明[attribute][target]选择带有 target 属性的所有元素[attributevalue][target_blank]选择带有 target“_blank” 属性的所有元素[attribute~value][title~flower]选择带有包含 “flower” 一词的 title 属性的所有元素[attribute|value][lang|en]选择带有…...

编程日记 2023/8/9 1:38:40

备份容灾哪家好怎么样

数字化时代，数据安全是我们不容忽视的问题。云呐容灾备份系统不仅提供了强大的数据保护功能，而且操作简单，使用方便。无论你是企业管理员，还是个人用户，都可以轻松上手。它还提供了丰富的报告和监控功能，让…...

编程日记 2023/8/9 1:37:39

【前端实习生备战秋招】—HTML 和 CSS面试题总结（三）

【前端实习生备战秋招】—HTML 和 CSS面试题总结（三） 1.行内元素有哪些？块级元素有哪些？ 空(void)元素有那些？ CSS 规范规定，每个元素都有 display 属性，确定该元素的类型，每个元素…...

编程日记 2023/8/9 1:36:39

Ansible Rsync 使用Ansible Rsync模块进行文件传输

在Ansible自动化工具中，Rsync模块（Rsync Module）是一个强大的组件，用于在Ansible控制节点和目标主机之间进行文件传输和同步。本文将深入探讨Ansible Rsync模块，了解它如何成为自动化任务中高效同步的自动化利器。 Ans…...

编程日记 2023/8/9 1:35:37

Eclipse如何自动添加作者、日期等注释

一、创建类时自动添加注释 1、Window->Preferences 2、Java->Code Syle->Code Templates->Code->New Java files->Edit->要添加的注释->Apply 二、选中要添加的类或者方法通过AltShiftJ快捷键添加 1、Window->Preferences 2、Java->Code Syle…...

编程日记 2023/8/9 1:34:34

uniapp返回

// 监听返回事件onNavigationBarButtonTap() {uni.showModal({title: 提示,content: 确定要返回吗？,success: (res) > {if (res.confirm) {uni.navigateBack({delta: 2})}}})},...

编程日记 2023/8/9 1:33:32

【Antd】antd form表单的rules文案无法跟随状态重渲染的原因及解决办法

问题背景 我有两个表单项&#xff0c;当我选择出库类型&#xff0c;调用onChange改变inOutType 状态&#xff0c;这时候发现这句代码不生效&#xff1a; rules{[{ required: true, message: 请选择${inOutType 1 ? 持有人 : 负责人} }]}示例代码 <TypographyForm.Group…...

编程日记 2023/8/9 1:32:31

Rocketmq Filter 消息过滤（TAGS、SQL92）原理详解 源码解析

1. 背景 1.1 Rocketmq 支持的过滤方式 Rocketmq 作为金融级的业务消息中间件&#xff0c;拥有强大的消息过滤能力。其支持多种消息过滤方式&#xff1a; 表达式过滤&#xff1a;通过设置过滤表达式的方式进行过滤 TAG&#xff1a;根据消息的 tag 进行过滤。SQL92&#xff1a…...

编程日记 2023/8/9 1:31:30

Attacks in NLP

一、 Introduction NLP对抗攻击是人工智能对抗攻击的一个重要的组成部分&#xff0c;但是最近几年才逐渐开始兴起&#xff0c;究其原因在于NLP对抗攻击与传统computer vision或者audio对抗攻击有很大的不同&#xff0c;主要在于值空间的连续性&#xff08;CV、audio&#xff0…...

编程日记 2023/8/9 1:30:29

04-7_Qt 5.9 C++开发指南_QTreeWidget和QDockWidget

文章目录 1. 实例功能简述2. 源码2.1 可视化UI设计2.2 mainwindow.h2.3 mainwindow.cpp 1. 实例功能简述 本节介绍 QTreeWidget、QDockWidget 的使用&#xff0c;以及用 QLabel 显示图片的方法。实例 samp4_8以QTreeWidget 为主要组件&#xff0c;创建一个照片管理器&#xff…...

编程日记 2023/8/9 1:29:28

Keburnetes YAML配置文件管理

Kubernetes 支持 YAML 和 JSON 格式管理资源对象JSON 格式&#xff1a;主要用于 api 接口之间消息的传递YAML 格式&#xff1a;用于配置和管理&#xff0c;YAML 是一种简洁的非标记性语言&#xff0c;内容格式人性化&#xff0c;较易读 YAML 语法格式 大小写敏感使用缩进表示层…...

编程日记 2023/8/9 1:28:25

opencv基础-33 图像平滑处理-中值滤波cv2.medianBlur()

中值滤波是一种常见的图像处理滤波技术&#xff0c;用于去除图像中的噪声。它的原理是用一个滑动窗口&#xff08;也称为卷积核&#xff09;在图像上移动&#xff0c;对窗口中的像素值进行排序&#xff0c;然后用窗口中像素值的中值来替换中心像素的值。这样&#xff0c;中值滤…...

编程日记 2023/8/9 1:27:24

后端进阶之路——深入理解Spring Security配置（二）

前言 「作者主页」&#xff1a;雪碧有白泡泡 「个人网站」&#xff1a;雪碧的个人网站 「推荐专栏」&#xff1a; ★java一站式服务 ★ ★前端炫酷代码分享 ★ ★ uniapp-从构建到提升★ ★ 从0到英雄&#xff0c;vue成神之路★ ★ 解决算法&#xff0c;一个专栏就够了★ ★ 架…...

编程日记 2023/8/9 1:26:22

怎么绘制汤姆索亚历险记思维导图？掌握这几个绘制步骤就可以

怎么绘制汤姆索亚历险记思维导图&#xff1f;如果你正在为学习汤姆索亚历险记而感到困惑&#xff0c;或者你想要更好地理解小说中的人物关系、情节和舞台背景&#xff0c;那么一个清晰的思维导图就可以帮助你梳理思路。那么下面就给大家介绍一下绘制步骤。 在进行思维导图绘制的…...

编程日记 2023/8/9 1:25:18

Redis和数据库更新先后顺序

在使用 Redis 和数据库时，更新的先后顺序可以根据具体场景来决定。一般来说，有以下两种典型的更新顺序： 先更新数据库，再更新 Redis： 这种更新顺序适用于需要保证数据的一致性和可靠性的场景。当有数据更新时，首先将数据更新到数据库中，确保数据持久化。然后再更新 Redi…...

编程日记 2023/8/9 1:24:17

安宝特方案丨XRSOP人员作业标准化管理平台：AR智慧点检验收套件

在选煤厂、化工厂、钢铁厂等过程生产型企业&#xff0c;其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进&#xff0c;需提前预防假检、错检、漏检&#xff0c;推动智慧生产运维系统数据的流动和现场赋能应用。同时&#xff0c;…...

编程新知 2025/6/22 1:41:50

渗透实战PortSwigger靶场-XSS Lab 14：大多数标签和属性被阻止

<script>标签被拦截 我们需要把全部可用的 tag 和 event 进行暴力破解 XSS cheat sheet&#xff1a; https://portswigger.net/web-security/cross-site-scripting/cheat-sheet 通过爆破发现body可以用 再把全部 events 放进去爆破 这些 event 全部可用 <body onres…...

编程新知 2025/6/22 6:55:33

相机Camera日志分析之三十一：高通Camx HAL十种流程基础分析关键字汇总（后续持续更新中）

【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了：有对最普通的场景进行各个日志注释讲解，但相机场景太多，日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志，通过下列分类关键字搜索，即可清晰的分析不同场景的相机运行流程差异…...

编程新知 2025/6/15 13:22:13

AI编程--插件对比分析：CodeRider、GitHub Copilot及其他

AI编程插件对比分析&#xff1a;CodeRider、GitHub Copilot及其他 随着人工智能技术的快速发展&#xff0c;AI编程插件已成为提升开发者生产力的重要工具。CodeRider和GitHub Copilot作为市场上的领先者&#xff0c;分别以其独特的特性和生态系统吸引了大量开发者。本文将从功…...

编程新知 2025/6/21 2:30:31

大数据学习（132）-HIve数据分析

​​​​&#x1f34b;&#x1f34b;大数据学习&#x1f34b;&#x1f34b; &#x1f525;系列专栏&#xff1a; &#x1f451;哲学语录: 用力所能及&#xff0c;改变世界。 &#x1f496;如果觉得博主的文章还不错的话&#xff0c;请点赞&#x1f44d;收藏⭐️留言&#x1f4…...

编程新知 2025/6/25 7:35:04

Maven 概述、安装、配置、仓库、私服详解

目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...

编程新知 2025/6/24 0:45:23

Go 语言并发编程基础：无缓冲与有缓冲通道

在上一章节中&#xff0c;我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道&#xff0c;它们在并发编程中各具特点和应用场景。 一、通道的基本分类 类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好&#xff0…...

编程新知 2025/6/21 5:00:15

QT3D学习笔记——圆台、圆锥

类名作用Qt3DWindow3D渲染窗口容器QEntity场景中的实体&#xff08;对象或容器&#xff09;QCamera控制观察视角QPointLight点光源QConeMesh圆锥几何网格QTransform控制实体的位置/旋转/缩放QPhongMaterialPhong光照材质&#xff08;定义颜色、反光等&#xff09;QFirstPersonC…...

编程新知 2025/6/15 10:38:44

深入理解Optional：处理空指针异常

1. 使用Optional处理可能为空的集合 在Java开发中&#xff0c;集合判空是一个常见但容易出错的场景。传统方式虽然可行&#xff0c;但存在一些潜在问题&#xff1a; // 传统判空方式 if (!CollectionUtils.isEmpty(userInfoList)) {for (UserInfo userInfo : userInfoList) {…...

编程新知 2025/6/15 21:20:35

嵌入式学习之系统编程(九)OSI模型、TCP/IP模型、UDP协议网络相关编程（6.3）

目录 一、网络编程--OSI模型 二、网络编程--TCP/IP模型 三、网络接口 四、UDP网络相关编程及主要函数 ​编辑​编辑 UDP的特征 socke函数 bind函数 recvfrom函数&#xff08;接收函数&#xff09; sendto函数&#xff08;发送函数&#xff09; 五、网络编程之 UDP 用…...

编程新知 2025/6/24 6:12:48