当前位置： 首页 > news >正文

论文笔记：SUPERVISED CONTRASTIVE REGRESSION

news 2025/9/17 8:30:39

2022arxiv的论文，没有中，但一作是P大图班本MIT博，可信度应该还是可以的

0 摘要

  • 深度回归模型通常以端到端的方式进行学习，不明确尝试学习具有回归意识的表示。
    • 它们的表示往往是分散的，未能捕捉回归任务的连续性质。
  • 在本文中，我们提出了“监督对比回归”（Supervised Contrastive Regression，SupCR）的框架
    • 该框架通过将样本与目标距离进行对比来学习具有回归意识的表示。
    • SupCR与现有的回归模型是正交的，并且可以与这些模型结合使用以提高性能。
  • 在涵盖计算机视觉、人机交互和医疗保健领域的五个真实世界回归数据集上进行的大量实验表明，使用SupCR可以达到最先进的性能，并且始终在所有数据集、任务和输入模式上改进先前的回归基线。
    • SupCR还提高了对数据损坏的鲁棒性
    • 对减少的训练数据具有弹性
    • 改善了迁移学习的性能
    • 并且对未见过的目标有很好的泛化能力。

1 介绍

1.1 动机

  • 之前的回归问题
    • 都集中在以端到端的方式对最终预测进行约束
    • 并未明确考虑模型学到的表示
  • ——>学习的表示往往是分散的，未能捕捉回归任务中连续的关系
  • 图1(a)展示了在从网络摄像头户外图像预测天气温度的任务中，由L1损失学习的表示
    • L1模型学习的表示并没有呈现连续的真实温度值；相反，它按不同的摄像头以一种碎片化的方式进行分组。
      • 这种无序和碎片化的表示对于回归任务是次优的，甚至可能会妨碍性能，因为其中包含了干扰信息
  • 之前的表示学习都集中在分类问题上
    • 尤其是监督学习和对比学习
    • 如图1(b)所示，这些方法在上述视觉温度预测任务中学习的表示对于回归问题来说是次优的
      • 因为它忽略了回归任务中样本之间的连续顺序。

1.2 本文思路

  • 引入了“监督对比回归”（Supervised Contrastive Regression，SupCR）这一新的深度回归学习框架
    • 首先学习一个表示，确保嵌入空间中的距离与目标值的顺序相对应
      • 为了学习这样一个具有回归意识的表示，我们根据样本的标签/目标值距离将样本进行对比
    • 然后使用这个表示来预测目标值
  • 方法明确地利用样本之间的有序关系来优化下游回归任务的表示（如1(c)所示）
  • 此外，SupCR与现有的回归方法正交
    • 可以使用任何类型的回归方法将学习到的表示映射到预测值上。

2 方法

2.0 方法定义

  • 学习一个神经网络，由两部分组成

     

    • 特征encoder
    • 预测器p(\cdot):R^{d_e}\rightarrow R^{d_t} 从x \in X中预测y \in R^{d_t}
  •  对于给定的输入 batch，类似于对比学习,首先对数据进行两次数据增强，得到batch的两个view
    • 这两个view被输入到编码器f(·)中，为每个增强的输入数据获取一个de维特征嵌入
    • 监督对比回归损失L_{SupCR}是在这些特征嵌入上计算的
      • 为了将学习到的表示用于回归，冻结编码器f(·)，然后在其之上训练预测器，使用回归损失（例如，L1损失）

2.1 监督对比回归损失

  • 大前提：希望损失函数能够确保嵌入空间中的距离与标签空间中的距离相对应
  • 给定N个数据组成的batch ，其中有input和label \{(x_n,y_n)\}_{n \in [N]}
    • 对该批数据应用数据增强，得到两个视图的batch
      • \tilde{x}_{2n}=t(x_n),\tilde{x}_{2n-1}=t'(x_n)
      • t和t'是两种数据增强方式
      • ——>得到两个视图下的batch\{(\tilde{x}_l,\tilde{y}_l)\}_{l \in [2N]}
        • \tilde{y}_{2n}=\tilde{y}_{2n-1}=y_n
    • 数据增强后的batch会被喂到encoder中，以获得相应的embedding
      • v_l=f(\tilde{x}_l)\in R^{d_e}, \forall n \in [2N]
  • 监督对比回归损失为

比如我们计算20这个样本的对比学习损失函数时，将30作为anchor的时候，会有两个负样本；将0作为anchor的时候，会有一个负样本

 2.2 理论证明

略

3 实验

3.1 五个实验

AgeDB
  • 从人脸图像预测年龄。
  • 包含了16,488张名人的图像和相应的年龄标签。
  • 年龄范围在0到101岁之间。
  • 数据集被分为12,208张训练图像、2140张验证图像和2140张测试图像。
TUAB
  • 从EEG静息态信号估计脑龄。
  • 包括1,385个21通道的EEG信号，采样频率为200Hz，来自年龄范围从0到95岁的个体。
  • 数据集被分为1,246个受试者的训练集和139个受试者的测试集。
MPIIFaceGaze
  • 从人脸图像估计注视方向。
  • 包含了213,659张从15名参与者收集的人脸图像
  • 将其划分为一个33,000张训练图像、6,000张验证图像和6,000张测试图像的数据集，参与者之间没有重叠。
  • 注视方向被描述为一个二维向量，第一维是俯仰角，第二维是偏航角。俯仰角的范围是-40°到10°，偏航角的范围是-45°到45°。
SkyFinder
  • 从户外网络摄像头图像预测温度。
  • 包含了由44台摄像头在每天上午11点左右拍摄的35,417张图像，天气和照明条件涵盖了广泛的范围。
  • 温度范围是-20°C到-49°C。
  • 数据集被分为28,373张训练图像、3,522张验证图像和3,522张测试图像。
IMDB-WIKI
  • 从人脸图像预测年龄
  • 包含了523,051张名人图像和相应的年龄标签。
  • 年龄范围在0到186岁之间（有些图像标签错误）。
  • 使用该数据集来测试方法对减少训练数据的弹性，迁移学习的性能以及对未见目标的泛化能力。

3.2 实验效果

 

 3.3 数据损坏的鲁棒性

使用ImageNet-C基准测试中的损坏生成过程来对AgeDB测试集进行19种不同强度级别的多样化损坏。

 3.4 训练数据的影响

 

相关文章：

论文笔记：SUPERVISED CONTRASTIVE REGRESSION

2022arxiv的论文，没有中，但一作是P大图班本MIT博，可信度应该还是可以的 0 摘要 深度回归模型通常以端到端的方式进行学习，不明确尝试学习具有回归意识的表示。 它们的表示往往是分散的，未能捕捉回归任务的连续性质。…...

编程日记 2023/8/9 1:43:47

Java 多线程并发 CAS 技术详解

一、CAS概念和应用背景 CAS的作用和用途 CAS（Compare and Swap）是一种并发编程中常用的技术，用于解决多线程环境下的并发访问问题。CAS操作是一种原子操作，它可以提供线程安全性，避免了使用传统锁机制所带来的性能开…...

编程日记 2023/8/9 1:42:46

如何压缩高清PDF文件大小？将PDF文件压缩到最小的三个方法

PDF格式是一种非常常用的文档格式，但是有时候我们需要将PDF文件压缩为更小的大小以便于传输和存储。在本文中，我们将介绍三种PDF压缩的方法，包括在线PDF压缩、利用软件PDF压缩以及使用WPS缩小pdf。 首先，在线PDF压缩是最常用的方…...

编程日记 2023/8/9 1:41:44

04 统计语言模型（n元语言模型）

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html 预训练 预先训练 我们…...

编程日记 2023/8/9 1:40:42

Linux各目录详解

Linux文件系统是一个树状结构，由多个目录（或文件夹）组成。以下是常见的Linux目录及其功能的详细解释： /（根目录）：在Linux文件系统中，所有其他目录和文件都是从根目录派生的。所有的存…...

编程日记 2023/8/9 1:39:41

【css】属性选择器分类

属性选择器类型示例说明[attribute][target]选择带有 target 属性的所有元素[attributevalue][target_blank]选择带有 target“_blank” 属性的所有元素[attribute~value][title~flower]选择带有包含 “flower” 一词的 title 属性的所有元素[attribute|value][lang|en]选择带有…...

编程日记 2023/8/9 1:38:40

备份容灾哪家好怎么样

数字化时代，数据安全是我们不容忽视的问题。云呐容灾备份系统不仅提供了强大的数据保护功能，而且操作简单，使用方便。无论你是企业管理员，还是个人用户，都可以轻松上手。它还提供了丰富的报告和监控功能，让…...

编程日记 2023/8/9 1:37:39

【前端实习生备战秋招】—HTML 和 CSS面试题总结（三）

【前端实习生备战秋招】—HTML 和 CSS面试题总结（三） 1.行内元素有哪些？块级元素有哪些？ 空(void)元素有那些？ CSS 规范规定，每个元素都有 display 属性，确定该元素的类型，每个元素…...

编程日记 2023/8/9 1:36:39

Ansible Rsync 使用Ansible Rsync模块进行文件传输

在Ansible自动化工具中，Rsync模块（Rsync Module）是一个强大的组件，用于在Ansible控制节点和目标主机之间进行文件传输和同步。本文将深入探讨Ansible Rsync模块，了解它如何成为自动化任务中高效同步的自动化利器。 Ans…...

编程日记 2023/8/9 1:35:37

Eclipse如何自动添加作者、日期等注释

一、创建类时自动添加注释 1、Window->Preferences 2、Java->Code Syle->Code Templates->Code->New Java files->Edit->要添加的注释->Apply 二、选中要添加的类或者方法通过AltShiftJ快捷键添加 1、Window->Preferences 2、Java->Code Syle…...

编程日记 2023/8/9 1:34:34

uniapp返回

// 监听返回事件onNavigationBarButtonTap() {uni.showModal({title: 提示,content: 确定要返回吗？,success: (res) > {if (res.confirm) {uni.navigateBack({delta: 2})}}})},...

编程日记 2023/8/9 1:33:32

【Antd】antd form表单的rules文案无法跟随状态重渲染的原因及解决办法

问题背景 我有两个表单项&#xff0c;当我选择出库类型&#xff0c;调用onChange改变inOutType 状态&#xff0c;这时候发现这句代码不生效&#xff1a; rules{[{ required: true, message: 请选择${inOutType 1 ? 持有人 : 负责人} }]}示例代码 <TypographyForm.Group…...

编程日记 2023/8/9 1:32:31

Rocketmq Filter 消息过滤（TAGS、SQL92）原理详解 源码解析

1. 背景 1.1 Rocketmq 支持的过滤方式 Rocketmq 作为金融级的业务消息中间件&#xff0c;拥有强大的消息过滤能力。其支持多种消息过滤方式&#xff1a; 表达式过滤&#xff1a;通过设置过滤表达式的方式进行过滤 TAG&#xff1a;根据消息的 tag 进行过滤。SQL92&#xff1a…...

编程日记 2023/8/9 1:31:30

Attacks in NLP

一、 Introduction NLP对抗攻击是人工智能对抗攻击的一个重要的组成部分&#xff0c;但是最近几年才逐渐开始兴起&#xff0c;究其原因在于NLP对抗攻击与传统computer vision或者audio对抗攻击有很大的不同&#xff0c;主要在于值空间的连续性&#xff08;CV、audio&#xff0…...

编程日记 2023/8/9 1:30:29

04-7_Qt 5.9 C++开发指南_QTreeWidget和QDockWidget

文章目录 1. 实例功能简述2. 源码2.1 可视化UI设计2.2 mainwindow.h2.3 mainwindow.cpp 1. 实例功能简述 本节介绍 QTreeWidget、QDockWidget 的使用&#xff0c;以及用 QLabel 显示图片的方法。实例 samp4_8以QTreeWidget 为主要组件&#xff0c;创建一个照片管理器&#xff…...

编程日记 2023/8/9 1:29:28

Keburnetes YAML配置文件管理

Kubernetes 支持 YAML 和 JSON 格式管理资源对象JSON 格式&#xff1a;主要用于 api 接口之间消息的传递YAML 格式&#xff1a;用于配置和管理&#xff0c;YAML 是一种简洁的非标记性语言&#xff0c;内容格式人性化&#xff0c;较易读 YAML 语法格式 大小写敏感使用缩进表示层…...

编程日记 2023/8/9 1:28:25

opencv基础-33 图像平滑处理-中值滤波cv2.medianBlur()

中值滤波是一种常见的图像处理滤波技术&#xff0c;用于去除图像中的噪声。它的原理是用一个滑动窗口&#xff08;也称为卷积核&#xff09;在图像上移动&#xff0c;对窗口中的像素值进行排序&#xff0c;然后用窗口中像素值的中值来替换中心像素的值。这样&#xff0c;中值滤…...

编程日记 2023/8/9 1:27:24

后端进阶之路——深入理解Spring Security配置（二）

前言 「作者主页」&#xff1a;雪碧有白泡泡 「个人网站」&#xff1a;雪碧的个人网站 「推荐专栏」&#xff1a; ★java一站式服务 ★ ★前端炫酷代码分享 ★ ★ uniapp-从构建到提升★ ★ 从0到英雄&#xff0c;vue成神之路★ ★ 解决算法&#xff0c;一个专栏就够了★ ★ 架…...

编程日记 2023/8/9 1:26:22

怎么绘制汤姆索亚历险记思维导图？掌握这几个绘制步骤就可以

怎么绘制汤姆索亚历险记思维导图&#xff1f;如果你正在为学习汤姆索亚历险记而感到困惑&#xff0c;或者你想要更好地理解小说中的人物关系、情节和舞台背景&#xff0c;那么一个清晰的思维导图就可以帮助你梳理思路。那么下面就给大家介绍一下绘制步骤。 在进行思维导图绘制的…...

编程日记 2023/8/9 1:25:18

Redis和数据库更新先后顺序

在使用 Redis 和数据库时，更新的先后顺序可以根据具体场景来决定。一般来说，有以下两种典型的更新顺序： 先更新数据库，再更新 Redis： 这种更新顺序适用于需要保证数据的一致性和可靠性的场景。当有数据更新时，首先将数据更新到数据库中，确保数据持久化。然后再更新 Redi…...

编程日记 2023/8/9 1:24:17

【Python】 -- 趣味代码 - 小恐龙游戏

文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现，玩家控制一个角色（龙）躲避障碍物（仙人掌和乌鸦）。以下是代码的详细介绍：…...

编程新知 2025/9/15 5:21:39

iOS 26 携众系统重磅更新，但“苹果智能”仍与国行无缘

美国西海岸的夏天&#xff0c;再次被苹果点燃。一年一度的全球开发者大会 WWDC25 如期而至&#xff0c;这不仅是开发者的盛宴&#xff0c;更是全球数亿苹果用户翘首以盼的科技春晚。今年&#xff0c;苹果依旧为我们带来了全家桶式的系统更新&#xff0c;包括 iOS 26、iPadOS 26…...

编程新知 2025/9/15 5:20:27

以下是对华为 HarmonyOS NETX 5属性动画（ArkTS）文档的结构化整理，通过层级标题、表格和代码块提升可读性：

一、属性动画概述NETX 作用&#xff1a;实现组件通用属性的渐变过渡效果&#xff0c;提升用户体验。支持属性&#xff1a;width、height、backgroundColor、opacity、scale、rotate、translate等。注意事项&#xff1a; 布局类属性&#xff08;如宽高&#xff09;变化时&#…...

编程新知 2025/9/12 21:50:47

【HarmonyOS 5.0】DevEco Testing：鸿蒙应用质量保障的终极武器

——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的​​一体化测试平台​​&#xff0c;覆盖应用全生命周期测试需求&#xff0c;主要提供五大核心能力&#xff1a; ​​测试类型​​​​检测目标​​​​关键指标​​功能体验基…...

编程新知 2025/9/9 21:25:50

Day131 | 灵神 | 回溯算法 | 子集型 子集

Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; 笔者写过很多次这道题了&#xff0c;不想写题解了&#xff0c;大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...

编程新知 2025/9/6 15:50:17

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序

一、开发环境准备 ​​工具安装​​&#xff1a; 下载安装DevEco Studio 4.0&#xff08;支持HarmonyOS 5&#xff09;配置HarmonyOS SDK 5.0确保Node.js版本≥14 ​​项目初始化​​&#xff1a; ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...

编程新知 2025/7/22 6:12:57

[10-3]软件I2C读写MPU6050 江协科技学习笔记（16个知识点）

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16...

编程新知 2025/9/15 10:44:20

Cloudflare 从 Nginx 到 Pingora：性能、效率与安全的全面升级

在互联网的快速发展中&#xff0c;高性能、高效率和高安全性的网络服务成为了各大互联网基础设施提供商的核心追求。Cloudflare 作为全球领先的互联网安全和基础设施公司&#xff0c;近期做出了一个重大技术决策&#xff1a;弃用长期使用的 Nginx&#xff0c;转而采用其内部开发…...

编程新知 2025/8/29 10:31:59

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/7/23 19:14:14

Python ROS2【机器人中间件框架】 简介

销量过万TEEIS德国护膝夏天用薄款 优惠券冠生园 百花蜂蜜428g 挤压瓶纯蜂蜜巨奇严选 鞋子除臭剂360ml 多芬身体磨砂膏280g健70%-75%酒精消毒棉片湿巾1418cm 80片/袋3袋大包清洁食品用消毒 优惠券AIMORNY52朵红玫瑰永生香皂花同城配送非鲜花七夕情人节生日礼物送女友 热卖妙洁棉…...

编程新知 2025/8/17 7:11:57