当前位置： 首页 > news >正文

[论文笔记]SimCSE

news 2026/3/28 12:36:26

引言

今天带来一篇当时引起轰动的论文SimCSE笔记，论文题目是 语句嵌入的简单对比学习。

SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。

对于无监督方式，输入一个句子然后在一个对比目标中预测它自己，仅需要标准的Dropout作为噪声。这种简单的方式效果却惊人地好。将Dropout作为小型数据增强，移除Dropout会导致表示坍塌(representation collapse)：将所有的句子判断为相似或不相似的。

对于有监督方式，合并NLI数据集有标注数据对到对比学习框架，具体做法是，将蕴含对作为正例，矛盾对作为困难负例。

最后，作者也通过理论和实验表明，对比学习目标正则化预训练嵌入的各向异性(anisotropic)空间成为更均匀，在有监督下能更好地对齐正样本对。

总体介绍

作者提出SimCSE(Simple contrastive sentence embedding)框架，能从无标签和有标签数据中产生优秀的句嵌入。

无监督的SimCSE仅通过dropout作为噪声来简单地预测输入语句本身，如图1(a)。

image-20231014085441471

图1

换言之，将同样的句

相关文章：

[论文笔记]SimCSE

引言 今天带来一篇当时引起轰动的论文SimCSE笔记，论文题目是 语句嵌入的简单对比学习。 SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。 对于无监督方式，输入一个句子然后在一个对比目标中预测它自己，仅需要标准的Dropout作为噪声。这种简单的…...

编程日记 2023/10/17 5:19:25

设置按键中断，按键1按下，LED亮，再按一次，灭按键2按下，蜂鸣器响。再按一次，不响按键3按下，风扇转，再按一次，风扇停

src/key_it.c #include"key_it.h" //GPIO初始化 void all_led_init() {//RCC使能RCC->MP_AHB4ENSETR | (0X1<<4);//设置PE10 PF10 PE8为输出GPIOE->MODER & (~(0X3<<20));GPIOE->MODER | (0X1<<20);//设置推挽输出GPIOE->OTYPER…...

编程日记 2023/10/17 5:18:25

深拷贝和浅拷贝的主要区别

在JavaScript中&#xff0c;深拷贝和浅拷贝的主要区别在于它们处理对象属性的方式。 浅拷贝&#xff08;Shallow Copy&#xff09;只复制对象的引用&#xff0c;而不是实际的对象。因此&#xff0c;如果你修改了复制的对象&#xff0c;原始对象也会受到影响。 深拷贝&#xf…...

编程日记 2023/10/17 5:17:24

Git Cherry Pick的使用

cherry-pick命令的基本用法 cherry-pick命令的基本语法如下&#xff1a; git cherry-pick <commit>其中&#xff0c;<commit>是要应用的提交的哈希值或分支名。该命令会将指定的提交应用到当前分支上&#xff0c;并创建一个新的提交。 使用场景 cherry-pick命令…...

编程日记 2023/10/17 5:16:23

vue3后台管理框架之基础配置

配置vite.config.js import { defineConfig } from viteimport vue from vitejs/plugin-vueexport default defineConfig(({ command, mode }) > {//const env loadEnv(mode, process.cwd(), ) //获取环境变量return {// 打包devbase: ./,// 开发环境server: {port: 5002,…...

编程日记 2023/10/17 5:15:22

Easysearch压缩模式深度比较：ZSTD+source_reuse的优势分析

引言 在使用 Easysearch 时&#xff0c;如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch 具备多种压缩模式&#xff0c;各有千秋。本文将重点探讨一种特别的压缩模式&#xff1a;zstd source_reuse&#xff0c;我们最近重新优化了 source_reuse,使得它在吞吐量…...

编程日记 2023/10/17 5:14:21

扩散模型的系统性学习（一）：DDPM的学习

文章目录 一、学习的资料1.1 对于扩散模型的发展过程的综述1.2对论文中涉及的公式以及公式对应的代码的解读1.3github中对于各模型实现的代码1.4相关基础知识的学习 二、DDPM的学习2.1 DDPM总体知识的梳理2.2相关代码的解读2.2.1unet 代码块2.2.2高斯扩散代码块2.2.3 实验流程代…...

编程日记 2023/10/17 5:13:20

注意力屏蔽（Attention Masking）在Transformer中的作用 【gpt学习记录】

填充遮挡&#xff08;Padding Masking&#xff09;&#xff1a; 未来遮挡&#xff08;Future Masking&#xff09;&#xff1a;...

编程日记 2023/10/17 5:11:17

MyBatisPlus详解

前言： 📕作者简介：热爱编程的小七，致力于C、Java、Python等多编程语言，热爱编程和长板的运动少年！ 📘相关专栏Java基础语法，JavaEE初阶，数据库，数据结构和算法系列等，大家有兴趣的可以看一看。 😇😇😇有兴趣的话关注博主一起学习，一起进步吧！ 一、MyBatis…...

编程日记 2023/10/17 5:10:15

组合数的计算

C: 即从a个元素中选取b个元素的组合数。 LL C(int a, int b) {LL res 1;for (int i a, j 1; j < b; i --, j )res res * i / j;return res; } A: 表示从a个元素中选取b个元素进行排列的情况数。 LL P(int a, int b) {LL res 1;for (int i a; i > a - b; i--){res…...

编程日记 2023/10/17 5:09:14

linux之shell记录

shell属于一种很容易学习的程序设计语言&#xff0c;依赖于功能强大的命令可以编写提高开发效率的脚本。这里记录一下常用的shell相关的知识点。 持续更新中。。。 1、在linux或mac中查看使用的shell echo $SHELL /bin/bashshell是一种脚本语言&#xff0c;就会有解释器来执行…...

编程日记 2023/10/17 5:08:12

外卖大数据案例

一、环境要求 HadoopHiveSparkHBase 开发环境。 二、数据描述 meituan_waimai_meishi.csv 是某外卖平台的部分外卖 SPU&#xff08;Standard Product Unit &#xff0c; 标准产品单元&#xff09;数据&#xff0c;包含了外卖平台某地区一时间的外卖信息。具体字段说明如下&am…...

编程日记 2023/10/17 5:07:11

到底什么是5G-R？

近日&#xff0c;工信部向中国国家铁路集团有限公司&#xff08;以下简称“国铁集团”&#xff09;批复5G-R试验频率的消息&#xff0c;引起了行业内的广泛关注。 究竟什么是5G-R&#xff1f;为什么工信部会在此时批复5G-R的试验频率&#xff1f; 今天&#xff0c;小枣君就通过…...

编程日记 2023/10/17 5:06:10

uniapp 使用和引入 thorui

1. npm install thorui-uni 2. "easycom": { "autoscan": true, "custom": { "tui-(.*)": "thorui-uni/lib/thorui/tui-$1/tui-$1.vue" } }, 3....

编程日记 2023/10/17 5:04:07

vue3中ref和reactive的区别

原文地址 深入聊一聊vue3中的reactive()_vue3 reactive_忧郁的蛋~的博客-CSDN博客 ref和reactive的区别-CSDN博客 理解&#xff1a; 1.ref是定义简单类型 和单一的对象 2.reactive 定义复杂的类型 梳理文档&#xff1a; ref和reactive都是Vue.js 3.x版本中新增的响应式API&…...

编程日记 2023/10/17 5:03:07

文件路径操作

避开-转义字符 python文件路径导致的错误常常与“\”有关&#xff0c;因为在路径中的“\”常会被误认为转义字符。 所以在上述路径中&#xff0c;\table\name\rain中的\t,\n,\r都易被识别为转义字符。 解决的办法主要由以下三种&#xff1a; #1 前面加r表示不转义 pathr&quo…...

编程日记 2023/10/17 5:00:04

Java Cache 缓存方案详解及代码-Ehcache

一、Spring缓存概念 Spring从3.1开始定义了 org.springframework.cache.Cache 和 org.springframework.cache.CacheManager 接口来统一不同的缓存技术&#xff1b; 并支持使用 JCache&#xff08;JSR-107&#xff09; 注解简化我们开发。 常用的缓存实现有 RedisCache 、EhCach…...

编程日记 2023/10/17 4:59:03

JAVA设计模式-装饰者模式

一.概念 装饰器模式(Decorator Pattern)&#xff0c;动态地给一个对象添加一些额外的职责&#xff0c;就增加功能来说&#xff0c;装饰器模式比生成子类更灵活。 —-《大话设计模式》 允许向一个现有的对象添加新的功能&#xff0c;同时又不改变其结构。这种类型的设计模式属…...

编程日记 2023/10/17 4:57:01

STM32F1简介

前言 本次学习使用的是STM32F1系列的芯片&#xff0c;72MHz的Cortex-M3内核&#xff1b; 名词解释 STM32是ST公司基于ARM Cortex-M内核开发的32位微控制器&#xff08;MCU&#xff09;&#xff1b; ARM Cortex-M内核是ARM公司设计的&#xff0c;程序指令的执行&#xff0c;…...

编程日记 2023/10/17 4:56:00

SpringBoot面试题6：Spring Boot 2.X 有什么新特性？与 1.X 有什么区别？

该文章专注于面试，面试只要回答关键点即可，不需要对框架有非常深入的回答，如果你想应付面试，是足够了，抓住关键点 面试官：Spring Boot 2.X 有什么新特性？与 1.X 有什么区别？ Spring Boot是一种用于简化Spring应用程序开发的框架，它提供了自动配置、起步依赖和快速开…...

编程日记 2023/10/17 4:54:59

告别鼠标拖拽：用Mermaid重新定义技术图表创作流程

告别鼠标拖拽&#xff1a;用Mermaid重新定义技术图表创作流程 【免费下载链接】mermaid mermaid-js/mermaid: 是一个用于生成图表和流程图的 Markdown 渲染器&#xff0c;支持多种图表类型和丰富的样式。适合对 Markdown、图表和流程图以及想要使用 Markdown 绘制图表和流程图的…...

编程新知 2026/3/28 12:25:57

Python内存管理正在消失？——2026年三大趋势预警：Rust内存安全层集成、WASI沙箱化运行时、实时GC延迟＜50μs（仅限首批Early Adopter）

第一章&#xff1a;Python智能体内存管理策略2026最新趋势随着大语言模型驱动的Python智能体&#xff08;Agent&#xff09;在生产环境中的深度部署&#xff0c;内存管理已从传统CPython引用计数循环检测机制&#xff0c;演进为面向LLM推理生命周期的多维协同治理范式。2026年主…...

编程新知 2026/3/28 12:01:49

Linux驱动工程师面试技术要点与开发实践

Linux驱动工程师面试技术要点解析 1. 面试技术问题深度剖析 1.1 基础驱动开发能力考察 面试中关于驱动开发的基础问题主要考察候选人对底层通信协议的理解程度。I2C总线作为嵌入式系统中最常用的通信接口之一&#xff0c;其起始信号&#xff08;START Condition&#xff09;的…...

编程新知 2026/3/28 11:55:41

3步解锁Yuedu书源：终结小说断更烦恼，实现阅读自由

3步解锁Yuedu书源&#xff1a;终结小说断更烦恼&#xff0c;实现阅读自由 【免费下载链接】Yuedu &#x1f4da;「阅读」APP 精品书源&#xff08;网络小说&#xff09; 项目地址: https://gitcode.com/gh_mirrors/yu/Yuedu 你是否经历过这样的时刻&#xff1a;熬夜追更…...

编程新知 2026/3/28 11:53:41

OpenClaw技能市场盘点：10个Qwen3-32B最佳自动化插件推荐

OpenClaw技能市场盘点&#xff1a;10个Qwen3-32B最佳自动化插件推荐 1. 为什么需要关注OpenClaw技能市场&#xff1f; 去年冬天&#xff0c;当我第一次在本地部署OpenClaw时&#xff0c;最让我惊喜的不是框架本身&#xff0c;而是它背后那个充满可能性的技能市场。作为一个长…...

编程新知 2026/3/28 11:39:33

在线客服系统源码 | 支持PC管理端+H5访客端+实时聊天

这是一个在线客服系统项目&#xff0c;包含三个主要部分&#xff1a;后端API服务器、PC端管理系统和H5端客服系统。以下是各部分的详细介绍&#xff1a; 1. 后端API服务器 主要功能&#xff1a;用户认证&#xff1a;管理员登录验证快捷回复管理&#xff1a;创建、读取、更新、删…...

编程新知 2026/3/28 11:23:23

杰理之数字MIC使用补充【篇】

SFR(JL_ASS->CLK_CON, 0, 2, 3);...

编程新知 2026/3/28 11:19:21

SAP CO-PA获利能力分析：关键设置与事务码实战指南

1. SAP CO-PA模块入门&#xff1a;为什么你需要掌握获利能力分析 第一次接触SAP CO-PA模块时&#xff0c;我完全被那些专业术语搞晕了。直到参与了一个零售行业的项目&#xff0c;才真正理解这个模块的价值所在。想象一下&#xff0c;你是一家快消品公司的财务分析师&#xff0…...

编程新知 2026/3/28 10:51:03

模拟面试回答第十三问：JVM内存模型

JVM简介 JVM是Java程序运行的基石&#xff0c;包括程序计数器&#xff0c;两种栈&#xff0c;堆和方法区五个区域。包含保存类元数据&#xff0c;保存方法字节码执行顺序&#xff0c;保存符号引用与直接地址的映射&#xff0c;为对象实例分配内存&#xff0c;为堆中内存分配对象…...

编程新知 2026/3/28 10:32:59

3步解锁VR视频自由：让3D内容在任何设备重生

3步解锁VR视频自由&#xff1a;让3D内容在任何设备重生 【免费下载链接】VR-reversal VR-Reversal - Player for conversion of 3D video to 2D with optional saving of head tracking data and rendering out of 2D copies. 项目地址: https://gitcode.com/gh_mirrors/vr/V…...

编程新知 2026/3/28 10:20:49