当前位置：首页 > news >正文

[论文笔记]SimCSE

news 2026/3/31 13:39:37

引言

今天带来一篇当时引起轰动的论文SimCSE笔记，论文题目是语句嵌入的简单对比学习。

SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。

对于无监督方式，输入一个句子然后在一个对比目标中预测它自己，仅需要标准的Dropout作为噪声。这种简单的方式效果却惊人地好。将Dropout作为小型数据增强，移除Dropout会导致表示坍塌(representation collapse)：将所有的句子判断为相似或不相似的。

对于有监督方式，合并NLI数据集有标注数据对到对比学习框架，具体做法是，将蕴含对作为正例，矛盾对作为困难负例。

最后，作者也通过理论和实验表明，对比学习目标正则化预训练嵌入的各向异性(anisotropic)空间成为更均匀，在有监督下能更好地对齐正样本对。

总体介绍

作者提出SimCSE(Simple contrastive sentence embedding)框架，能从无标签和有标签数据中产生优秀的句嵌入。

无监督的SimCSE仅通过dropout作为噪声来简单地预测输入语句本身，如图1(a)。

图1

换言之，将同样的句

[论文笔记]SimCSE

引言今天带来一篇当时引起轰动的论文SimCSE笔记，论文题目是语句嵌入的简单对比学习。 SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。对于无监督方式，输入一个句子然后在一个对比目标中预测它自己，仅需要标准的Dropout作为噪声。这种简单的…...

编程日记 2023/10/17 5:19:25

设置按键中断，按键1按下，LED亮，再按一次，灭按键2按下，蜂鸣器响。再按一次，不响按键3按下，风扇转，再按一次，风扇停

src/key_it.c #include"key_it.h" //GPIO初始化 void all_led_init() {//RCC使能RCC->MP_AHB4ENSETR | (0X1<<4);//设置PE10 PF10 PE8为输出GPIOE->MODER & (~(0X3<<20));GPIOE->MODER | (0X1<<20);//设置推挽输出GPIOE->OTYPER…...

编程日记 2023/10/17 5:18:25

深拷贝和浅拷贝的主要区别

在JavaScript中，深拷贝和浅拷贝的主要区别在于它们处理对象属性的方式。浅拷贝（Shallow Copy）只复制对象的引用，而不是实际的对象。因此，如果你修改了复制的对象，原始对象也会受到影响。深拷贝&#xf…...

编程日记 2023/10/17 5:17:24

Git Cherry Pick的使用

cherry-pick命令的基本用法 cherry-pick命令的基本语法如下： git cherry-pick <commit>其中，<commit>是要应用的提交的哈希值或分支名。该命令会将指定的提交应用到当前分支上，并创建一个新的提交。使用场景 cherry-pick命令…...

编程日记 2023/10/17 5:16:23

配置vite.config.js import { defineConfig } from viteimport vue from vitejs/plugin-vueexport default defineConfig(({ command, mode }) > {//const env loadEnv(mode, process.cwd(), ) //获取环境变量return {// 打包devbase: ./,// 开发环境server: {port: 5002,…...

编程日记 2023/10/17 5:15:22

Easysearch压缩模式深度比较：ZSTD+source_reuse的优势分析

引言在使用 Easysearch 时，如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch 具备多种压缩模式，各有千秋。本文将重点探讨一种特别的压缩模式：zstd source_reuse，我们最近重新优化了 source_reuse,使得它在吞吐量…...

编程日记 2023/10/17 5:14:21

扩散模型的系统性学习（一）：DDPM的学习

文章目录一、学习的资料1.1 对于扩散模型的发展过程的综述1.2对论文中涉及的公式以及公式对应的代码的解读1.3github中对于各模型实现的代码1.4相关基础知识的学习二、DDPM的学习2.1 DDPM总体知识的梳理2.2相关代码的解读2.2.1unet 代码块2.2.2高斯扩散代码块2.2.3 实验流程代…...

编程日记 2023/10/17 5:13:20

注意力屏蔽（Attention Masking）在Transformer中的作用【gpt学习记录】

填充遮挡（Padding Masking）： 未来遮挡（Future Masking）：...

编程日记 2023/10/17 5:11:17

MyBatisPlus详解

前言： 📕作者简介：热爱编程的小七，致力于C、Java、Python等多编程语言，热爱编程和长板的运动少年！ 📘相关专栏Java基础语法，JavaEE初阶，数据库，数据结构和算法系列等，大家有兴趣的可以看一看。 😇😇😇有兴趣的话关注博主一起学习，一起进步吧！一、MyBatis…...

编程日记 2023/10/17 5:10:15

组合数的计算

C: 即从a个元素中选取b个元素的组合数。 LL C(int a, int b) {LL res 1;for (int i a, j 1; j < b; i --, j )res res * i / j;return res; } A: 表示从a个元素中选取b个元素进行排列的情况数。 LL P(int a, int b) {LL res 1;for (int i a; i > a - b; i--){res…...

编程日记 2023/10/17 5:09:14

linux之shell记录

shell属于一种很容易学习的程序设计语言，依赖于功能强大的命令可以编写提高开发效率的脚本。这里记录一下常用的shell相关的知识点。持续更新中。。。 1、在linux或mac中查看使用的shell echo $SHELL /bin/bashshell是一种脚本语言，就会有解释器来执行…...

编程日记 2023/10/17 5:08:12

外卖大数据案例

一、环境要求 HadoopHiveSparkHBase 开发环境。二、数据描述 meituan_waimai_meishi.csv 是某外卖平台的部分外卖 SPU（Standard Product Unit ， 标准产品单元）数据，包含了外卖平台某地区一时间的外卖信息。具体字段说明如下&am…...

编程日记 2023/10/17 5:07:11

到底什么是5G-R？

近日，工信部向中国国家铁路集团有限公司（以下简称“国铁集团”）批复5G-R试验频率的消息，引起了行业内的广泛关注。究竟什么是5G-R？为什么工信部会在此时批复5G-R的试验频率？ 今天，小枣君就通过…...

编程日记 2023/10/17 5:06:10

uniapp 使用和引入 thorui

1. npm install thorui-uni 2. "easycom": { "autoscan": true, "custom": { "tui-(.*)": "thorui-uni/lib/thorui/tui-$1/tui-$1.vue" } }, 3....

编程日记 2023/10/17 5:04:07

vue3中ref和reactive的区别

原文地址深入聊一聊vue3中的reactive()_vue3 reactive_忧郁的蛋~的博客-CSDN博客 ref和reactive的区别-CSDN博客理解： 1.ref是定义简单类型和单一的对象 2.reactive 定义复杂的类型梳理文档： ref和reactive都是Vue.js 3.x版本中新增的响应式API&…...

编程日记 2023/10/17 5:03:07

文件路径操作

避开-转义字符 python文件路径导致的错误常常与“\”有关，因为在路径中的“\”常会被误认为转义字符。所以在上述路径中，\table\name\rain中的\t,\n,\r都易被识别为转义字符。解决的办法主要由以下三种： #1 前面加r表示不转义 pathr&quo…...

编程日记 2023/10/17 5:00:04

Java Cache 缓存方案详解及代码-Ehcache

一、Spring缓存概念 Spring从3.1开始定义了 org.springframework.cache.Cache 和 org.springframework.cache.CacheManager 接口来统一不同的缓存技术； 并支持使用 JCache（JSR-107） 注解简化我们开发。常用的缓存实现有 RedisCache 、EhCach…...

编程日记 2023/10/17 4:59:03

JAVA设计模式-装饰者模式

一.概念装饰器模式(Decorator Pattern)，动态地给一个对象添加一些额外的职责，就增加功能来说，装饰器模式比生成子类更灵活。 —-《大话设计模式》允许向一个现有的对象添加新的功能，同时又不改变其结构。这种类型的设计模式属…...

编程日记 2023/10/17 4:57:01

STM32F1简介

前言本次学习使用的是STM32F1系列的芯片，72MHz的Cortex-M3内核； 名词解释 STM32是ST公司基于ARM Cortex-M内核开发的32位微控制器（MCU）； ARM Cortex-M内核是ARM公司设计的，程序指令的执行，…...

编程日记 2023/10/17 4:56:00

SpringBoot面试题6：Spring Boot 2.X 有什么新特性？与 1.X 有什么区别？

该文章专注于面试，面试只要回答关键点即可，不需要对框架有非常深入的回答，如果你想应付面试，是足够了，抓住关键点面试官：Spring Boot 2.X 有什么新特性？与 1.X 有什么区别？ Spring Boot是一种用于简化Spring应用程序开发的框架，它提供了自动配置、起步依赖和快速开…...

编程日记 2023/10/17 4:54:59

Mermaid Live Editor：代码驱动图表的革新者，重新定义技术可视化流程

Mermaid Live Editor：代码驱动图表的革新者，重新定义技术可视化流程【免费下载链接】mermaid-live-editor Edit, preview and share mermaid charts/diagrams. New implementation of the live editor. 项目地址: https://gitcode.com/GitHub_Trendin…...

编程新知 2026/3/31 13:10:42

如何高效配置Kodi PVR IPTV Simple：专业级家庭IPTV直播系统部署指南

如何高效配置Kodi PVR IPTV Simple：专业级家庭IPTV直播系统部署指南【免费下载链接】pvr.iptvsimple IPTV Simple client for Kodi PVR 项目地址: https://gitcode.com/gh_mirrors/pv/pvr.iptvsimple Kodi PVR IPTV Simple是一款功能强大的开源IPTV客户端插…...

编程新知 2026/3/31 12:07:37