[论文笔记]SimCSE
引言
今天带来一篇当时引起轰动的论文SimCSE笔记，论文题目是 语句嵌入的简单对比学习。
SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。
对于无监督方式，输入一个句子然后在一个对比目标中预测它自己，仅需要标准的Dropout作为噪声。这种简单的方式效果却惊人地好。将Dropout作为小型数据增强，移除Dropout会导致表示坍塌(representation collapse)：将所有的句子判断为相似或不相似的。
对于有监督方式，合并NLI数据集有标注数据对到对比学习框架，具体做法是，将蕴含对作为正例，矛盾对作为困难负例。
最后，作者也通过理论和实验表明，对比学习目标正则化预训练嵌入的各向异性(anisotropic)空间成为更均匀，在有监督下能更好地对齐正样本对。
总体介绍
作者提出SimCSE(Simple contrastive sentence embedding)框架，能从无标签和有标签数据中产生优秀的句嵌入。
无监督的SimCSE仅通过dropout作为噪声来简单地预测输入语句本身，如图1(a)。
换言之，将同样的句
相关文章：
[论文笔记]SimCSE
引言 今天带来一篇当时引起轰动的论文SimCSE笔记，论文题目是 语句嵌入的简单对比学习。 SimCSE是一个简单的对比学习框架，它可以通过无监督和有监督的方式来训练。 对于无监督方式，输入一个句子然后在一个对比目标中预测它自己，仅需要标准的Dropout作为噪声。这种简单的…...
设置按键中断，按键1按下，LED亮，再按一次，灭按键2按下，蜂鸣器响。再按一次，不响按键3按下，风扇转，再按一次，风扇停
src/key_it.c #include"key_it.h" //GPIO初始化 void all_led_init() {//RCC使能RCC->MP_AHB4ENSETR | (0X1<<4);//设置PE10 PF10 PE8为输出GPIOE->MODER & (~(0X3<<20));GPIOE->MODER | (0X1<<20);//设置推挽输出GPIOE->OTYPER…...
深拷贝和浅拷贝的主要区别
在JavaScript中，深拷贝和浅拷贝的主要区别在于它们处理对象属性的方式。 浅拷贝（Shallow Copy）只复制对象的引用，而不是实际的对象。因此，如果你修改了复制的对象，原始对象也会受到影响。 深拷贝…...
Git Cherry Pick的使用
cherry-pick命令的基本用法 cherry-pick命令的基本语法如下： git cherry-pick <commit>其中，<commit>是要应用的提交的哈希值或分支名。该命令会将指定的提交应用到当前分支上，并创建一个新的提交。 使用场景 cherry-pick命令…...
vue3后台管理框架之基础配置
配置vite.config.js import { defineConfig } from viteimport vue from vitejs/plugin-vueexport default defineConfig(({ command, mode }) > {//const env loadEnv(mode, process.cwd(), ) //获取环境变量return {// 打包devbase: ./,// 开发环境server: {port: 5002,…...
Easysearch压缩模式深度比较：ZSTD+source_reuse的优势分析
引言 在使用 Easysearch 时，如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch 具备多种压缩模式，各有千秋。本文将重点探讨一种特别的压缩模式：zstd source_reuse，我们最近重新优化了 source_reuse,使得它在吞吐量…...
扩散模型的系统性学习（一）：DDPM的学习
文章目录 一、学习的资料1.1 对于扩散模型的发展过程的综述1.2对论文中涉及的公式以及公式对应的代码的解读1.3github中对于各模型实现的代码1.4相关基础知识的学习 二、DDPM的学习2.1 DDPM总体知识的梳理2.2相关代码的解读2.2.1unet 代码块2.2.2高斯扩散代码块2.2.3 实验流程代…...
注意力屏蔽（Attention Masking）在Transformer中的作用 【gpt学习记录】
填充遮挡（Padding Masking）： 未来遮挡（Future Masking）：...
MyBatisPlus详解
前言： 📕作者简介：热爱编程的小七，致力于C、Java、Python等多编程语言，热爱编程和长板的运动少年！ 📘相关专栏Java基础语法，JavaEE初阶，数据库，数据结构和算法系列等，大家有兴趣的可以看一看。 😇😇😇有兴趣的话关注博主一起学习，一起进步吧！ 一、MyBatis…...
组合数的计算
C: 即从a个元素中选取b个元素的组合数。 LL C(int a, int b) {LL res 1;for (int i a, j 1; j < b; i --, j )res res * i / j;return res; } A: 表示从a个元素中选取b个元素进行排列的情况数。 LL P(int a, int b) {LL res 1;for (int i a; i > a - b; i--){res…...
linux之shell记录
shell属于一种很容易学习的程序设计语言，依赖于功能强大的命令可以编写提高开发效率的脚本。这里记录一下常用的shell相关的知识点。 持续更新中。。。 1、在linux或mac中查看使用的shell echo $SHELL /bin/bashshell是一种脚本语言，就会有解释器来执行…...
外卖大数据案例
一、环境要求 HadoopHiveSparkHBase 开发环境。 二、数据描述 meituan_waimai_meishi.csv 是某外卖平台的部分外卖 SPU（Standard Product Unit ， 标准产品单元）数据，包含了外卖平台某地区一时间的外卖信息。具体字段说明如下&am…...
到底什么是5G-R？
近日，工信部向中国国家铁路集团有限公司（以下简称“国铁集团”）批复5G-R试验频率的消息，引起了行业内的广泛关注。 究竟什么是5G-R？为什么工信部会在此时批复5G-R的试验频率？ 今天，小枣君就通过…...
uniapp 使用和引入 thorui
1. npm install thorui-uni 2. "easycom": { "autoscan": true, "custom": { "tui-(.*)": "thorui-uni/lib/thorui/tui-$1/tui-$1.vue" } }, 3....
vue3中ref和reactive的区别
原文地址 深入聊一聊vue3中的reactive()_vue3 reactive_忧郁的蛋~的博客-CSDN博客 ref和reactive的区别-CSDN博客 理解： 1.ref是定义简单类型 和单一的对象 2.reactive 定义复杂的类型 梳理文档： ref和reactive都是Vue.js 3.x版本中新增的响应式API&…...
文件路径操作
避开-转义字符 python文件路径导致的错误常常与“\”有关，因为在路径中的“\”常会被误认为转义字符。 所以在上述路径中，\table\name\rain中的\t,\n,\r都易被识别为转义字符。 解决的办法主要由以下三种： #1 前面加r表示不转义 pathr&quo…...
Java Cache 缓存方案详解及代码-Ehcache
一、Spring缓存概念 Spring从3.1开始定义了 org.springframework.cache.Cache 和 org.springframework.cache.CacheManager 接口来统一不同的缓存技术； 并支持使用 JCache（JSR-107） 注解简化我们开发。 常用的缓存实现有 RedisCache 、EhCach…...
JAVA设计模式-装饰者模式
一.概念 装饰器模式(Decorator Pattern)，动态地给一个对象添加一些额外的职责，就增加功能来说，装饰器模式比生成子类更灵活。 —-《大话设计模式》 允许向一个现有的对象添加新的功能，同时又不改变其结构。这种类型的设计模式属…...
STM32F1简介
前言 本次学习使用的是STM32F1系列的芯片，72MHz的Cortex-M3内核； 名词解释 STM32是ST公司基于ARM Cortex-M内核开发的32位微控制器（MCU）； ARM Cortex-M内核是ARM公司设计的，程序指令的执行，…...
SpringBoot面试题6：Spring Boot 2.X 有什么新特性？与 1.X 有什么区别？
该文章专注于面试，面试只要回答关键点即可，不需要对框架有非常深入的回答，如果你想应付面试，是足够了，抓住关键点 面试官：Spring Boot 2.X 有什么新特性？与 1.X 有什么区别？ Spring Boot是一种用于简化Spring应用程序开发的框架，它提供了自动配置、起步依赖和快速开…...
eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)
说明： 想象一下，你正在用eNSP搭建一个虚拟的网络世界，里面有虚拟的路由器、交换机、电脑（PC）等等。这些设备都在你的电脑里面“运行”，它们之间可以互相通信，就像一个封闭的小王国。 但是&#…...
设计模式和设计原则回顾
设计模式和设计原则回顾 23种设计模式是设计原则的完美体现，设计原则设计原则是设计模式的理论基石， 设计模式 在经典的设计模式分类中（如《设计模式：可复用面向对象软件的基础》一书中），总共有23种设计模式，分为三大类： 一、创建型模式（5种） 1. 单例模式（Sing…...
＜6＞-MySQL表的增删查改
目录 一，create（创建表） 二，retrieve（查询表） 1，select列 2，where条件 三，update（更新表） 四，delete（删除表…...
Spark 之 入门讲解详细版（1）
1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处&…...
MFC内存泄露
1、泄露代码示例 void X::SetApplicationBtn() {CMFCRibbonApplicationButton* pBtn GetApplicationButton();// 获取 Ribbon Bar 指针// 创建自定义按钮CCustomRibbonAppButton* pCustomButton new CCustomRibbonAppButton();pCustomButton->SetImage(IDB_BITMAP_Jdp26)…...
DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增：通道注意力模块（SE模块） class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...
【快手拥抱开源】通过快手团队开源的 KwaiCoder-AutoThink-preview 解锁大语言模型的潜力
引言： 在人工智能快速发展的浪潮中，快手Kwaipilot团队推出的 KwaiCoder-AutoThink-preview 具有里程碑意义——这是首个公开的AutoThink大语言模型（LLM）。该模型代表着该领域的重大突破，通过独特方式融合思考与非思考…...
【python异步多线程】异步多线程爬虫代码示例
claude生成的python多线程、异步代码示例，模拟20个网页的爬取，每个网页假设要0.5-2秒完成。 代码 Python多线程爬虫教程 核心概念 多线程：允许程序同时执行多个任务，提高IO密集型任务（如网络请求）的效率…...
用机器学习破解新能源领域的“弃风”难题
音乐发烧友深有体会，玩音乐的本质就是玩电网。火电声音偏暖，水电偏冷，风电偏空旷。至于太阳能发的电，则略显朦胧和单薄。 不知你是否有感觉，近两年家里的音响声音越来越冷，听起来越来越单薄？ —…...
：观察者模式)
JS设计模式(4)：观察者模式
JS设计模式(4):观察者模式 一、引入 在开发中，我们经常会遇到这样的场景：一个对象的状态变化需要自动通知其他对象，比如： 电商平台中，商品库存变化时需要通知所有订阅该商品的用户；新闻网站中࿰…...