当前位置： 首页 > news >正文

[论文笔记]Sentence-BERT[v2]

news 2026/5/19 3:48:41

引言

本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。

BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过批数据优化，将query和多个待比较句子分别拼接成批大小内的样子一次输入，是可以同时计算批大小个样本之间的相似度的，但仍然受限于资源。

本篇工作，作者提出了Sentence-BERT(SBERT)，一种预训练BERT网络的修改，利用孪生和三胞胎网络来推导出具有语义信息的句嵌入，这些句嵌入能直接通过余弦相似度比较。

总体介绍

SBERT可以计算出包含语义信息的句向量，可以做到之前BERT不能做的事。比如大规模语义相似度比较、聚类以及基于语义搜索的信息检索。

BERT在语句分类和语句对回归任务上取得了SOTA结果。BERT作为cross-encoder:两个语句拼接在一起传递给transformer网络来预测目标值。然而，这种方式不太适合于数据规模太大的场景。比如要比较n=10000个语句两个之间的结果需要 n ⋅ ( n − 1

相关文章：

[论文笔记]Sentence-BERT[v2]

引言 本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。 BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过…...

编程日记 2023/10/19 23:18:48

虚拟机ubantu系统突然重启失去网络

1.进入 root用户 cd /var/lib/NetworkManager然后查看网络服务状态 如果网络状态和我一样不可用 ,就先停止网络服务 service ModemManager stop#删除状态rm networker.stateservice ModemManager start此时右上交的网络标志回复正常...

编程日记 2023/10/19 23:17:46

三款经典的轮式/轮足机器人讲解，以及学习EG2133产生A/B/C驱动电机。个人机器人学习和开发路线（推荐）

1，灯哥开源（有使用指南，适合刚入门新手） 机械部分：2个foc无刷电机 硬件和软件部分：没有驱动板子。只有驱动器，主控板esp32和驱动器通过pwm直接通讯。驱动器板子上有蓝色电机接口，直…...

编程日记 2023/10/19 23:16:45

apache开启https

本文基于windows平台。 个人感觉使用apache配置起来比较繁琐，而使用upupw或者xmpp等集成开发工具更方便。 在httpd.conf中，将下一行的注释去掉：LoadModule ssl_module modules/mod_ssl.so。另外，千万不要注释掉下面的一行&#…...

编程日记 2023/10/19 23:15:44

绝地求生游戏缺少msvcp140.dll丢失打不开怎么办？这6个方法都能修复

计算机系统中，我们经常遇到各种错误和问题。其中，“MSCVCP140.DLL丢失”是一个常见的错误，它通常出现在运行某些程序或游戏时。这个DLL文件是Microsoft Visual C 2015 Redistributable的一部分，如果它丢失或损坏，可能会…...

编程日记 2023/10/19 23:14:42

【广州华锐互动】石油钻井井控VR互动实训系统

随着科技的不断发展，虚拟现实（VR）技术已经逐渐渗透到各个领域，为人们的生活和工作带来了前所未有的便利。在石油钻井行业，VR技术的应用也日益受到重视，为钻井工人提供了更加安全、高效的培训方式。 广州华锐…...

编程日记 2023/10/19 23:13:41

单链表算法经典OJ题

目录 1、移除链表元素 2、翻转链表 3、合并两个有序链表 4、获取链表的中间结点 5、环形链表解决约瑟夫问题 6、分割链表 1、移除链表元素 203. 移除链表元素 - 力扣（LeetCode） typedef struct ListNode LSNode; struct ListNode* remove…...

编程日记 2023/10/19 23:12:40

Picnic master project interview

picnic Picnic master project interview1. Topics1.1 Systematically identify similar/interchangeable articles1.2 Understanding changing customer behaviour 2. interview等后续 Picnic master project interview 1. Topics 1.1 Systematically identify similar/inte…...

编程日记 2023/10/19 23:11:36

nginx部署vue项目(访问路径加前缀)

nginx部署vue项目(访问路径加前缀) nginx部署vue项目，访问路径加前缀分为两部分： （1）修改vue项目； （2）修改nginx配置； vue项目修改 需注意，我这是vue-cli3配置&#x…...

编程日记 2023/10/19 23:10:35

element-ui中表格树类型数据的显示

项目场景&#xff1a; 1&#xff1a;非懒加载的情况 1&#xff1a;效果展示 2&#xff1a;问题描述以及解决 1&#xff1a;图片展示 2&#xff1a;html <-- default-expand-all 代表默认展开 如果不展开删除就行 --> <el-tableref"refsTable"v-loadin…...

编程日记 2023/10/19 23:09:32

【扩散模型】如何用最几毛钱生成壁纸

通过学习扩散模型了解到了统计学的美好&#xff0c;然后顺便记录下我之前文生图的基础流程~ 扩散模型简介 这次是在DataWhale的组队学习里学习的&#xff0c;HuggingFace开放扩散模型学习地址 扩散模型训练时通过对原图增加高斯噪声&#xff0c;在推理时通过降噪来得到原图&…...

编程日记 2023/10/19 23:07:28

零基础Linux_17(进程间通信)VSCode环境安装+进程间通信介绍+pipe管道mkfifo

目录 1. VSCode环境安装 1.1 使用VSCode 1.2 远程链接到Linux机器 1.3 VSCode调试 2. 进程间通讯介绍 2.1 进程间通讯的概念和意义 2.2 进程间通讯的策略和本质 3. 管道 3.1 管道介绍 3.2 匿名管道介绍 3.3 匿名管道示例代码 3.3.1 建立管道的pipe 3.3.2 匿名管道…...

编程日记 2023/10/19 23:05:25

Redis的BitMap使用

Redis的BitMap使用 Redis 为我们提供了位图这一数据结构&#xff0c;每个用户每天的登录记录只占据一位&#xff0c;365天就是365位&#xff0c;仅仅需要46字节就可存储&#xff0c;极大地节约了存储空间。 位图不是实际的数据类型&#xff0c;而是一组面向位的操作 在被视为…...

编程日记 2023/10/19 23:04:23

java并发编程之基础与原理1

java多线程基础 下面说一下线程的7种状态 下面我重点来说一下阻塞状态 阻塞状态是可以分很多种的&#xff1a; 下面用另外一张图来说明这种状态 简单说一下线程的启动原理 下面说一下java中的线程 java线程的异步请求方式 上面就会先把main执行出来&#xff0c;等阻塞结束之后…...

编程日记 2023/10/19 23:03:22

⟨A⟩ = Tr(ρA) 从数学上来讲什么意思

当给定一个具体的密度矩阵ρ和一个可观测量A时&#xff0c;我们可以通过数值计算来演示〈A〉 Tr(ρA) 的应用。 假设我们有以下密度矩阵和可观测量&#xff1a; ρ [0.6 0.3; 0.3 0.4] A [1 0; 0 -1] 我们首先计算ρA的乘积&#xff1a; ρA [0.6 0.3; 0.3 0.4] * [1 0…...

编程日记 2023/10/19 23:01:17

Vue中的v-model指令的原理是什么？

在Vue中&#xff0c;v-model是一个双向绑定指令&#xff0c;它的原理是将表单元素的值与Vue实例中的数据属性进行双向绑定。当表单元素的值发生变化时&#xff0c;会自动更新Vue实例中对应的数据属性&#xff1b;反之&#xff0c;当Vue实例中的数据属性发生变化时&#xff0c;也…...

编程日记 2023/10/19 23:00:17

2023服务端测试开发必备技能：Mock测试

什么是mock测试 Mock 测试就是在测试活动中&#xff0c;对于某些不容易构造或者不容易获取的数据/场景&#xff0c;用一个Mock对象来创建以便测试的测试方法。 Mock测试常见场景 无法控制第三方系统接口的返回&#xff0c;返回的数据不满足要求依赖的接口还未开发完成&#…...

编程日记 2023/10/19 22:58:13

ExoPlayer架构详解与源码分析（5）——MediaSource

系列文章目录 ExoPlayer架构详解与源码分析&#xff08;1&#xff09;——前言 ExoPlayer架构详解与源码分析&#xff08;2&#xff09;——Player ExoPlayer架构详解与源码分析&#xff08;3&#xff09;——Timeline ExoPlayer架构详解与源码分析&#xff08;4&#xff09;—…...

编程日记 2023/10/19 22:57:11

控制一个游戏对象的旋转和相机的缩放

介绍 这段代码是一个Unity游戏开发脚本&#xff0c;它用于控制一个游戏对象的旋转和相机的缩放。以下是代码的主要功能&#xff1a; 控制游戏对象的旋转&#xff1a; 通过按下Q键和W键&#xff0c;用户可以选择以逆时针或顺时针方向绕游戏对象的Y轴进行旋转。旋转角度和速度可…...

编程日记 2023/10/19 22:56:10

【数据结构】线性表（二）单链表及其基本操作（创建、插入、删除、修改、遍历打印）

目录 前文、线性表的定义及其基本操作&#xff08;顺序表插入、删除、查找、修改&#xff09; 四、线性表的链接存储结构 1. 单链表&#xff08;C语言&#xff09; a. 链表节点结构 b. 创建新节点 c. 在链表末尾插入新节点 d. 删除指定节点 e. 修改指定节点的数据 f. …...

编程日记 2023/10/19 22:55:09

别再一行行读DXF了！用C#和netDxf库5分钟搞定CAD数据提取（附完整代码）

用C#和netDxf库高效解析DXF文件的实战指南 在CAD数据处理领域&#xff0c;DXF文件解析一直是开发者面临的常见挑战。传统的手动解析方法不仅耗时费力&#xff0c;还容易出错。本文将带你探索如何利用C#和netDxf库快速实现DXF文件的高效解析&#xff0c;彻底告别逐行读取的原始方…...

编程新知 2026/5/19 1:21:33

SolidWorks插件开发避坑指南：手把手教你搞定工具栏图标乱跑和注册表清理（C#版）

SolidWorks插件开发实战&#xff1a;彻底解决工具栏图标错乱与注册表残留问题 1. 问题现象与根源分析 当你在SolidWorks插件开发过程中修改插件名称或反复调试时&#xff0c;是否遇到过这些令人抓狂的场景&#xff1f; 工具栏上出现多个重复的功能按钮图标位置随机错位&#xf…...

编程新知 2026/5/19 1:17:31

别再被Nginx的rewrite循环搞懵了！一个真实Vue项目部署的500错误排查实录

从Nginx重定向死循环到优雅解决&#xff1a;Vue项目部署的深度排错指南 凌晨三点&#xff0c;服务器监控突然告警——刚上线的Vue企业门户网站出现大面积500错误。查看日志时&#xff0c;那个令人窒息的rewrite or internal redirection cycle错误信息让整个运维团队陷入沉思。…...

编程新知 2026/5/19 0:32:56

大空间中庭水平防火卷帘防火分隔技术应用探讨

摘要大空间中庭广泛应用于商业综合体、大型会展中心、高端写字楼等现代公共建筑&#xff0c;具备通透开阔、流线连贯、美观性强的空间优势&#xff0c;但多层贯通的结构特性极易造成火灾烟气快速扩散、火势纵向蔓延&#xff0c;大幅提升建筑消防防控难度。水平防火卷帘作为柔性…...

编程新知 2026/5/19 0:24:10

智能识别整理会议内容，让开会后怎么列待办更清晰更省事

作为经常跑客户、开会议的销售&#xff0c;此前我常被整理沟通内容、梳理待办的工作困扰&#xff0c;不仅耗时久&#xff0c;还容易漏记客户需求、搞错时间节点。结合大半年的实测体验&#xff0c;整理出一套AI整理方法&#xff0c;能快速清晰梳理待办&#xff0c;节省大量时间…...

编程新知 2026/5/18 23:37:33

嵌入式系统学习路径：从硬件基础到系统架构的认知跃迁

1. 从“螺丝钉”到“系统设计师”&#xff1a;嵌入式学习的认知跃迁大家好&#xff0c;我是老张&#xff0c;一个在嵌入式行业里摸爬滚打了十几年的老兵。今天我们不聊具体的代码&#xff0c;也不讲某个芯片的寄存器配置&#xff0c;我想和大家聊聊一个更根本的问题&#xff1a…...

编程新知 2026/5/18 23:14:09

【HarmonyOS6.1全场景实战】基线版本：我用了15篇文章，造出了一个能登录、能推荐、带后台的鸿蒙全栈App

我用了15篇文章&#xff0c;造出了一个能登录、能推荐、带后台的鸿蒙全栈App 摘要&#xff1a;从开篇词到第15篇&#xff0c;《灵犀厨房》的第一个里程碑版本 v2.0 正式发布。它不再是一个前端Demo&#xff0c;而是一个拥有用户认证系统、Python Flask后台、MySQL数据库、AI智能…...

编程新知 2026/5/18 23:01:05

AMD Ryzen处理器底层调试技术解析：SMUDebugTool的架构设计与实践应用

AMD Ryzen处理器底层调试技术解析&#xff1a;SMUDebugTool的架构设计与实践应用 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地…...

编程新知 2026/5/18 22:41:42

2026年靠谱物联网供应商榜

作为深耕物联网领域五年的工程师&#xff0c;我见过太多“看起来很美好”的技术方案——设备接入率低、数据延迟高、多协议适配困难&#xff0c;尤其当项目涉及复杂环境时&#xff0c;这些问题会被无限放大。我们团队在实践中发现&#xff0c;许多物联网平台在核心算法层面缺乏…...

编程新知 2026/5/18 22:26:22

计算机科学论文降AI工具免费推荐：2026年计算机科学毕业论文降AI4.8元亲测99.26%知网达标完整指南

计算机科学论文降AI工具免费推荐&#xff1a;2026年计算机科学毕业论文降AI4.8元亲测99.26%知网达标完整指南 答辩前夕&#xff0c;AI率36%&#xff0c;学校要求15%以下。 用嘎嘎降AI&#xff08;www.aigcleaner.com&#xff09;&#xff0c;4.8元&#xff0c;两小时搞定&…...

编程新知 2026/5/18 21:12:33