当前位置： 首页 > news >正文

[论文笔记]Sentence-BERT[v2]

news 2025/10/19 4:27:05

引言

本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。

BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过批数据优化，将query和多个待比较句子分别拼接成批大小内的样子一次输入，是可以同时计算批大小个样本之间的相似度的，但仍然受限于资源。

本篇工作，作者提出了Sentence-BERT(SBERT)，一种预训练BERT网络的修改，利用孪生和三胞胎网络来推导出具有语义信息的句嵌入，这些句嵌入能直接通过余弦相似度比较。

总体介绍

SBERT可以计算出包含语义信息的句向量，可以做到之前BERT不能做的事。比如大规模语义相似度比较、聚类以及基于语义搜索的信息检索。

BERT在语句分类和语句对回归任务上取得了SOTA结果。BERT作为cross-encoder:两个语句拼接在一起传递给transformer网络来预测目标值。然而，这种方式不太适合于数据规模太大的场景。比如要比较n=10000个语句两个之间的结果需要 n ⋅ ( n − 1

相关文章：

[论文笔记]Sentence-BERT[v2]

引言 本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。 BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过…...

编程日记 2023/10/19 23:18:48

虚拟机ubantu系统突然重启失去网络

1.进入 root用户 cd /var/lib/NetworkManager然后查看网络服务状态 如果网络状态和我一样不可用 ,就先停止网络服务 service ModemManager stop#删除状态rm networker.stateservice ModemManager start此时右上交的网络标志回复正常...

编程日记 2023/10/19 23:17:46

三款经典的轮式/轮足机器人讲解，以及学习EG2133产生A/B/C驱动电机。个人机器人学习和开发路线（推荐）

1，灯哥开源（有使用指南，适合刚入门新手） 机械部分：2个foc无刷电机 硬件和软件部分：没有驱动板子。只有驱动器，主控板esp32和驱动器通过pwm直接通讯。驱动器板子上有蓝色电机接口，直…...

编程日记 2023/10/19 23:16:45

apache开启https

本文基于windows平台。 个人感觉使用apache配置起来比较繁琐，而使用upupw或者xmpp等集成开发工具更方便。 在httpd.conf中，将下一行的注释去掉：LoadModule ssl_module modules/mod_ssl.so。另外，千万不要注释掉下面的一行&#…...

编程日记 2023/10/19 23:15:44

绝地求生游戏缺少msvcp140.dll丢失打不开怎么办？这6个方法都能修复

计算机系统中，我们经常遇到各种错误和问题。其中，“MSCVCP140.DLL丢失”是一个常见的错误，它通常出现在运行某些程序或游戏时。这个DLL文件是Microsoft Visual C 2015 Redistributable的一部分，如果它丢失或损坏，可能会…...

编程日记 2023/10/19 23:14:42

【广州华锐互动】石油钻井井控VR互动实训系统

随着科技的不断发展，虚拟现实（VR）技术已经逐渐渗透到各个领域，为人们的生活和工作带来了前所未有的便利。在石油钻井行业，VR技术的应用也日益受到重视，为钻井工人提供了更加安全、高效的培训方式。 广州华锐…...

编程日记 2023/10/19 23:13:41

单链表算法经典OJ题

目录 1、移除链表元素 2、翻转链表 3、合并两个有序链表 4、获取链表的中间结点 5、环形链表解决约瑟夫问题 6、分割链表 1、移除链表元素 203. 移除链表元素 - 力扣（LeetCode） typedef struct ListNode LSNode; struct ListNode* remove…...

编程日记 2023/10/19 23:12:40

Picnic master project interview

picnic Picnic master project interview1. Topics1.1 Systematically identify similar/interchangeable articles1.2 Understanding changing customer behaviour 2. interview等后续 Picnic master project interview 1. Topics 1.1 Systematically identify similar/inte…...

编程日记 2023/10/19 23:11:36

nginx部署vue项目(访问路径加前缀)

nginx部署vue项目(访问路径加前缀) nginx部署vue项目，访问路径加前缀分为两部分： （1）修改vue项目； （2）修改nginx配置； vue项目修改 需注意，我这是vue-cli3配置&#x…...

编程日记 2023/10/19 23:10:35

element-ui中表格树类型数据的显示

项目场景&#xff1a; 1&#xff1a;非懒加载的情况 1&#xff1a;效果展示 2&#xff1a;问题描述以及解决 1&#xff1a;图片展示 2&#xff1a;html <-- default-expand-all 代表默认展开 如果不展开删除就行 --> <el-tableref"refsTable"v-loadin…...

编程日记 2023/10/19 23:09:32

【扩散模型】如何用最几毛钱生成壁纸

通过学习扩散模型了解到了统计学的美好&#xff0c;然后顺便记录下我之前文生图的基础流程~ 扩散模型简介 这次是在DataWhale的组队学习里学习的&#xff0c;HuggingFace开放扩散模型学习地址 扩散模型训练时通过对原图增加高斯噪声&#xff0c;在推理时通过降噪来得到原图&…...

编程日记 2023/10/19 23:07:28

零基础Linux_17(进程间通信)VSCode环境安装+进程间通信介绍+pipe管道mkfifo

目录 1. VSCode环境安装 1.1 使用VSCode 1.2 远程链接到Linux机器 1.3 VSCode调试 2. 进程间通讯介绍 2.1 进程间通讯的概念和意义 2.2 进程间通讯的策略和本质 3. 管道 3.1 管道介绍 3.2 匿名管道介绍 3.3 匿名管道示例代码 3.3.1 建立管道的pipe 3.3.2 匿名管道…...

编程日记 2023/10/19 23:05:25

Redis的BitMap使用

Redis的BitMap使用 Redis 为我们提供了位图这一数据结构&#xff0c;每个用户每天的登录记录只占据一位&#xff0c;365天就是365位&#xff0c;仅仅需要46字节就可存储&#xff0c;极大地节约了存储空间。 位图不是实际的数据类型&#xff0c;而是一组面向位的操作 在被视为…...

编程日记 2023/10/19 23:04:23

java并发编程之基础与原理1

java多线程基础 下面说一下线程的7种状态 下面我重点来说一下阻塞状态 阻塞状态是可以分很多种的&#xff1a; 下面用另外一张图来说明这种状态 简单说一下线程的启动原理 下面说一下java中的线程 java线程的异步请求方式 上面就会先把main执行出来&#xff0c;等阻塞结束之后…...

编程日记 2023/10/19 23:03:22

⟨A⟩ = Tr(ρA) 从数学上来讲什么意思

当给定一个具体的密度矩阵ρ和一个可观测量A时&#xff0c;我们可以通过数值计算来演示〈A〉 Tr(ρA) 的应用。 假设我们有以下密度矩阵和可观测量&#xff1a; ρ [0.6 0.3; 0.3 0.4] A [1 0; 0 -1] 我们首先计算ρA的乘积&#xff1a; ρA [0.6 0.3; 0.3 0.4] * [1 0…...

编程日记 2023/10/19 23:01:17

Vue中的v-model指令的原理是什么？

在Vue中&#xff0c;v-model是一个双向绑定指令&#xff0c;它的原理是将表单元素的值与Vue实例中的数据属性进行双向绑定。当表单元素的值发生变化时&#xff0c;会自动更新Vue实例中对应的数据属性&#xff1b;反之&#xff0c;当Vue实例中的数据属性发生变化时&#xff0c;也…...

编程日记 2023/10/19 23:00:17

2023服务端测试开发必备技能：Mock测试

什么是mock测试 Mock 测试就是在测试活动中&#xff0c;对于某些不容易构造或者不容易获取的数据/场景&#xff0c;用一个Mock对象来创建以便测试的测试方法。 Mock测试常见场景 无法控制第三方系统接口的返回&#xff0c;返回的数据不满足要求依赖的接口还未开发完成&#…...

编程日记 2023/10/19 22:58:13

ExoPlayer架构详解与源码分析（5）——MediaSource

系列文章目录 ExoPlayer架构详解与源码分析&#xff08;1&#xff09;——前言 ExoPlayer架构详解与源码分析&#xff08;2&#xff09;——Player ExoPlayer架构详解与源码分析&#xff08;3&#xff09;——Timeline ExoPlayer架构详解与源码分析&#xff08;4&#xff09;—…...

编程日记 2023/10/19 22:57:11

控制一个游戏对象的旋转和相机的缩放

介绍 这段代码是一个Unity游戏开发脚本&#xff0c;它用于控制一个游戏对象的旋转和相机的缩放。以下是代码的主要功能&#xff1a; 控制游戏对象的旋转&#xff1a; 通过按下Q键和W键&#xff0c;用户可以选择以逆时针或顺时针方向绕游戏对象的Y轴进行旋转。旋转角度和速度可…...

编程日记 2023/10/19 22:56:10

【数据结构】线性表（二）单链表及其基本操作（创建、插入、删除、修改、遍历打印）

目录 前文、线性表的定义及其基本操作&#xff08;顺序表插入、删除、查找、修改&#xff09; 四、线性表的链接存储结构 1. 单链表&#xff08;C语言&#xff09; a. 链表节点结构 b. 创建新节点 c. 在链表末尾插入新节点 d. 删除指定节点 e. 修改指定节点的数据 f. …...

编程日记 2023/10/19 22:55:09

C++初阶-list的底层

目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...

编程新知 2025/10/11 12:22:12

springboot 百货中心供应链管理系统小程序

一、前言 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;百货中心供应链管理系统被用户普遍使用&#xff0c;为方…...

编程新知 2025/10/11 22:49:07

高危文件识别的常用算法：原理、应用与企业场景

高危文件识别的常用算法&#xff1a;原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件&#xff0c;如包含恶意代码、敏感数据或欺诈内容的文档&#xff0c;在企业协同办公环境中&#xff08;如Teams、Google Workspace&#xff09;尤为重要。结合大模型技术&…...

编程新知 2025/10/18 7:22:47

土地利用/土地覆盖遥感解译与基于CLUE模型未来变化情景预测；从基础到高级，涵盖ArcGIS数据处理、ENVI遥感解译与CLUE模型情景模拟等

&#x1f50d; 土地利用/土地覆盖数据是生态、环境和气象等诸多领域模型的关键输入参数。通过遥感影像解译技术&#xff0c;可以精准获取历史或当前任何一个区域的土地利用/土地覆盖情况。这些数据不仅能够用于评估区域生态环境的变化趋势&#xff0c;还能有效评价重大生态工程…...

编程新知 2025/9/12 15:10:44

USB Over IP专用硬件的5个特点

USB over IP技术通过将USB协议数据封装在标准TCP/IP网络数据包中&#xff0c;从根本上改变了USB连接。这允许客户端通过局域网或广域网远程访问和控制物理连接到服务器的USB设备&#xff08;如专用硬件设备&#xff09;&#xff0c;从而消除了直接物理连接的需要。USB over IP的…...

编程新知 2025/9/28 3:34:43

React---day11

14.4 react-redux第三方库 提供connect、thunk之类的函数 以获取一个banner数据为例子 store&#xff1a; 我们在使用异步的时候理应是要使用中间件的&#xff0c;但是configureStore 已经自动集成了 redux-thunk&#xff0c;注意action里面要返回函数 import { configureS…...

编程新知 2025/9/13 7:43:29

【从零学习JVM|第三篇】类的生命周期(高频面试题)

前言&#xff1a; 在Java编程中&#xff0c;类的生命周期是指类从被加载到内存中开始&#xff0c;到被卸载出内存为止的整个过程。了解类的生命周期对于理解Java程序的运行机制以及性能优化非常重要。本文会深入探寻类的生命周期&#xff0c;让读者对此有深刻印象。 目录 ​…...

编程新知 2025/10/16 13:25:54

pycharm 设置环境出错

pycharm 设置环境出错 pycharm 新建项目&#xff0c;设置虚拟环境&#xff0c;出错 pycharm 出错 Cannot open Local Failed to start [powershell.exe, -NoExit, -ExecutionPolicy, Bypass, -File, C:\Program Files\JetBrains\PyCharm 2024.1.3\plugins\terminal\shell-int…...

编程新知 2025/8/9 4:55:19

鸿蒙HarmonyOS 5军旗小游戏实现指南

1. 项目概述 本军旗小游戏基于鸿蒙HarmonyOS 5开发&#xff0c;采用DevEco Studio实现&#xff0c;包含完整的游戏逻辑和UI界面。 2. 项目结构 /src/main/java/com/example/militarychess/├── MainAbilitySlice.java // 主界面├── GameView.java // 游戏核…...

编程新知 2025/10/4 2:21:33

MySQL体系架构解析（三）：MySQL目录与启动配置全解析

MySQL中的目录和文件 bin目录 在 MySQL 的安装目录下有一个特别重要的 bin 目录&#xff0c;这个目录下存放着许多可执行文件。与其他系统的可执行文件类似&#xff0c;这些可执行文件都是与服务器和客户端程序相关的。 启动MySQL服务器程序 在 UNIX 系统中&#xff0c;用…...

编程新知 2025/10/18 12:55:35