[论文笔记]Sentence-BERT[v2]
引言
本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。
BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过批数据优化，将query和多个待比较句子分别拼接成批大小内的样子一次输入，是可以同时计算批大小个样本之间的相似度的，但仍然受限于资源。
本篇工作，作者提出了Sentence-BERT(SBERT)，一种预训练BERT网络的修改，利用孪生和三胞胎网络来推导出具有语义信息的句嵌入，这些句嵌入能直接通过余弦相似度比较。
总体介绍
SBERT可以计算出包含语义信息的句向量，可以做到之前BERT不能做的事。比如大规模语义相似度比较、聚类以及基于语义搜索的信息检索。
BERT在语句分类和语句对回归任务上取得了SOTA结果。BERT作为cross-encoder:两个语句拼接在一起传递给transformer网络来预测目标值。然而，这种方式不太适合于数据规模太大的场景。比如要比较n=10000个语句两个之间的结果需要 n ⋅ ( n − 1
相关文章：
[论文笔记]Sentence-BERT[v2]
引言 本文是SBERT(Sentence-BERT)论文1的笔记。SBERT主要用于解决BERT系列模型无法有效地得到句向量的问题。很久之前写过该篇论文的笔记，但不够详细，今天来重新回顾一下。 BERT系列模型基于交互式计算输入两个句子之间的相似度是非常低效的(但效果是很好的)。当然可以通过…...
虚拟机ubantu系统突然重启失去网络
1.进入 root用户 cd /var/lib/NetworkManager然后查看网络服务状态 如果网络状态和我一样不可用 ,就先停止网络服务 service ModemManager stop#删除状态rm networker.stateservice ModemManager start此时右上交的网络标志回复正常...
三款经典的轮式/轮足机器人讲解，以及学习EG2133产生A/B/C驱动电机。个人机器人学习和开发路线（推荐）
1，灯哥开源（有使用指南，适合刚入门新手） 机械部分：2个foc无刷电机 硬件和软件部分：没有驱动板子。只有驱动器，主控板esp32和驱动器通过pwm直接通讯。驱动器板子上有蓝色电机接口，直…...
apache开启https
本文基于windows平台。 个人感觉使用apache配置起来比较繁琐，而使用upupw或者xmpp等集成开发工具更方便。 在httpd.conf中，将下一行的注释去掉：LoadModule ssl_module modules/mod_ssl.so。另外，千万不要注释掉下面的一行&#…...
绝地求生游戏缺少msvcp140.dll丢失打不开怎么办？这6个方法都能修复
计算机系统中，我们经常遇到各种错误和问题。其中，“MSCVCP140.DLL丢失”是一个常见的错误，它通常出现在运行某些程序或游戏时。这个DLL文件是Microsoft Visual C 2015 Redistributable的一部分，如果它丢失或损坏，可能会…...
【广州华锐互动】石油钻井井控VR互动实训系统
随着科技的不断发展，虚拟现实（VR）技术已经逐渐渗透到各个领域，为人们的生活和工作带来了前所未有的便利。在石油钻井行业，VR技术的应用也日益受到重视，为钻井工人提供了更加安全、高效的培训方式。 广州华锐…...
单链表算法经典OJ题
目录 1、移除链表元素 2、翻转链表 3、合并两个有序链表 4、获取链表的中间结点 5、环形链表解决约瑟夫问题 6、分割链表 1、移除链表元素 203. 移除链表元素 - 力扣（LeetCode） typedef struct ListNode LSNode; struct ListNode* remove…...
Picnic master project interview
picnic Picnic master project interview1. Topics1.1 Systematically identify similar/interchangeable articles1.2 Understanding changing customer behaviour 2. interview等后续 Picnic master project interview 1. Topics 1.1 Systematically identify similar/inte…...
nginx部署vue项目(访问路径加前缀)
nginx部署vue项目(访问路径加前缀) nginx部署vue项目，访问路径加前缀分为两部分： （1）修改vue项目； （2）修改nginx配置； vue项目修改 需注意，我这是vue-cli3配置&#x…...
element-ui中表格树类型数据的显示
项目场景： 1：非懒加载的情况 1：效果展示 2：问题描述以及解决 1：图片展示 2：html <-- default-expand-all 代表默认展开 如果不展开删除就行 --> <el-tableref"refsTable"v-loadin…...
【扩散模型】如何用最几毛钱生成壁纸
通过学习扩散模型了解到了统计学的美好，然后顺便记录下我之前文生图的基础流程~ 扩散模型简介 这次是在DataWhale的组队学习里学习的，HuggingFace开放扩散模型学习地址 扩散模型训练时通过对原图增加高斯噪声，在推理时通过降噪来得到原图&…...
零基础Linux_17(进程间通信)VSCode环境安装+进程间通信介绍+pipe管道mkfifo
目录 1. VSCode环境安装 1.1 使用VSCode 1.2 远程链接到Linux机器 1.3 VSCode调试 2. 进程间通讯介绍 2.1 进程间通讯的概念和意义 2.2 进程间通讯的策略和本质 3. 管道 3.1 管道介绍 3.2 匿名管道介绍 3.3 匿名管道示例代码 3.3.1 建立管道的pipe 3.3.2 匿名管道…...
Redis的BitMap使用
Redis的BitMap使用 Redis 为我们提供了位图这一数据结构，每个用户每天的登录记录只占据一位，365天就是365位，仅仅需要46字节就可存储，极大地节约了存储空间。 位图不是实际的数据类型，而是一组面向位的操作 在被视为…...
java并发编程之基础与原理1
java多线程基础 下面说一下线程的7种状态 下面我重点来说一下阻塞状态 阻塞状态是可以分很多种的： 下面用另外一张图来说明这种状态 简单说一下线程的启动原理 下面说一下java中的线程 java线程的异步请求方式 上面就会先把main执行出来，等阻塞结束之后…...
 从数学上来讲什么意思)
⟨A⟩ = Tr(ρA) 从数学上来讲什么意思
当给定一个具体的密度矩阵ρ和一个可观测量A时，我们可以通过数值计算来演示〈A〉 Tr(ρA) 的应用。 假设我们有以下密度矩阵和可观测量： ρ [0.6 0.3; 0.3 0.4] A [1 0; 0 -1] 我们首先计算ρA的乘积： ρA [0.6 0.3; 0.3 0.4] * [1 0…...
Vue中的v-model指令的原理是什么？
在Vue中，v-model是一个双向绑定指令，它的原理是将表单元素的值与Vue实例中的数据属性进行双向绑定。当表单元素的值发生变化时，会自动更新Vue实例中对应的数据属性；反之，当Vue实例中的数据属性发生变化时，也…...
2023服务端测试开发必备技能：Mock测试
什么是mock测试 Mock 测试就是在测试活动中，对于某些不容易构造或者不容易获取的数据/场景，用一个Mock对象来创建以便测试的测试方法。 Mock测试常见场景 无法控制第三方系统接口的返回，返回的数据不满足要求依赖的接口还未开发完成&#…...
ExoPlayer架构详解与源码分析（5）——MediaSource
系列文章目录 ExoPlayer架构详解与源码分析（1）——前言 ExoPlayer架构详解与源码分析（2）——Player ExoPlayer架构详解与源码分析（3）——Timeline ExoPlayer架构详解与源码分析（4）—…...
控制一个游戏对象的旋转和相机的缩放
介绍 这段代码是一个Unity游戏开发脚本，它用于控制一个游戏对象的旋转和相机的缩放。以下是代码的主要功能： 控制游戏对象的旋转： 通过按下Q键和W键，用户可以选择以逆时针或顺时针方向绕游戏对象的Y轴进行旋转。旋转角度和速度可…...
【数据结构】线性表（二）单链表及其基本操作（创建、插入、删除、修改、遍历打印）
目录 前文、线性表的定义及其基本操作（顺序表插入、删除、查找、修改） 四、线性表的链接存储结构 1. 单链表（C语言） a. 链表节点结构 b. 创建新节点 c. 在链表末尾插入新节点 d. 删除指定节点 e. 修改指定节点的数据 f. …...
SpringBoot-17-MyBatis动态SQL标签之常用标签
文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…...
: K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？)
云原生核心技术 (7/12): K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？
大家好，欢迎来到《云原生核心技术》系列的第七篇！ 在上一篇，我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在，我们就像一个拥有了一块崭新数字土地的农场主，是时…...
iOS 26 携众系统重磅更新，但“苹果智能”仍与国行无缘
美国西海岸的夏天，再次被苹果点燃。一年一度的全球开发者大会 WWDC25 如期而至，这不仅是开发者的盛宴，更是全球数亿苹果用户翘首以盼的科技春晚。今年，苹果依旧为我们带来了全家桶式的系统更新，包括 iOS 26、iPadOS 26…...
（十）学生端搭建
本次旨在将之前的已完成的部分功能进行拼装到学生端，同时完善学生端的构建。本次工作主要包括： 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑 一、学生端 在主界面可以选择自己的用户角色 选择学生则进入学生登录界面…...
Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务
通过akshare库，获取股票数据，并生成TabPFN这个模型 可以识别、处理的格式，写一个完整的预处理示例，并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务，进行预测并输…...
Java入门学习详细版（一）
大家好，Java 学习是一个系统学习的过程，核心原则就是“理论 实践 坚持”，并且需循序渐进，不可过于着急，本篇文章推出的这份详细入门学习资料将带大家从零基础开始，逐步掌握 Java 的核心概念和编程技能。 …...
Caliper 配置文件解析：config.yaml
Caliper 是一个区块链性能基准测试工具，用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构，并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件，主要包含以下几个部…...
保姆级教程：在无网络无显卡的Windows电脑的vscode本地部署deepseek
文章目录 1 前言2 部署流程2.1 准备工作2.2 Ollama2.2.1 使用有网络的电脑下载Ollama2.2.2 安装Ollama（有网络的电脑）2.2.3 安装Ollama（无网络的电脑）2.2.4 安装验证2.2.5 修改大模型安装位置2.2.6 下载Deepseek模型 2.3 将deepse…...
嵌入式学习笔记DAY33（网络编程——TCP）
一、网络架构 C/S （client/server 客户端/服务器）：由客户端和服务器端两个部分组成。客户端通常是用户使用的应用程序，负责提供用户界面和交互逻辑 ，接收用户输入，向服务器发送请求，并展示服务…...
WebRTC从入门到实践 - 零基础教程
WebRTC从入门到实践 - 零基础教程 目录 WebRTC简介 基础概念 工作原理 开发环境搭建 基础实践 三个实战案例 常见问题解答 1. WebRTC简介 1.1 什么是WebRTC？ WebRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音…...