当前位置： 首页 > news >正文

SGPT论文阅读笔记

news 2026/3/28 23:31:52

在这里插入图片描述

  • 这是篇想要用GPT来提取sentence embedding的工作，提出了两个框架，一个是SGPT-BE，一个是SGPT-CE，分别代表了Bi-Encoder setting和Cross-Encoder setting。
  • CE的意思是在做阅读理解任务时，document和query是一起送进去，中间加个SEP token来做的，典型的是BERT。而GPT一般不是，但作者觉得GPT也可以是。也就是说，如果有k个document和一个新的query，需要把这个query和这k个document分别concate在一起，重新提取信息，走k次。
  • 而BE的意思是，document和query单独提取信息。每段document用pooling来提取一个vector即可，query单独提取一个vector，然后算相似度，就能知道document中是否有query要的信息。
  • BE的模型提出了新的pooling method，用的是position-weighted mean pooling，还有bias-only fine-tuning。
  • position-weighted mean pooling的意思是，前面的token由于mask的存在，注意力的时候看不到后面的token，所以要给低一点的权重，后面的token给高一点的权重，就按1 2 3 4 5这样随位置单调线性递增的权重即可，如下：
    在这里插入图片描述

相关文章：

SGPT论文阅读笔记

这是篇想要用GPT来提取sentence embedding的工作，提出了两个框架，一个是SGPT-BE，一个是SGPT-CE，分别代表了Bi-Encoder setting和Cross-Encoder setting。CE的意思是在做阅读理解任务时，document和query是一起送进去&am…...

编程日记 2024/6/27 1:12:29

虚拟机与主机的网络桥接

虚拟机网路桥接是一种网络配置方式，它允许虚拟机与物理网络中的其他设备直接通信。在桥接模式下，虚拟机的网络接口通过主机的物理网卡连接到局域网中，就像主机本身一样，拥有自己的MAC地址和IP地址。这种方式使得虚拟机可以像独立的…...

编程日记 2024/6/27 1:10:26

urfread刷算法题day1|LeetCode2748.美丽下标的数目

题目 题目链接 LeetCode2748.美丽下标对的数目 题目描述 给你一个下标从 0 开始的整数数组 nums 。 如果下标对 i、j 满足 0 ≤ i < j < nums.length &#xff0c; 如果 nums[i] 的 第一个数字 和 nums[j] 的 最后一个数字 互质 &#xff0c; 则认为 nums[i] 和 nums…...

编程日记 2024/6/27 1:09:25

面向对象修炼手册（四）（多态与空间分配）（Java宝典）

&#x1f308; 个人主页&#xff1a;十二月的猫-CSDN博客 &#x1f525; 系列专栏&#xff1a; &#x1f3c0;面向对象修炼手册 &#x1f4aa;&#x1f3fb; 十二月的寒冬阻挡不了春天的脚步&#xff0c;十二点的黑夜遮蔽不住黎明的曙光 目录 前言 1 多态 1.1 多态的形式&…...

编程日记 2024/6/27 1:08:24

基于UDP的网络聊天室(多线程实现收和发消息)

要求&#xff1a;1.有新用户登录&#xff0c;其他在线的用户可以收到登录信息 2.有用户群聊&#xff0c;其他在线的用户可以收到群聊信息 3.有用户退出&#xff0c;其他在线的用户可以收到退出信息 4.服务器可以发送系统信息 效果图&#xff1a; service.c #include <head…...

编程日记 2024/6/27 1:07:23

【脚本工具库】随机抽取数据 - 图像和标签对应（附源码）

在数据处理和机器学习任务中&#xff0c;我们经常需要从大规模数据集中随机抽取一定数量的图像及其对应的标签文件&#xff0c;以便进行模型训练、验证或测试。手动操作不仅耗时&#xff0c;而且容易出错。为了解决这个问题&#xff0c;我们可以编写一个Python脚本&#xff0c;…...

编程日记 2024/6/27 1:06:22

【python】eval函数

1.eval函数的语法及用法 &#xff08;1&#xff09;语法&#xff1a;eval(expression) 参数说明&#xff1a; expression&#xff1a;必须为字符串表达式&#xff0c;可为算法&#xff0c;也可为input函数等。 说明&#xff1a;表达式必需是字符串&#xff0c;否则会报错&a…...

编程日记 2024/6/27 1:04:20

实战|记一次java协同办公OA系统源码审计

前言 因为笔者也是代码审计初学者&#xff0c;写得不好的地方请见谅。该文章是以项目实战角度出发&#xff0c;希望能给大家带来启发。 审计过程 审计思路 1、拿到一个项目首先要看它使用了什么技术框架&#xff0c;是使用了ssh框架&#xff0c;还是使用了ssm框架&#xff…...

编程日记 2024/6/27 1:03:19

浅浅谈谈如何利用Javase+多线程+计算机网络的知识做一个爬CSDN阅读量总访问量的程序

目录 我们发现csdn的文章 首先为了印证我们的想法 我们用postman往csdn我们任意一篇文章发起post请求 发送请求 ​编辑获得响应结果 我们发现我们的阅读量上涨 PostRequestSender类 但是我们经过测试发现 定义一个字符串数组 把URL放进去 然后延迟启动 在线程池里面…...

编程日记 2024/6/27 1:02:18

Vscode 中launch.json与tasks.json文件

Vscode 中launch.json与tasks.json文件 launch.json文件基本结构主要属性示例配置PythonCNode.js 常见配置项1. Python2. C3. Node.js 使用示例 tasks.json基本结构主要属性示例配置C 编译任务Python 运行任务Node.js 运行任务 常见配置项使用示例 tasks.json与launch.json文件…...

编程日记 2024/6/27 1:01:17

C#基于SkiaSharp实现印章管理（2）

上一篇文章最后提到基于System.Text.Json能够序列化SKColor对象&#xff0c;但是反序列化时却无法解析本地json数据。换成Newtonsoft.Json进行序列化和反序列化也是类似的问题。   通过百度及查看微软的帮助文档&#xff0c;上述情况下需自定义转换类以处理SKColor类型数据的…...

编程日记 2024/6/27 0:58:13

大二C++期末复习（自用）

一、类 1.定义成员函数 输入年份判断是否是闰年&#xff0c;若是输出年份&#xff1b;若不是&#xff0c;输出NO #include<iostream> #include<cstring> using namespace std; class TDate{private:int month;int day;int year;public:TDate(int y,int m,int d)…...

编程日记 2024/6/27 0:57:12

重大进展！微信支付收款码全场景接入银联网络

据中国银联6月19日消息&#xff0c;近日&#xff0c;银联网络迎来微信支付收款码场景的全面接入&#xff0c;推动条码支付互联互通取得新进展&#xff0c;为境内外广大消费者提供更多支付选择、更好支付体验。 2024年6月&#xff0c;伴随微信支付经营收款码的开放&#xff0c;微…...

编程日记 2024/6/27 0:56:10

msvcr110.dll丢失的解决方法，亲测有效的几种解决方法

最近&#xff0c;我在启动一个程序时&#xff0c;系统突然弹出一个错误提示&#xff0c;告诉我电脑缺失了一个名为msvcr110.dll的文件。这让我感到非常困惑&#xff0c;因为我之前从未遇到过这样的问题。经过一番搜索和尝试&#xff0c;我总结了5种靠谱的解决方法。下面分享给大…...

编程日记 2024/6/27 0:55:09

SUSE Linux 15 sp5上Nginx安装配置升级

1.安装SUSE linux 15 SP5 图形化界面安装很简单&#xff0c;选择最小安装&#xff0c;安装好后&#xff0c;使用vim编辑配置文件&#xff0c;结果提示"bash: vim: command not found"。 最简安装把一些常用命令都整没有了&#xff0c;于是又重新选择了Server Applica…...

编程日记 2024/6/27 0:54:08

突破Web3红海，DePIN如何构建创新生态系统？

撰文&#xff1a;TinTinLand 本文来源香港Web3媒体Techub News专栏作者TinTinLand 2023 年 DePIN 赛道的火热成为 Web3 行业的重点关注方向&#xff0c;当前如何以可扩展、去中心化、安全方式推动 DePIN 赛道赋能下的 AI 版图建设&#xff0c;寻找更多 Web3 行业创新机遇成为…...

编程日记 2024/6/27 0:53:07

裸机与操做系统区别(RTOS)

声明&#xff1a;该系列笔记是参考韦东山老师的视频&#xff0c;链接放在最后&#xff01;&#xff01;&#xff01; rtos&#xff1a;这种系统只实现了内核功能&#xff0c;比较简单&#xff0c;在嵌入式开发中&#xff0c;某些情况下我们只需要多任务&#xff0c;而不需要文件…...

编程日记 2024/6/27 0:52:05

详解 ClickHouse 的分片集群

一、简介 分片功能依赖于 Distributed 表引擎&#xff0c;Distributed 表引擎本身不存储数据&#xff0c;有点类似于 MyCat 之于 MySql&#xff0c;成为一种中间件&#xff0c;通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据 ClickHouse 进行分片集群的…...

编程日记 2024/6/27 0:51:04

AI问答-医疗：什么是“手术报台”

手术报台并不是传统意义上的医疗工具或设备&#xff0c;而是一个与手术耗材追溯管理相关的系统或工具。以下是对手术报台的详细解释&#xff1a; 一、定义与功能 手术报台系统&#xff0c;如医迈德手术报台系统&#xff0c;是一款面向医院跟台人员的微信小程序。 它通过手术耗…...

编程日记 2024/6/27 0:49:02

S-Clustr(影子集群)V3 高并发,去中心化,多节点控制

S-Clustr 项目地址:https://github.com/MartinxMax/S-Clustr/releases/tag/S-Clustr-V3.0 Maptnh Не ограничивайте свои действия виртуальным миром. GitHub: Maptnh Jay Steinberg Man kann die Menschen, die man hasst, in d…...

编程日记 2024/6/27 0:47:00

每天20分钟值不值？淘宝任务自动化的取舍之道

每天20分钟值不值&#xff1f;淘宝任务自动化的取舍之道 【免费下载链接】taojinbi 淘宝淘金币自动执行脚本&#xff0c;包含蚂蚁森林收取能量&#xff0c;芭芭农场全任务&#xff0c;解放你的双手 项目地址: https://gitcode.com/gh_mirrors/ta/taojinbi 在数字生活时代…...

编程新知 2026/3/28 23:30:42

HDLC（高级数据链路控制）：从帧结构解析到C语言模拟实现

1. HDLC协议基础&#xff1a;从比特流到可靠传输 第一次接触HDLC协议时&#xff0c;我盯着那串01111110的标志位发了半天呆——这不就是个简单的比特序列吗&#xff1f;怎么就能成为整个协议的基础&#xff1f;后来在调试卫星通信模块时才发现&#xff0c;正是这个看似简单的设…...

编程新知 2026/3/28 22:42:15

ArcGIS缓冲区与叠加分析在环境评估中的实战应用

1. ArcGIS缓冲区与叠加分析基础概念 当你第一次听说"缓冲区"和"叠加分析"这两个词时&#xff0c;可能会觉得这是很高深的技术术语。其实它们的原理非常简单&#xff0c;就像我们日常生活中常见的场景。想象一下&#xff0c;如果你在小区里扔了一块石头&…...

编程新知 2026/3/28 22:38:14

如何快速上手Archivy：5分钟搭建个人知识管理系统

如何快速上手Archivy&#xff1a;5分钟搭建个人知识管理系统 【免费下载链接】archivy Archivy is a self-hostable knowledge repository that allows you to learn and retain information in your own personal and extensible wiki. 项目地址: https://gitcode.com/gh_mi…...

编程新知 2026/3/28 21:45:56

从碎片到全景：基于RDP缓存文件（*.bmc）的自动化取证与图像重构实践

1. 揭开RDP缓存文件的神秘面纱 第一次接触*.bmc文件时&#xff0c;我完全没意识到这些看似普通的缓存文件里藏着这么多秘密。当时正在处理一个内部安全审计项目&#xff0c;需要确认某位离职员工是否通过远程桌面泄露了公司数据。在翻遍常规日志无果后&#xff0c;同事提醒我检…...

编程新知 2026/3/28 20:41:27

Fluent | 动网格技术解析与应用场景

1. 动网格技术到底是什么&#xff1f; 第一次接触动网格这个概念时&#xff0c;我也是一头雾水。简单来说&#xff0c;动网格就是让计算流体力学&#xff08;CFD&#xff09;模拟中的网格能够"动起来"的技术。想象一下你在用Fluent模拟一个活塞在气缸里的运动&#x…...

编程新知 2026/3/28 20:15:17

突破本地开发壁垒：tunnelto无缝连接全球网络的技术革新

突破本地开发壁垒&#xff1a;tunnelto无缝连接全球网络的技术革新 【免费下载链接】tunnelto Expose your local web server to the internet with a public URL. 项目地址: https://gitcode.com/GitHub_Trending/tu/tunnelto 痛点诊断&#xff1a;当本地服务成为协作孤…...

编程新知 2026/3/28 19:20:53

在语音对话中，OpenClaw 的语音唤醒词定制化如何实现？

语音唤醒词定制化这件事&#xff0c;听起来像是给机器一个专属的暗号&#xff0c;喊对了它才搭理你。在OpenClaw这类语音对话系统里&#xff0c;实现这个功能&#xff0c;本质上是在解决一个“如何在嘈杂的声音环境里&#xff0c;准确识别出某个特定词汇”的问题。 这和我们平时…...

编程新知 2026/3/28 18:32:34

AI辅助数据库设计：让快马平台智能分析ER图，推荐并生成优化后的SQL代码

最近在做一个员工管理系统的数据库设计&#xff0c;发现ER图的设计和SQL代码生成其实是个挺费脑子的活儿。好在现在有了AI辅助工具&#xff0c;整个过程变得轻松多了。今天就用一个实际案例&#xff0c;分享一下如何用智能工具优化数据库设计。 初始ER图分析 系统最初的设计很简…...

编程新知 2026/3/28 17:21:44

保姆级教程：在RHEL 8上彻底搞定X-Server远程连接，让xeyes不再报‘Error can‘t open display‘

深度解析RHEL 8远程X11连接&#xff1a;从原理到实战的全链路解决方案 当你在RHEL 8服务器上尝试通过SSH转发X11图形界面时&#xff0c;是否遇到过xeyes测试程序报出"Error: Cant open display"的困扰&#xff1f;这看似简单的错误背后&#xff0c;实际上隐藏着新版R…...

编程新知 2026/3/28 15:10:52