当前位置： 首页 > news >正文

SGPT论文阅读笔记

news 2026/3/29 9:06:07

在这里插入图片描述

  • 这是篇想要用GPT来提取sentence embedding的工作，提出了两个框架，一个是SGPT-BE，一个是SGPT-CE，分别代表了Bi-Encoder setting和Cross-Encoder setting。
  • CE的意思是在做阅读理解任务时，document和query是一起送进去，中间加个SEP token来做的，典型的是BERT。而GPT一般不是，但作者觉得GPT也可以是。也就是说，如果有k个document和一个新的query，需要把这个query和这k个document分别concate在一起，重新提取信息，走k次。
  • 而BE的意思是，document和query单独提取信息。每段document用pooling来提取一个vector即可，query单独提取一个vector，然后算相似度，就能知道document中是否有query要的信息。
  • BE的模型提出了新的pooling method，用的是position-weighted mean pooling，还有bias-only fine-tuning。
  • position-weighted mean pooling的意思是，前面的token由于mask的存在，注意力的时候看不到后面的token，所以要给低一点的权重，后面的token给高一点的权重，就按1 2 3 4 5这样随位置单调线性递增的权重即可，如下：
    在这里插入图片描述

相关文章：

SGPT论文阅读笔记

这是篇想要用GPT来提取sentence embedding的工作，提出了两个框架，一个是SGPT-BE，一个是SGPT-CE，分别代表了Bi-Encoder setting和Cross-Encoder setting。CE的意思是在做阅读理解任务时，document和query是一起送进去&am…...

编程日记 2024/6/27 1:12:29

虚拟机与主机的网络桥接

虚拟机网路桥接是一种网络配置方式，它允许虚拟机与物理网络中的其他设备直接通信。在桥接模式下，虚拟机的网络接口通过主机的物理网卡连接到局域网中，就像主机本身一样，拥有自己的MAC地址和IP地址。这种方式使得虚拟机可以像独立的…...

编程日记 2024/6/27 1:10:26

urfread刷算法题day1|LeetCode2748.美丽下标的数目

题目 题目链接 LeetCode2748.美丽下标对的数目 题目描述 给你一个下标从 0 开始的整数数组 nums 。 如果下标对 i、j 满足 0 ≤ i < j < nums.length &#xff0c; 如果 nums[i] 的 第一个数字 和 nums[j] 的 最后一个数字 互质 &#xff0c; 则认为 nums[i] 和 nums…...

编程日记 2024/6/27 1:09:25

面向对象修炼手册（四）（多态与空间分配）（Java宝典）

&#x1f308; 个人主页&#xff1a;十二月的猫-CSDN博客 &#x1f525; 系列专栏&#xff1a; &#x1f3c0;面向对象修炼手册 &#x1f4aa;&#x1f3fb; 十二月的寒冬阻挡不了春天的脚步&#xff0c;十二点的黑夜遮蔽不住黎明的曙光 目录 前言 1 多态 1.1 多态的形式&…...

编程日记 2024/6/27 1:08:24

基于UDP的网络聊天室(多线程实现收和发消息)

要求&#xff1a;1.有新用户登录&#xff0c;其他在线的用户可以收到登录信息 2.有用户群聊&#xff0c;其他在线的用户可以收到群聊信息 3.有用户退出&#xff0c;其他在线的用户可以收到退出信息 4.服务器可以发送系统信息 效果图&#xff1a; service.c #include <head…...

编程日记 2024/6/27 1:07:23

【脚本工具库】随机抽取数据 - 图像和标签对应（附源码）

在数据处理和机器学习任务中&#xff0c;我们经常需要从大规模数据集中随机抽取一定数量的图像及其对应的标签文件&#xff0c;以便进行模型训练、验证或测试。手动操作不仅耗时&#xff0c;而且容易出错。为了解决这个问题&#xff0c;我们可以编写一个Python脚本&#xff0c;…...

编程日记 2024/6/27 1:06:22

【python】eval函数

1.eval函数的语法及用法 &#xff08;1&#xff09;语法&#xff1a;eval(expression) 参数说明&#xff1a; expression&#xff1a;必须为字符串表达式&#xff0c;可为算法&#xff0c;也可为input函数等。 说明&#xff1a;表达式必需是字符串&#xff0c;否则会报错&a…...

编程日记 2024/6/27 1:04:20

实战|记一次java协同办公OA系统源码审计

前言 因为笔者也是代码审计初学者&#xff0c;写得不好的地方请见谅。该文章是以项目实战角度出发&#xff0c;希望能给大家带来启发。 审计过程 审计思路 1、拿到一个项目首先要看它使用了什么技术框架&#xff0c;是使用了ssh框架&#xff0c;还是使用了ssm框架&#xff…...

编程日记 2024/6/27 1:03:19

浅浅谈谈如何利用Javase+多线程+计算机网络的知识做一个爬CSDN阅读量总访问量的程序

目录 我们发现csdn的文章 首先为了印证我们的想法 我们用postman往csdn我们任意一篇文章发起post请求 发送请求 ​编辑获得响应结果 我们发现我们的阅读量上涨 PostRequestSender类 但是我们经过测试发现 定义一个字符串数组 把URL放进去 然后延迟启动 在线程池里面…...

编程日记 2024/6/27 1:02:18

Vscode 中launch.json与tasks.json文件

Vscode 中launch.json与tasks.json文件 launch.json文件基本结构主要属性示例配置PythonCNode.js 常见配置项1. Python2. C3. Node.js 使用示例 tasks.json基本结构主要属性示例配置C 编译任务Python 运行任务Node.js 运行任务 常见配置项使用示例 tasks.json与launch.json文件…...

编程日记 2024/6/27 1:01:17

C#基于SkiaSharp实现印章管理（2）

上一篇文章最后提到基于System.Text.Json能够序列化SKColor对象&#xff0c;但是反序列化时却无法解析本地json数据。换成Newtonsoft.Json进行序列化和反序列化也是类似的问题。   通过百度及查看微软的帮助文档&#xff0c;上述情况下需自定义转换类以处理SKColor类型数据的…...

编程日记 2024/6/27 0:58:13

大二C++期末复习（自用）

一、类 1.定义成员函数 输入年份判断是否是闰年&#xff0c;若是输出年份&#xff1b;若不是&#xff0c;输出NO #include<iostream> #include<cstring> using namespace std; class TDate{private:int month;int day;int year;public:TDate(int y,int m,int d)…...

编程日记 2024/6/27 0:57:12

重大进展！微信支付收款码全场景接入银联网络

据中国银联6月19日消息&#xff0c;近日&#xff0c;银联网络迎来微信支付收款码场景的全面接入&#xff0c;推动条码支付互联互通取得新进展&#xff0c;为境内外广大消费者提供更多支付选择、更好支付体验。 2024年6月&#xff0c;伴随微信支付经营收款码的开放&#xff0c;微…...

编程日记 2024/6/27 0:56:10

msvcr110.dll丢失的解决方法，亲测有效的几种解决方法

最近&#xff0c;我在启动一个程序时&#xff0c;系统突然弹出一个错误提示&#xff0c;告诉我电脑缺失了一个名为msvcr110.dll的文件。这让我感到非常困惑&#xff0c;因为我之前从未遇到过这样的问题。经过一番搜索和尝试&#xff0c;我总结了5种靠谱的解决方法。下面分享给大…...

编程日记 2024/6/27 0:55:09

SUSE Linux 15 sp5上Nginx安装配置升级

1.安装SUSE linux 15 SP5 图形化界面安装很简单&#xff0c;选择最小安装&#xff0c;安装好后&#xff0c;使用vim编辑配置文件&#xff0c;结果提示"bash: vim: command not found"。 最简安装把一些常用命令都整没有了&#xff0c;于是又重新选择了Server Applica…...

编程日记 2024/6/27 0:54:08

突破Web3红海，DePIN如何构建创新生态系统？

撰文&#xff1a;TinTinLand 本文来源香港Web3媒体Techub News专栏作者TinTinLand 2023 年 DePIN 赛道的火热成为 Web3 行业的重点关注方向&#xff0c;当前如何以可扩展、去中心化、安全方式推动 DePIN 赛道赋能下的 AI 版图建设&#xff0c;寻找更多 Web3 行业创新机遇成为…...

编程日记 2024/6/27 0:53:07

裸机与操做系统区别(RTOS)

声明&#xff1a;该系列笔记是参考韦东山老师的视频&#xff0c;链接放在最后&#xff01;&#xff01;&#xff01; rtos&#xff1a;这种系统只实现了内核功能&#xff0c;比较简单&#xff0c;在嵌入式开发中&#xff0c;某些情况下我们只需要多任务&#xff0c;而不需要文件…...

编程日记 2024/6/27 0:52:05

详解 ClickHouse 的分片集群

一、简介 分片功能依赖于 Distributed 表引擎&#xff0c;Distributed 表引擎本身不存储数据&#xff0c;有点类似于 MyCat 之于 MySql&#xff0c;成为一种中间件&#xff0c;通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据 ClickHouse 进行分片集群的…...

编程日记 2024/6/27 0:51:04

AI问答-医疗：什么是“手术报台”

手术报台并不是传统意义上的医疗工具或设备&#xff0c;而是一个与手术耗材追溯管理相关的系统或工具。以下是对手术报台的详细解释&#xff1a; 一、定义与功能 手术报台系统&#xff0c;如医迈德手术报台系统&#xff0c;是一款面向医院跟台人员的微信小程序。 它通过手术耗…...

编程日记 2024/6/27 0:49:02

S-Clustr(影子集群)V3 高并发,去中心化,多节点控制

S-Clustr 项目地址:https://github.com/MartinxMax/S-Clustr/releases/tag/S-Clustr-V3.0 Maptnh Не ограничивайте свои действия виртуальным миром. GitHub: Maptnh Jay Steinberg Man kann die Menschen, die man hasst, in d…...

编程日记 2024/6/27 0:47:00

零基础玩转RetinaFace：一键部署人脸检测，合影/监控都能精准识别

零基础玩转RetinaFace&#xff1a;一键部署人脸检测&#xff0c;合影/监控都能精准识别 1. 为什么选择RetinaFace人脸检测 在当今数字时代&#xff0c;人脸检测技术已经成为众多应用的基础功能。无论是社交媒体上的自动标记、安防监控系统的人脸识别&#xff0c;还是手机相册…...

编程新知 2026/3/29 7:31:25

毫米波雷达（AWR1864）二、从零到一：SDK配置与固件刷写实战

1. 毫米波雷达开发环境搭建全攻略 第一次接触AWR1864毫米波雷达开发板时&#xff0c;最让人头疼的就是软件环境的配置。记得我刚开始用这块板子的时候&#xff0c;光是为了让开发板识别出来就折腾了大半天。这里给大家分享一个Windows系统下的完整配置方案&#xff0c;帮你避开…...

编程新知 2026/3/29 7:23:24

OpenClaw技能开发：为nanobot编写天气查询插件

OpenClaw技能开发&#xff1a;为nanobot编写天气查询插件 1. 为什么需要自定义技能 当我第一次接触OpenClaw时&#xff0c;最吸引我的不是它预置的那些功能&#xff0c;而是它允许开发者自由扩展能力的开放架构。作为一个经常需要查询天气的开发者&#xff0c;我发现现有的天…...

编程新知 2026/3/29 4:31:17

计算机毕设 java 基于 Javaweb 的家教管理系统 智能家教匹配管理系统 家教服务综合平台

计算机毕设 java 基于 Javaweb 的家教管理系统 f7xm39&#xff08;配套有源码 程序 mysql 数据库 论文&#xff09;本套源码可以先看具体功能演示视频领取&#xff0c;文末有联 xi 可分享随着家庭教育需求的不断增长&#xff0c;家教市场规模持续扩大&#xff0c;但传统家教模式…...

编程新知 2026/3/29 4:00:52

AI改写工具爱毕业aibye提供五个技巧，助力30%重复率的论文快速达标

嘿&#xff0c;大家好&#xff01;我是AI菌。今天咱们来聊聊一个让无数学生头疼的问题&#xff1a;论文重复率飙到30%以上怎么办&#xff1f;别慌&#xff0c;我这就分享5个实用降重技巧&#xff0c;帮你一次搞定&#xff0c;轻松压到合格线以下。这些方法都是我亲身试验过的&a…...

编程新知 2026/3/29 3:24:36

OpenClaw+GLM-4.7-Flash：个人健康数据自动追踪与分析

OpenClawGLM-4.7-Flash&#xff1a;个人健康数据自动追踪与分析 1. 为什么需要自动化健康管理 去年体检报告上的几项异常指标让我意识到&#xff0c;碎片化的健康数据记录根本不足以反映真实身体状况。尝试过各种健康类App后&#xff0c;发现它们要么数据封闭&#xff0c;要么…...

编程新知 2026/3/29 2:09:51

Python MCP服务性能翻倍实录：基于asyncpg+uvloop+Pydantic V2的模板优化路径（QPS从83→417实测数据）

第一章&#xff1a;Python MCP服务性能翻倍实录&#xff1a;基于asyncpguvloopPydantic V2的模板优化路径&#xff08;QPS从83→417实测数据&#xff09; 在高并发MCP&#xff08;Microservice Control Plane&#xff09;服务场景中&#xff0c;原基于Flask SQLAlchemy CPyth…...

编程新知 2026/3/29 1:39:29

【UE5】深入解析Dedicated Server专用服务器的网络同步机制与实战优化

1. UE5专用服务器基础概念解析 第一次接触UE5专用服务器(Dedicated Server)时&#xff0c;我完全被各种专业术语绕晕了。经过几个项目的实战后&#xff0c;我发现理解它的本质其实很简单——就像餐厅里的服务员与顾客的关系。服务器就是那个永远在后台忙碌的服务员&#xff0c;…...

编程新知 2026/3/29 0:45:13

VMware ESXi上玩转Proxmox VE：手把手教你搭建家庭虚拟化实验室（含OpenWrt配置）

VMware ESXi与Proxmox VE的融合实践&#xff1a;打造高性能家庭虚拟化平台 在家庭技术爱好者的世界里&#xff0c;搭建一个功能强大且灵活的虚拟化环境已经成为一种趋势。将VMware ESXi与Proxmox VE这两种优秀的虚拟化平台结合起来&#xff0c;不仅能充分利用现有硬件资源&…...

编程新知 2026/3/29 0:41:11

面试官最爱问的归并排序：从递归到非递归，带你彻底搞懂边界条件与内存管理（避坑指南）

归并排序实战&#xff1a;从递归陷阱到非递归优化的工程级实现 在技术面试中&#xff0c;归并排序就像一位老练的考官&#xff0c;总能用各种边界条件挑战候选人的代码功底。我曾见过不少开发者能流畅写出递归版本&#xff0c;却在非递归实现中陷入无限循环&#xff1b;也有候选…...

编程新知 2026/3/28 23:52:57