当前位置： 首页 > news >正文

SGPT论文阅读笔记

news 2026/5/16 7:54:14

在这里插入图片描述

  • 这是篇想要用GPT来提取sentence embedding的工作，提出了两个框架，一个是SGPT-BE，一个是SGPT-CE，分别代表了Bi-Encoder setting和Cross-Encoder setting。
  • CE的意思是在做阅读理解任务时，document和query是一起送进去，中间加个SEP token来做的，典型的是BERT。而GPT一般不是，但作者觉得GPT也可以是。也就是说，如果有k个document和一个新的query，需要把这个query和这k个document分别concate在一起，重新提取信息，走k次。
  • 而BE的意思是，document和query单独提取信息。每段document用pooling来提取一个vector即可，query单独提取一个vector，然后算相似度，就能知道document中是否有query要的信息。
  • BE的模型提出了新的pooling method，用的是position-weighted mean pooling，还有bias-only fine-tuning。
  • position-weighted mean pooling的意思是，前面的token由于mask的存在，注意力的时候看不到后面的token，所以要给低一点的权重，后面的token给高一点的权重，就按1 2 3 4 5这样随位置单调线性递增的权重即可，如下：
    在这里插入图片描述

相关文章：

SGPT论文阅读笔记

这是篇想要用GPT来提取sentence embedding的工作，提出了两个框架，一个是SGPT-BE，一个是SGPT-CE，分别代表了Bi-Encoder setting和Cross-Encoder setting。CE的意思是在做阅读理解任务时，document和query是一起送进去&am…...

编程日记 2024/6/27 1:12:29

虚拟机与主机的网络桥接

虚拟机网路桥接是一种网络配置方式，它允许虚拟机与物理网络中的其他设备直接通信。在桥接模式下，虚拟机的网络接口通过主机的物理网卡连接到局域网中，就像主机本身一样，拥有自己的MAC地址和IP地址。这种方式使得虚拟机可以像独立的…...

编程日记 2024/6/27 1:10:26

urfread刷算法题day1|LeetCode2748.美丽下标的数目

题目 题目链接 LeetCode2748.美丽下标对的数目 题目描述 给你一个下标从 0 开始的整数数组 nums 。 如果下标对 i、j 满足 0 ≤ i < j < nums.length &#xff0c; 如果 nums[i] 的 第一个数字 和 nums[j] 的 最后一个数字 互质 &#xff0c; 则认为 nums[i] 和 nums…...

编程日记 2024/6/27 1:09:25

面向对象修炼手册（四）（多态与空间分配）（Java宝典）

&#x1f308; 个人主页&#xff1a;十二月的猫-CSDN博客 &#x1f525; 系列专栏&#xff1a; &#x1f3c0;面向对象修炼手册 &#x1f4aa;&#x1f3fb; 十二月的寒冬阻挡不了春天的脚步&#xff0c;十二点的黑夜遮蔽不住黎明的曙光 目录 前言 1 多态 1.1 多态的形式&…...

编程日记 2024/6/27 1:08:24

基于UDP的网络聊天室(多线程实现收和发消息)

要求&#xff1a;1.有新用户登录&#xff0c;其他在线的用户可以收到登录信息 2.有用户群聊&#xff0c;其他在线的用户可以收到群聊信息 3.有用户退出&#xff0c;其他在线的用户可以收到退出信息 4.服务器可以发送系统信息 效果图&#xff1a; service.c #include <head…...

编程日记 2024/6/27 1:07:23

【脚本工具库】随机抽取数据 - 图像和标签对应（附源码）

在数据处理和机器学习任务中&#xff0c;我们经常需要从大规模数据集中随机抽取一定数量的图像及其对应的标签文件&#xff0c;以便进行模型训练、验证或测试。手动操作不仅耗时&#xff0c;而且容易出错。为了解决这个问题&#xff0c;我们可以编写一个Python脚本&#xff0c;…...

编程日记 2024/6/27 1:06:22

【python】eval函数

1.eval函数的语法及用法 &#xff08;1&#xff09;语法&#xff1a;eval(expression) 参数说明&#xff1a; expression&#xff1a;必须为字符串表达式&#xff0c;可为算法&#xff0c;也可为input函数等。 说明&#xff1a;表达式必需是字符串&#xff0c;否则会报错&a…...

编程日记 2024/6/27 1:04:20

实战|记一次java协同办公OA系统源码审计

前言 因为笔者也是代码审计初学者&#xff0c;写得不好的地方请见谅。该文章是以项目实战角度出发&#xff0c;希望能给大家带来启发。 审计过程 审计思路 1、拿到一个项目首先要看它使用了什么技术框架&#xff0c;是使用了ssh框架&#xff0c;还是使用了ssm框架&#xff…...

编程日记 2024/6/27 1:03:19

浅浅谈谈如何利用Javase+多线程+计算机网络的知识做一个爬CSDN阅读量总访问量的程序

目录 我们发现csdn的文章 首先为了印证我们的想法 我们用postman往csdn我们任意一篇文章发起post请求 发送请求 ​编辑获得响应结果 我们发现我们的阅读量上涨 PostRequestSender类 但是我们经过测试发现 定义一个字符串数组 把URL放进去 然后延迟启动 在线程池里面…...

编程日记 2024/6/27 1:02:18

Vscode 中launch.json与tasks.json文件

Vscode 中launch.json与tasks.json文件 launch.json文件基本结构主要属性示例配置PythonCNode.js 常见配置项1. Python2. C3. Node.js 使用示例 tasks.json基本结构主要属性示例配置C 编译任务Python 运行任务Node.js 运行任务 常见配置项使用示例 tasks.json与launch.json文件…...

编程日记 2024/6/27 1:01:17

C#基于SkiaSharp实现印章管理（2）

上一篇文章最后提到基于System.Text.Json能够序列化SKColor对象&#xff0c;但是反序列化时却无法解析本地json数据。换成Newtonsoft.Json进行序列化和反序列化也是类似的问题。   通过百度及查看微软的帮助文档&#xff0c;上述情况下需自定义转换类以处理SKColor类型数据的…...

编程日记 2024/6/27 0:58:13

大二C++期末复习（自用）

一、类 1.定义成员函数 输入年份判断是否是闰年&#xff0c;若是输出年份&#xff1b;若不是&#xff0c;输出NO #include<iostream> #include<cstring> using namespace std; class TDate{private:int month;int day;int year;public:TDate(int y,int m,int d)…...

编程日记 2024/6/27 0:57:12

重大进展！微信支付收款码全场景接入银联网络

据中国银联6月19日消息&#xff0c;近日&#xff0c;银联网络迎来微信支付收款码场景的全面接入&#xff0c;推动条码支付互联互通取得新进展&#xff0c;为境内外广大消费者提供更多支付选择、更好支付体验。 2024年6月&#xff0c;伴随微信支付经营收款码的开放&#xff0c;微…...

编程日记 2024/6/27 0:56:10

msvcr110.dll丢失的解决方法，亲测有效的几种解决方法

最近&#xff0c;我在启动一个程序时&#xff0c;系统突然弹出一个错误提示&#xff0c;告诉我电脑缺失了一个名为msvcr110.dll的文件。这让我感到非常困惑&#xff0c;因为我之前从未遇到过这样的问题。经过一番搜索和尝试&#xff0c;我总结了5种靠谱的解决方法。下面分享给大…...

编程日记 2024/6/27 0:55:09

SUSE Linux 15 sp5上Nginx安装配置升级

1.安装SUSE linux 15 SP5 图形化界面安装很简单&#xff0c;选择最小安装&#xff0c;安装好后&#xff0c;使用vim编辑配置文件&#xff0c;结果提示"bash: vim: command not found"。 最简安装把一些常用命令都整没有了&#xff0c;于是又重新选择了Server Applica…...

编程日记 2024/6/27 0:54:08

突破Web3红海，DePIN如何构建创新生态系统？

撰文&#xff1a;TinTinLand 本文来源香港Web3媒体Techub News专栏作者TinTinLand 2023 年 DePIN 赛道的火热成为 Web3 行业的重点关注方向&#xff0c;当前如何以可扩展、去中心化、安全方式推动 DePIN 赛道赋能下的 AI 版图建设&#xff0c;寻找更多 Web3 行业创新机遇成为…...

编程日记 2024/6/27 0:53:07

裸机与操做系统区别(RTOS)

声明&#xff1a;该系列笔记是参考韦东山老师的视频&#xff0c;链接放在最后&#xff01;&#xff01;&#xff01; rtos&#xff1a;这种系统只实现了内核功能&#xff0c;比较简单&#xff0c;在嵌入式开发中&#xff0c;某些情况下我们只需要多任务&#xff0c;而不需要文件…...

编程日记 2024/6/27 0:52:05

详解 ClickHouse 的分片集群

一、简介 分片功能依赖于 Distributed 表引擎&#xff0c;Distributed 表引擎本身不存储数据&#xff0c;有点类似于 MyCat 之于 MySql&#xff0c;成为一种中间件&#xff0c;通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据 ClickHouse 进行分片集群的…...

编程日记 2024/6/27 0:51:04

AI问答-医疗：什么是“手术报台”

手术报台并不是传统意义上的医疗工具或设备&#xff0c;而是一个与手术耗材追溯管理相关的系统或工具。以下是对手术报台的详细解释&#xff1a; 一、定义与功能 手术报台系统&#xff0c;如医迈德手术报台系统&#xff0c;是一款面向医院跟台人员的微信小程序。 它通过手术耗…...

编程日记 2024/6/27 0:49:02

S-Clustr(影子集群)V3 高并发,去中心化,多节点控制

S-Clustr 项目地址:https://github.com/MartinxMax/S-Clustr/releases/tag/S-Clustr-V3.0 Maptnh Не ограничивайте свои действия виртуальным миром. GitHub: Maptnh Jay Steinberg Man kann die Menschen, die man hasst, in d…...

编程日记 2024/6/27 0:47:00

别再只会显示字符了！用51单片机和OLED做个简易电子时钟（IIC协议详解）

从零构建51单片机OLED电子时钟&#xff1a;IIC协议深度解析与项目实战 在嵌入式开发领域&#xff0c;51单片机因其稳定性和易用性始终占据一席之地。当基础的点亮OLED屏幕、显示静态文字已经无法满足你的求知欲时&#xff0c;一个融合硬件协议、实时时钟和UI设计的电子时钟项目…...

编程新知 2026/5/16 5:46:34

内容创作团队如何借助Taotoken统一调度多个模型提升内容多样性

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 内容创作团队如何借助Taotoken统一调度多个模型提升内容多样性 对于自媒体、内容运营或数字营销团队而言&#xff0c;持续产出高质…...

编程新知 2026/5/16 4:02:31

开源RPA工具Clawless：本地化低代码自动化实战与核心原理

1. 项目概述&#xff1a;从“无爪”到“有手”&#xff0c;一个开源RPA项目的诞生最近在GitHub上闲逛&#xff0c;发现了一个挺有意思的项目&#xff0c;叫“Clawless”&#xff0c;直译过来是“无爪”。初看这个标题&#xff0c;你可能会有点摸不着头脑&#xff0c;这跟自动化…...

编程新知 2026/5/16 3:40:39

[特殊字符] CSS 图片变黑变暗的 3 种方案，总有一款适合你！

最近在做项目的时候&#xff0c;遇到一个很常见的需求&#xff1a;如何让图片颜色更黑一点&#xff0c;或者加一层黑色透明度遮罩&#xff1f; 很多人第一反应是用 filter: brightness(0%)&#xff0c;但其实这个方法有不少坑。今天就来聊聊 3 种靠谱的 CSS 方案&#xff0c;从…...

编程新知 2026/5/16 1:42:25

别再问STM32哪个型号有DAC了！一张图看懂F1/F4/L1系列DAC配置差异与选型避坑

STM32全系列DAC选型指南&#xff1a;从F1到L1的深度对比与实战避坑 当你的项目需要精确模拟输出时&#xff0c;STM32的DAC功能往往成为关键选择因素。但面对ST公司庞大的产品线&#xff0c;即使是经验丰富的工程师也常陷入选型困惑——为什么同系列不同封装的芯片DAC配置不同&a…...

编程新知 2026/5/16 1:19:43

Git Common Errors

Git Common Errors 1. 这篇文章解决什么问题&#xff1f; Git 报错时&#xff0c;最容易让人慌的不是错误本身&#xff0c;而是不知道它在说哪一层出了问题。 常见错误包括&#xff1a; 1. not a git repository 2. remote origin already exists 3. failed to push some r…...

编程新知 2026/5/16 0:39:01

终极DeepL Chrome翻译插件完整指南：高效跨语言浏览解决方案

终极DeepL Chrome翻译插件完整指南&#xff1a;高效跨语言浏览解决方案 【免费下载链接】deepl-chrome-extension A DeepL Translator Chrome extension 项目地址: https://gitcode.com/gh_mirrors/de/deepl-chrome-extension 在全球化信息时代&#xff0c;阅读外文网页…...

编程新知 2026/5/16 0:08:11

将Hermes Agent工具连接到Taotoken的配置要点详解

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 将Hermes Agent工具连接到Taotoken的配置要点详解 Hermes Agent 是一款支持自定义模型提供方的智能体开发工具。通过将其后端连接到…...

编程新知 2026/5/15 23:12:19

别再混淆了！给数据科学新手的平稳性、自相关性核心概念白话图解

时间序列分析入门&#xff1a;用生活化类比理解平稳性与自相关性 刚接触时间序列分析时&#xff0c;你是否曾被"平稳性"和"自相关性"这些术语搞得一头雾水&#xff1f;就像第一次学游泳时&#xff0c;教练说的"打腿节奏"和"换气时机"一…...

编程新知 2026/5/15 22:21:26

基于ChatGee框架的KakaoTalk ChatGPT机器人部署与定制指南

1. 项目概述&#xff1a;一个为KakaoTalk量身定制的ChatGPT机器人 如果你在韩国工作、生活&#xff0c;或者你的用户群体主要在韩国&#xff0c;那么KakaoTalk&#xff08;카카오톡&#xff09;这款国民级即时通讯应用&#xff0c;你一定不陌生。它几乎覆盖了韩国所有的智能手…...

编程新知 2026/5/15 21:37:45