Rewar Model的输出（不包含训练）
这里写自定义目录标题
- 介绍
- 模型推理的输出过程方案
- 原始Token输出
- RM输出（回归任务）
介绍
奖励函数模型 (Reward Model) 是人工智能 (AI) 中的一种方法，模型因其对给定提示的响应而获得奖励或分数。现在的文章清一色的讲解RM的训练，但是没有讲解RM是如何输出一个分数的。本文只讲RM的输出，以补充资料的缺乏。RM通常采用Llama-7B模型，本文也沿用这一模型，同时模型的推理计算过程作为已知的知识，只讲解推理最后的输出部分。本文章先介绍传统Llama模型原始Token输出过程，再讲解RM的输出。以作为对比更好的学习。
模型推理的输出过程方案
预训练语言模型（如LLaMA、GPT等）的默认任务是语言建模，它们的输出是针对每个token的概率分布（即词汇表中的每个词的概率）
注，W矩阵在llama-7b中是lm_head.weight
写在前面：回归任务就不需要原始Token输出中的logits矩阵的计算（即图中H*W+B的部分）和softmax的计算。
- 处理每个token的隐藏状态以生成全局表示
隐藏状态的介绍：
1） 平均池化（Mean Pooling）
2） 最大池化（Max Pooling）
- 回归任务输出分数：
相关文章：
Rewar Model的输出（不包含训练）
这里写自定义目录标题 介绍模型推理的输出过程方案原始Token输出RM输出（回归任务） 介绍 奖励函数模型 (Reward Model) 是人工智能 (AI) 中的一种方法，模型因其对给定提示的响应而获得奖励或分数。现在的文章清一色的讲解RM的训练，…...
Python调用API翻译Excel中的英语句子并回填数据
一、问题描述 最近遇到一个把Excel表中两列单元格中的文本读取，然后翻译，再重新回填到单元格中的案例。大约有700多行，1400多个句子，一个个手动复制粘贴要花费不少时间，而且极易出错。这时，我们就可以请出…...
SQL面试题——抖音SQL面试题 最大在线用户数
最大在线用户数 下面的数据记录了一个直播平台上用户进入平台和离开平台的情况 +---+-------------------+-----+ | id| etime| type| +---+-------------------+-----+ | 1|2021-06-10 10:00:00|enter| | 1|2021-06-10 19:00:00|leave| | 2|2021-06-10 11:0…...
了解)
前端知识点---Window对象(javascript)了解
Window对象 在JavaScript中，当你在非严格模式下的全局作用域中使用this时，它会引用全局对象。在浏览器环境中，这个全局对象就是Window。 01什么是 Window 对象？ Window 是浏览器提供的一个全局对象，它代表了浏览器的…...
llama factory lora 微调 qwen2.5 7B Instruct模型
项目背景 甲方提供一台三卡4080显卡 需要进行qwen2.5 7b Instruct模型进行微调。以下为整体设计。 要使用 LLaMA-Factory 对 Qwen2.5 7B Instruct模型 进行 LoRA（Low-Rank Adapters）微调，流程与之前提到的 Qwen2 7B Instruct 模型类似。LoRA …...
类和对象——拷贝构造函数，赋值运算符重载（C++）
1.拷⻉构造函数 如果⼀个构造函数的第⼀个参数是自身类类型的引用，且任何额外的参数都有默认值，则此构造函数也叫做拷贝构造函数，也就是说拷贝构造是⼀个特殊的构造函数。 // 拷贝构造函数//d2(d1) Date(const Date& d) {_year d._yea…...
Android 关于使用videocompressor库压缩没有声音和异常的问题
原库地址 https://gitcode.com/gh_mirrors/vi/VideoCompressor/overview 这个库用起来比较方便，使用Android原生的MediaCodecmp4parser的方式进行压缩，不用接入so库也不用适配cpu 问题 接口库后你会发现过时了，所以你一阵捣鼓后你发现压缩…...
LeetCode-215.数组中的第K个最大元素
. - 力扣（LeetCode）给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。 请注意，你需要找的是数组排序后的第 k 个最大的元素，而不是第 k 个不同的元素。 你必须设计并实现时间复杂度为 O(n) 的算法解决此问…...
『OpenCV-Python』视频的读取和保存
点赞 + 关注 + 收藏 = 学会了 推荐关注 《OpenCV-Python专栏》 上一讲介绍了 OpenCV 的读取图片的方法，这一讲简单聊聊 OpenCV 读取和保存视频。 视频的来源主要有2种，一种是本地视频文件，另一种是实时视频流，比如手机和电脑的摄像头。 要读取这两种视频的方法都是一样的…...
什么是Spring Boot Actuator
Spring Boot Actuator是一个用于监控和管理Spring Boot应用的框架，它提供了生产级别的功能，如健康检查、审计、指标收集、HTTP跟踪等。以下是对Spring Boot Actuator的详细介绍： 一、主要功能和特点 监控和管理： 提供多种内置端点…...
计算机网络：运输层 —— 运输层端口号
文章目录 运输层端口号的分类端口号与应用程序的关联应用举例发送方的复用和接收方的分用 运输层端口号的分类 端口号只具有本地意义，即端口号只是为了标识本计算机网络协议栈应用层中的各应用进程。在因特网中不同计算机中的相同端口号是没有关系的，即…...
linux下编译安装memcached
一、安装依赖库 Memcached依赖于一些系统库，在大多数Linux发行版中，需要安装libevent库。 Debian/Ubuntu系统 使用以下命令安装依赖库： sudo apt -y update sudo apt -y install libevent - devCentOS/RHEL系统 可以通过以下命令安装&am…...
最短路径生成树的数量-黑暗城堡
信息学奥赛一本通T1486-黑暗城堡 时间限制: 2s 内存限制: 192MB 提交: 18 解决: 9 题目描述 知道黑暗城堡有 N 个房间，M 条可以制造的双向通道，以及每条通道的长度。 城堡是树形的并且满足下面的条件： 设 Di为如果所有的通道都被修建…...
将已有的MySQL8.0单机架构变成主从复制架构
过程: 把数据库做一个完全备份, 恢复到从节点上, 恢复后从备份的那个点开始往后复制,从而保证后续数据的一致性。 步骤: 修改 master 主节点 的配置（ server-id log-bin ）master 主节点 完全备份（ mysqldump ）master 主节点 创建…...
JSON.stringify的应用说明
前言 JSON.stringify() 方法将 JavaScript 对象转换为字符串,在日常开发中较常用，但JSON.stringify其实有三个参数，后两个参数，使用较少，今天来介绍一下后两个参数的使用场景和示例。 语法及参数说明 JSON.stringify()…...
)
pyflink datastream数据流ds经过一系列转换后转为table,t_env.from_data_stream(ds)
在 pyflink 处理数据流过程中，有时候需要将data_stream转为table,下面是正确的方式，即每一个算子(map，reduce, window)操作之后需要指定输出数据类型。 from pyflink.common.typeinfo import Types from pyflink.datastream import StreamEx…...
vxe-grid table 校验指定行单元格的字段，只校验某个列的字段
Vxe UI vue vxe-table 中校验表格行是非常简单的，只需要配置好校验规则，然后调用 validate 方法就可以自动完成校验，但是由于项目淡色特殊需求，在某个单元格的值修改后需要对另一个列的值就行校验，这个时候又不需要全部…...
【Java多线程】单例模式（饿汉模式和懒汉模式）
目录 单例模式的定义： 饿汉式--单例模式 定义： 案例： 优缺点： 懒汉式--单例模式： 定义： 1）懒汉式单例模式（非线程安全） 2）线程安全的懒汉式单例模…...
python 异步编程之协程
最近在学习python的异步编程，这里就简单记录一下，免得日后忘记。 首先，python异步实现大概有三种方式，多进程，多线程和协程；多线程和多进程就不用多说了，基本上每种语言都会有多进行和多线程的…...
现代密码学｜古典密码学例题讲解|AES数学基础（GF（2^8）有限域上的运算问题）| AES加密算法
文章目录 古典密码凯撒密码和移位变换仿射变换例题多表代换例题 AES数学基础（GF（2^8）有限域上的运算问题）多项式表示法 | 加法 | 乘法X乘法模x的四次方1的乘法 AES加密算法初始变换字节代换行移位列混合轮密钥加子密钥（…...
【SpringBoot】100、SpringBoot中使用自定义注解+AOP实现参数自动解密
在实际项目中，用户注册、登录、修改密码等操作，都涉及到参数传输安全问题。所以我们需要在前端对账户、密码等敏感信息加密传输，在后端接收到数据后能自动解密。 1、引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId...
【git】把本地更改提交远程新分支feature_g
创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...
)
GitHub 趋势日报 (2025年06月08日)
📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图 今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...
MySQL 8.0 OCP 英文题库解析（十三）
Oracle 为庆祝 MySQL 30 周年，截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。 从今天开始，将英文题库免费公布出来，并进行解析，帮助大家在一个月之内轻松通过OCP认证。 本期公布试题111~120 试题1…...
Redis的发布订阅模式与专业的 MQ（如 Kafka, RabbitMQ）相比，优缺点是什么？适用于哪些场景？
Redis 的发布订阅（Pub/Sub）模式与专业的 MQ（Message Queue）如 Kafka、RabbitMQ 进行比较，核心的权衡点在于：简单与速度 vs. 可靠与功能。 下面我们详细展开对比。 Redis Pub/Sub 的核心特点 它是一个发后…...
PAN/FPN
import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...
免费PDF转图片工具
免费PDF转图片工具 一款简单易用的PDF转图片工具，可以将PDF文件快速转换为高质量PNG图片。无需安装复杂的软件，也不需要在线上传文件，保护您的隐私。 工具截图 主要特点 🚀 快速转换：本地转换，无需等待上…...
JavaScript 数据类型详解
JavaScript 数据类型详解 JavaScript 数据类型分为 原始类型（Primitive） 和 对象类型（Object） 两大类，共 8 种（ES11）： 一、原始类型（7种） 1. undefined 定…...
人工智能--安全大模型训练计划：基于Fine-tuning + LLM Agent
安全大模型训练计划：基于Fine-tuning LLM Agent 1. 构建高质量安全数据集 目标：为安全大模型创建高质量、去偏、符合伦理的训练数据集，涵盖安全相关任务（如有害内容检测、隐私保护、道德推理等）。 1.1 数据收集 描…...
【C++】纯虚函数类外可以写实现吗？
1. 答案 先说答案，可以。 2.代码测试 .h头文件 #include <iostream> #include <string>// 抽象基类 class AbstractBase { public:AbstractBase() default;virtual ~AbstractBase() default; // 默认析构函数public:virtual int PureVirtualFunct…...