当前位置： 首页 > news >正文

Rewar Model的输出（不包含训练）

news 2026/2/9 19:25:35

这里写自定义目录标题

  • 介绍
  • 模型推理的输出过程方案
    • 原始Token输出
    • RM输出（回归任务）

介绍

奖励函数模型 (Reward Model) 是人工智能 (AI) 中的一种方法，模型因其对给定提示的响应而获得奖励或分数。现在的文章清一色的讲解RM的训练，但是没有讲解RM是如何输出一个分数的。本文只讲RM的输出，以补充资料的缺乏。RM通常采用Llama-7B模型，本文也沿用这一模型，同时模型的推理计算过程作为已知的知识，只讲解推理最后的输出部分。本文章先介绍传统Llama模型原始Token输出过程，再讲解RM的输出。以作为对比更好的学习。

模型推理的输出过程方案

  1. 原始Token输出

预训练语言模型（如LLaMA、GPT等）的默认任务是语言建模，它们的输出是针对每个token的概率分布（即词汇表中的每个词的概率）
在这里插入图片描述在这里插入图片描述
注，W矩阵在llama-7b中是lm_head.weight

  1. RM输出（回归任务）

写在前面：回归任务就不需要原始Token输出中的logits矩阵的计算（即图中H*W+B的部分）和softmax的计算。

  • 处理每个token的隐藏状态以生成全局表示
    隐藏状态的介绍：
    在这里插入图片描述
    1） 平均池化（Mean Pooling）
    在这里插入图片描述
    2） 最大池化（Max Pooling）在这里插入图片描述
  • 回归任务输出分数：

在这里插入图片描述

相关文章：

Rewar Model的输出（不包含训练）

这里写自定义目录标题 介绍模型推理的输出过程方案原始Token输出RM输出（回归任务） 介绍 奖励函数模型 (Reward Model) 是人工智能 (AI) 中的一种方法，模型因其对给定提示的响应而获得奖励或分数。现在的文章清一色的讲解RM的训练&#xff0c…...

编程日记 2024/11/18 2:46:16

Python调用API翻译Excel中的英语句子并回填数据

一、问题描述 最近遇到一个把Excel表中两列单元格中的文本读取，然后翻译，再重新回填到单元格中的案例。大约有700多行，1400多个句子，一个个手动复制粘贴要花费不少时间，而且极易出错。这时，我们就可以请出…...

编程日记 2024/11/18 2:45:15

SQL面试题——抖音SQL面试题 最大在线用户数

最大在线用户数 下面的数据记录了一个直播平台上用户进入平台和离开平台的情况 +---+-------------------+-----+ | id| etime| type| +---+-------------------+-----+ | 1|2021-06-10 10:00:00|enter| | 1|2021-06-10 19:00:00|leave| | 2|2021-06-10 11:0…...

编程日记 2024/11/18 2:40:10

前端知识点---Window对象(javascript)了解

Window对象 在JavaScript中，当你在非严格模式下的全局作用域中使用this时，它会引用全局对象。在浏览器环境中，这个全局对象就是Window。 01什么是 Window 对象？ Window 是浏览器提供的一个全局对象，它代表了浏览器的…...

编程日记 2024/11/18 2:37:08

llama factory lora 微调 qwen2.5 7B Instruct模型

项目背景 甲方提供一台三卡4080显卡 需要进行qwen2.5 7b Instruct模型进行微调。以下为整体设计。 要使用 LLaMA-Factory 对 Qwen2.5 7B Instruct模型 进行 LoRA（Low-Rank Adapters）微调，流程与之前提到的 Qwen2 7B Instruct 模型类似。LoRA …...

编程日记 2024/11/18 2:33:01

类和对象——拷贝构造函数，赋值运算符重载（C++）

1.拷⻉构造函数 如果⼀个构造函数的第⼀个参数是自身类类型的引用，且任何额外的参数都有默认值，则此构造函数也叫做拷贝构造函数，也就是说拷贝构造是⼀个特殊的构造函数。 // 拷贝构造函数//d2(d1) Date(const Date& d) {_year d._yea…...

编程日记 2024/11/18 2:31:58

Android 关于使用videocompressor库压缩没有声音和异常的问题

原库地址 https://gitcode.com/gh_mirrors/vi/VideoCompressor/overview 这个库用起来比较方便，使用Android原生的MediaCodecmp4parser的方式进行压缩，不用接入so库也不用适配cpu 问题 接口库后你会发现过时了，所以你一阵捣鼓后你发现压缩…...

编程日记 2024/11/18 2:29:56

LeetCode-215.数组中的第K个最大元素

. - 力扣（LeetCode）给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。 请注意，你需要找的是数组排序后的第 k 个最大的元素，而不是第 k 个不同的元素。 你必须设计并实现时间复杂度为 O(n) 的算法解决此问…...

编程日记 2024/11/18 2:26:52

『OpenCV-Python』视频的读取和保存

点赞 + 关注 + 收藏 = 学会了 推荐关注 《OpenCV-Python专栏》 上一讲介绍了 OpenCV 的读取图片的方法，这一讲简单聊聊 OpenCV 读取和保存视频。 视频的来源主要有2种，一种是本地视频文件，另一种是实时视频流，比如手机和电脑的摄像头。 要读取这两种视频的方法都是一样的…...

编程日记 2024/11/18 2:24:50

什么是Spring Boot Actuator

Spring Boot Actuator是一个用于监控和管理Spring Boot应用的框架，它提供了生产级别的功能，如健康检查、审计、指标收集、HTTP跟踪等。以下是对Spring Boot Actuator的详细介绍： 一、主要功能和特点 监控和管理： 提供多种内置端点…...

编程日记 2024/11/18 2:19:44

计算机网络：运输层 —— 运输层端口号

文章目录 运输层端口号的分类端口号与应用程序的关联应用举例发送方的复用和接收方的分用 运输层端口号的分类 端口号只具有本地意义，即端口号只是为了标识本计算机网络协议栈应用层中的各应用进程。在因特网中不同计算机中的相同端口号是没有关系的，即…...

编程日记 2024/11/18 2:16:37

linux下编译安装memcached

一、安装依赖库 Memcached依赖于一些系统库，在大多数Linux发行版中，需要安装libevent库。 Debian/Ubuntu系统 使用以下命令安装依赖库： sudo apt -y update sudo apt -y install libevent - devCentOS/RHEL系统 可以通过以下命令安装&am…...

编程日记 2024/11/18 2:15:34

最短路径生成树的数量-黑暗城堡

信息学奥赛一本通T1486-黑暗城堡 时间限制: 2s 内存限制: 192MB 提交: 18 解决: 9 题目描述 知道黑暗城堡有 N 个房间，M 条可以制造的双向通道，以及每条通道的长度。 城堡是树形的并且满足下面的条件： 设 Di为如果所有的通道都被修建&#xf…...

编程日记 2024/11/18 2:14:33

将已有的MySQL8.0单机架构变成主从复制架构

过程: 把数据库做一个完全备份, 恢复到从节点上, 恢复后从备份的那个点开始往后复制,从而保证后续数据的一致性。 步骤: 修改 master 主节点 的配置（ server-id log-bin ）master 主节点 完全备份（ mysqldump ）master 主节点 创建…...

编程日记 2024/11/18 2:13:32

JSON.stringify的应用说明

前言 JSON.stringify() 方法将 JavaScript 对象转换为字符串,在日常开发中较常用，但JSON.stringify其实有三个参数，后两个参数，使用较少，今天来介绍一下后两个参数的使用场景和示例。 语法及参数说明 JSON.stringify()&#xf…...

编程日记 2024/11/18 2:12:32

pyflink datastream数据流ds经过一系列转换后转为table,t_env.from_data_stream(ds)

在 pyflink 处理数据流过程中，有时候需要将data_stream转为table,下面是正确的方式，即每一个算子(map，reduce, window)操作之后需要指定输出数据类型。 from pyflink.common.typeinfo import Types from pyflink.datastream import StreamEx…...

编程日记 2024/11/18 2:11:31

vxe-grid table 校验指定行单元格的字段，只校验某个列的字段

Vxe UI vue vxe-table 中校验表格行是非常简单的，只需要配置好校验规则，然后调用 validate 方法就可以自动完成校验，但是由于项目淡色特殊需求，在某个单元格的值修改后需要对另一个列的值就行校验，这个时候又不需要全部…...

编程日记 2024/11/18 2:10:30

【Java多线程】单例模式（饿汉模式和懒汉模式）

目录 单例模式的定义： 饿汉式--单例模式 定义： 案例： 优缺点： 懒汉式--单例模式： 定义： 1）懒汉式单例模式（非线程安全） 2）线程安全的懒汉式单例模…...

编程日记 2024/11/18 2:09:29

python 异步编程之协程

最近在学习python的异步编程，这里就简单记录一下，免得日后忘记。 首先，python异步实现大概有三种方式，多进程，多线程和协程；多线程和多进程就不用多说了，基本上每种语言都会有多进行和多线程的…...

编程日记 2024/11/18 2:05:23

现代密码学｜古典密码学例题讲解|AES数学基础（GF（2^8）有限域上的运算问题）| AES加密算法

文章目录 古典密码凯撒密码和移位变换仿射变换例题多表代换例题 AES数学基础（GF（2^8）有限域上的运算问题）多项式表示法 | 加法 | 乘法X乘法模x的四次方1的乘法 AES加密算法初始变换字节代换行移位列混合轮密钥加子密钥&#xff08…...

编程日记 2024/11/18 2:04:21

第19节 Node.js Express 框架

Express 是一个为Node.js设计的web开发框架，它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用，和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...

编程新知 2026/2/8 6:37:43

Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？

Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？ 在 Golang 的面试中，map 类型的使用是一个常见的考点，其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...

编程新知 2025/12/20 7:42:02

DAY 47

三、通道注意力 3.1 通道注意力的定义 # 新增：通道注意力模块（SE模块） class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...

编程新知 2026/2/4 23:29:22

Linux相关概念和易错知识点（42）（TCP的连接管理、可靠性、面临复杂网络的处理）

目录 1.TCP的连接管理机制（1）三次握手①握手过程②对握手过程的理解 （2）四次挥手（3）握手和挥手的触发（4）状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...

编程新知 2026/1/30 0:09:51

UE5 学习系列（三）创建和移动物体

这篇博客是该系列的第三篇，是在之前两篇博客的基础上展开，主要介绍如何在操作界面中创建和拖动物体，这篇博客跟随的视频链接如下： B 站视频：s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...

编程新知 2026/1/24 10:00:31

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序

一、开发环境准备 ​​工具安装​​： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 ​​项目初始化​​： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...

编程新知 2026/2/1 4:17:33

【Web 进阶篇】优雅的接口设计：统一响应、全局异常处理与参数校验

系列回顾： 在上一篇中，我们成功地为应用集成了数据库，并使用 Spring Data JPA 实现了基本的 CRUD API。我们的应用现在能“记忆”数据了！但是，如果你仔细审视那些 API，会发现它们还很“粗糙”：有…...

编程新知 2026/1/22 20:46:43

C# 表达式和运算符(求值顺序)

求值顺序 表达式可以由许多嵌套的子表达式构成。子表达式的求值顺序可以使表达式的最终值发生 变化。 例如，已知表达式3*52，依照子表达式的求值顺序，有两种可能的结果，如图9-3所示。 如果乘法先执行，结果是17。如果5…...

编程新知 2026/1/31 13:13:28

在 Spring Boot 项目里，MYSQL中json类型字段使用

前言&#xff1a; 因为程序特殊需求导致&#xff0c;需要mysql数据库存储json类型数据&#xff0c;因此记录一下使用流程 1.java实体中新增字段 private List<User> users 2.增加mybatis-plus注解 TableField(typeHandler FastjsonTypeHandler.class) private Lis…...

编程新知 2025/7/9 16:55:37

「全栈技术解析」推客小程序系统开发：从架构设计到裂变增长的完整解决方案

在移动互联网营销竞争白热化的当下&#xff0c;推客小程序系统凭借其裂变传播、精准营销等特性&#xff0c;成为企业抢占市场的利器。本文将深度解析推客小程序系统开发的核心技术与实现路径&#xff0c;助力开发者打造具有市场竞争力的营销工具。​ 一、系统核心功能架构&…...

编程新知 2025/8/21 16:28:18