Learning to summarize from human feedback
Abstract
- 人工参考总结以及 ROUGE 指标只是我们真实关心的目标（总结质量）的粗略代表。
- 通过优化人工偏好来显著提升总结质量
- 使用大量高质量的人类比较来训练一个模型来预测人类偏好的总结
- 使用这个模型作为奖励函数对总结策略进行强化学习微调
- 我们模型的效果在 TL;DR 数据集上显著超过了人工参考总结和仅使用有监督微调但大的多的模型，并且能够泛化到 CNN/DM 上得到和人工参考相当的效果而不需任何专门的微调
2 Related work
我们的工作与 Ziegler et al., 2019 的工作非常相似，他们也是训练 Transformer 模型来优化人工反馈。
- 与我们不同的是，他们是以在线方式训练并且发现得到的模型是高度抽取式的。
- 和他们相比，我们使用了更大的模型，以批量化的方式收集人类反馈，并且做了一些算法上的修改
- 例如分开策略和价值网络（separating the policy and value networks）。
人工偏好也在其他领域被作为奖励信号来训练模型，例如<
相关文章：
Learning to summarize from human feedback
Abstract 人工参考总结以及 ROUGE 指标只是我们真实关心的目标（总结质量）的粗略代表。通过优化人工偏好来显著提升总结质量使用大量高质量的人类比较来训练一个模型来预测人类偏好的总结使用这个模型作为奖励函数对总结策略进行强化学习微调我们模型的效果在 TL;DR 数据集上显…...
数据库迁移测试
数据迁移测试 在进行项目重构或者更新的时候或多或少会对数据库进行变更，为了保证业务的稳定性对数据进行迁移测试是很有必要的，因为数据就是业务的基石，没有数据业务都是空中楼阁，形同虚设，小编结合近期的工作对数据…...
ASP .Net Core ILogger日志服务
🐳简介 ILogger日志服务是.NET平台中的一个内置服务，主要用于应用程序的日志记录。它提供了灵活的日志记录机制，允许开发者在应用程序中轻松地添加日志功能。以下是其主要特点和组件： ILogger接口：这是ILogger日志服…...
LeetCode 2657.找到两个数组的前缀公共数组
给你两个下标从 0 开始长度为 n 的整数排列 A 和 B 。 A 和 B 的 前缀公共数组 定义为数组 C ，其中 C[i] 是数组 A 和 B 到下标为 i 之前公共元素的数目。 请你返回 A 和 B 的 前缀公共数组 。 如果一个长度为 n 的数组包含 1 到 n 的元素恰好一次，我…...
【jvm】jinfo使用
jinfo介绍 jinfo 是一个命令行工具，用于查看和修改 Java 虚拟机（JVM）的配置参数。它通常用于调试和性能调优。 使用 jinfo 命令，你可以查看当前 JVM 的配置参数，包括堆大小、线程数、垃圾回收器类型等。此外…...
C++ Thread 源码 观后 自我感悟 整理
Thread的主要数据成员为_Thr 里面存储的是线程句柄和线程ID 先看看赋值运算符的移动构造 最开始判断线程的ID是否不为0 _STD就是使用std的域 如果线程ID不为0，那么就抛出异常 这里_New_val使用了完美转发，交换_Val和_New_val的值 _Thr _STD exchange(_…...
2024阿里云2核2G服务器租用价格99元和61元一年
阿里云2核2G服务器配置优惠价格61元一年和99元一年，61元是轻量应用服务器2核2G3M带宽、50G高效云盘；99元服务器是ECS云服务器经济型e实例ecs.e-c1m1.large，2核2G、3M固定带宽、40G ESSD entry系统盘，阿里云活动链接 aliyunfuwuqi.…...
刚刚！奥特曼剧透GPT-5，将在高级推理功能上实现重大进步
奥特曼：“GPT-5的能力提升幅度将超乎人们的想象…” 自 Claude 3 发布以来，外界对 GPT-5 的期待越来越强。毕竟Claude 3已经全面超越了 GPT-4，成为迄今为止最强大模型。 而且距离 GPT-4 发布已经过去了整整一年时间，2023年3月14…...
uniapp使用Canvas给图片加水印把临时文件上传到服务器
生成的临时路径是没有完整的路径没办法上传到服务器 16:37:40.993 添加水印后的路径, _doc/uniapp_temp_1710923708347/canvas/17109238597881.png 16:37:41.041 添加水印后的完整路径, file://storage/emulated/0/Android/data/com.jingruan.zjd/apps/__UNI__BE4B000/doc/…...
小希的迷宫
目录 描述 输入 输出 样例输入 样例~~输出~~ 思路 code 描述 Gardon的迷宫城堡小希玩了很久（见Problem B），现在她也想设计一个迷宫让Gardon来走。但是她设计迷宫的思路不一样，首先她认为所有的通道都应该是双向连通的&…...
MySQL索引剖析【了解背后的数据结构】
文章目录 常用索引概念聚簇索引 🎉非聚簇索引（二级索引） 数据结构选择Hash结构 ⭐️有序数组二叉搜索树AVL树（平衡二叉搜索树）B-Tree（多路平衡查找树）BTree ⭐️ MySQL中索引的实现InnoDB 索引实…...
004——内存映射（基于鸿蒙和I.MAX6ULL）
目录 一、 ARM架构内存映射模型 1.1 页表项 1.2 一级页表映射过程 1.3 二级页表映射过程 1.4 cache 和 buffer 二、 鸿蒙内存映射代码学习 三、 为板子编写内存映射代码 3.1 内存地址范围 3.2 设备地址范围 一、 ARM架构内存映射模型 （以前我以为页表机制…...
150 Linux C++ 通讯架构实战6 服务器程序目录规划，makefile编写
从无到有产生这套 通讯架构源代码【项目/工程】 一，服务器程序目录规划 一个完整的项目 肯定会有多个源文件，头文件，会分别存放到多个目录； 我们这里要规划项目的目录结构； 注意：不固安是目录还是文件&am…...
OpenCV支持哪些类型的文件格式读写？
OpenCV支持多种类型的文件格式读写，包括但不限于以下格式： Windows位图文件：包括BMP和DIB格式。JPEG文件：支持JPEG、JPG和JPE三种扩展名。便携式网络图片：即PNG格式。便携式图像格式：包括PBM、PGM和PPM三种…...
数据库中使用IN操作效率问题
1. IN操作的基本概念 IN操作符在SQL中用于指定某个字段的值是否匹配列表中的任何值。这是一个条件操作符，用于在WHERE子句中过滤记录。 SQL语法示例： SELECT * FROM table_name WHERE column_name IN (value1, value2, ...); 2. IN操作的效率问题 当…...
unity学习（67）——控制器Joystick Pack方向
1.轮盘直接复制一个拖到右边就ok了，轮盘上是有脚本的。（只复制） 2.上面的显示窗也可以复制，但是要绑定对应的轮盘（unity中修改变量），显示窗上是有脚本的。（复制改变量） 3…...
MATLAB的使用(一）
一，MATLAB的编程特点 a,语法高度简化； b,脚本式解释型语言； c,针对矩阵的高性能运算； d,丰富的函数工具箱支持； e,通过matlab本体构建跨平台； 二，MATLAB的界面 工具栏:提供快捷操作编辑器…...
JMeter并发工具的使用
视频地址：Jmeter安装教程01_Jmeter之安装以及环境变量配置_哔哩哔哩_bilibili 一、JMeter是什么 JMeter是一款免安装包，官网下载好后直接解压缩并配置好环境变量就可以使用。 环境变量配置可参考：https://www.cnblogs.com/liulinghua90/p/…...
基于springboot+vue的毕业就业信息管理系统
博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战，欢迎高校老师\讲师\同行交流合作 主要内容：毕业设计(Javaweb项目|小程序|Pyt…...
有什么小程序适合个人开发？
在这个信息爆炸的时代，小程序已经成为了我们生活中的一部分。无论是出行、购物还是娱乐，小程序都能为我们提供便捷的服务。对于个人开发者来说，开发一个小程序不仅可以锻炼自己的技术能力，还可以为他人提供便利，甚至有…...
LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明
LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造，完美适配AGV和无人叉车。同时，集成以太网与语音合成技术，为各类高级系统（如MES、调度系统、库位管理、立库等）提供高效便捷的语音交互体验。 L…...
Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误
HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误，它们的含义、原因和解决方法都有显著区别。以下是详细对比： 1. HTTP 406 (Not Acceptable) 含义： 客户端请求的内容类型与服务器支持的内容类型不匹…...
解决Ubuntu22.04 VMware失败的问题 ubuntu入门之二十八
现象1 打开VMware失败 Ubuntu升级之后打开VMware上报需要安装vmmon和vmnet，点击确认后如下提示 最终上报fail 解决方法 内核升级导致，需要在新内核下重新下载编译安装 查看版本 $ vmware -v VMware Workstation 17.5.1 build-23298084$ lsb_release…...
linux 下常用变更-8
1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行，YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID： YW3…...
css的定位（position）详解：相对定位 绝对定位 固定定位
在 CSS 中，元素的定位通过 position 属性控制，共有 5 种定位模式：static（静态定位）、relative（相对定位）、absolute（绝对定位）、fixed（固定定位）和…...
相机Camera日志分析之三十一：高通Camx HAL十种流程基础分析关键字汇总（后续持续更新中）
【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了：有对最普通的场景进行各个日志注释讲解，但相机场景太多，日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志，通过下列分类关键字搜索，即可清晰的分析不同场景的相机运行流程差异…...
【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统
目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索（基于物理空间 广播范围）2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...
DeepSeek 技术赋能无人农场协同作业：用 AI 重构农田管理 “神经网”
目录 一、引言二、DeepSeek 技术大揭秘2.1 核心架构解析2.2 关键技术剖析 三、智能农业无人农场协同作业现状3.1 发展现状概述3.2 协同作业模式介绍 四、DeepSeek 的 “农场奇妙游”4.1 数据处理与分析4.2 作物生长监测与预测4.3 病虫害防治4.4 农机协同作业调度 五、实际案例大…...
Yolov8 目标检测蒸馏学习记录
yolov8系列模型蒸馏基本流程，代码下载：这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中，**知识蒸馏（Knowledge Distillation）**被广泛应用，作为提升模型…...
Chromium 136 编译指南 Windows篇：depot_tools 配置与源码获取（二）
引言 工欲善其事，必先利其器。在完成了 Visual Studio 2022 和 Windows SDK 的安装后，我们即将接触到 Chromium 开发生态中最核心的工具——depot_tools。这个由 Google 精心打造的工具集，就像是连接开发者与 Chromium 庞大代码库的智能桥梁…...