当前位置：首页 > news >正文

[论文笔记] chatgpt系列 2.6 DeepSpeed-chat 数据集

news 2026/3/30 5:37:32

一、FT数据集 & Reward model数据集

Deepspeed-chat 源代码的数据集：

Dahoas/rm-static: 这是一个用于强化学习的静态环境数据集，包含了一个机器人在一个固定环境中的运动轨迹。该数据集旨在用于评估强化学习算法在静态环境下的表现。
Dahoas/full-hh-rlhf: 这是一个用于深度强化学习的数据集，包含了一个机器人在一个动态环境中的运动轨迹。该数据集旨在用于评估深度强化学习算法在动态环境下的表现。
多轮对话数据集 Dahoas/synthetic-instruct-gptj-pairwise: 这是一个用于自然语言处理的数据集，包含了两个人之间的对话。该数据集旨在用于评估自然语言处理模型在对话生成任务中的表现。
yitingxie/rlhf-reward-datasets: 这是一个用于强化学习的数据集，包含了多个机器人在不同环境中的运动轨迹和奖励信号。该数据集旨在用于评估强化学习算法在多智能体系统中的表现。

二、换成自定义数据集

wikitext2、ptb、c4

[论文笔记] chatgpt系列 2.6 DeepSpeed-chat 数据集

一、FT数据集 & Reward model数据集 Deepspeed-chat 源代码的数据集： Dahoas/rm-static: 这是一个用于强化学习的静态环境数据集，包含了一个机器人在一个固定环境中的运动轨迹。该数据集旨在用于评估强化学习算法在静态环境下的表现。 Dahoas/full-hh-rlhf: 这是一个用于…...

编程日记 2023/8/1 22:19:40

探究SAM和眼球追踪技术在自动医学图像分割的应用（2023+GazeSAM: What You See is What You Segment）

摘要： 本研究探讨眼动追踪技术与SAM的潜力，以设计一个协同的人机交互系统，自动化医学图像分割。提出了GazeSAM系统，使放射科医生能够在图像诊断过程中通过简单地查看感兴趣的区域来收集分割掩模。该系统跟踪放射科医生的眼球运动…...

编程日记 2023/8/1 22:18:39

excle中的条件求和SUMIF

问题：将每一行中红色文字的前一个值累计求和到境外总数这一列使用的公式自制单元格的格式计算公式：ctrlf3打开格式管理，创建如下公式，其中24是表示获取文字颜色由于sumif只能直接与第二参数条件比较，所以先使用IF(公…...

编程日记 2023/8/1 22:17:37

python-网络爬虫.Request

Request python中requests库使用方法详解： 一简介： Requests 是Python语言编写，基于urllib， 采用Apache2 Licensed开源协议的 HTTP 库。与urllib相比，Requests更加方便，处理URL资源特别流畅。可以节约我…...

编程日记 2023/8/1 22:16:36

时序预测 | MATLAB实现GRNN广义回归神经网络时间序列预测（多指标，多图）

时序预测 | MATLAB实现GRNN广义回归神经网络时间序列预测（多指标，多图）目录时序预测 | MATLAB实现GRNN广义回归神经网络时间序列预测（多指标，多图）效果一览基本介绍程序设计参考资料效果一览基本介绍 1.MATLAB实现GRNN广义回归神经网络时间序列预测（完整源码和数据) …...

编程日记 2023/8/1 22:15:34

如何看待低级爬虫与高级爬虫？

爬虫之所以分为高级和低级，主要是基于其功能、复杂性和灵活性的差异。根据我总结大概有下面几点原因： 功能和复杂性：高级爬虫通常提供更多功能和扩展性，包括处理复杂页面结构、模拟用户操作、解析和清洗数据等。它们解决了开发者…...

编程日记 2023/8/1 22:14:27

3.分支与循环

一、分支结构 1.概念一个 CPP 程序默认是按照代码书写顺序，从上到下依次执行下来的。但是，有时我们需要选择性的执行某些语句，来实现更加复杂的逻辑，这时候就需要分支结构语句的功能来实现。选择合适的分支语句可以显著提高程序…...

编程日记 2023/8/1 22:13:26

面试之多线程案例（四）

1.单例模式单例模式是指在内存中只会创建且仅创建一次对象的设计模式。在程序中多次使用同一个对象且作用相同时，为了防止频繁地创建对象使得内存飙升，单例模式可以让程序仅在内存中创建一个对象，让所有需要调用的地方都共享这一单例对象。…...

编程日记 2023/8/1 22:12:24

抄写Linux源码(Day1：获取并运行 Linux0.11)

Day1：获取并运行 Linux0.11 参考资料：https://zhuanlan.zhihu.com/p/438577225 这是我参考的一个别人写的 Linux0.11 解读：https://github.com/dibingfa/flash-linux0.11-talk 我获取 Linux-0.11 源码的链接：https://github.com/…...

编程日记 2023/8/1 22:11:21

大数据_Hadoop_Parquet数据格式详解

之前有面试官问到了parquet的数据格式，下面对这种格式做一个详细的解读。参考链接 ： 列存储格式Parquet浅析 - 简书 Parquet 文件结构与优势_parquet文件_KK架构的博客-CSDN博客 Parquet文件格式解析_parquet.block.size_davidfantasy的博客-CSDN博…...

编程日记 2023/8/1 22:10:20

Docker的安装和部署

目录一、Docker的安装部署 （1）关闭防火墙 （2）关闭selinux （3）安装docker引擎 （4）启动docker （5）设置docker自启动 （6）测试doc…...

编程日记 2023/8/1 22:09:19

FPGA项目实现：秒表设计

文章目录项目要求项目设计项目要求设计一个时钟秒表，共六个数码管，前两位显示分钟，中间两位显示时间秒，后两位显示毫秒的高两位，可以通过按键来开始、暂停以及重新开始秒表的计数。项目设计为完成此项目共设计…...

编程日记 2023/8/1 22:08:17

Postgresql源码（109）并行框架实例与分析

1 PostgreSQL并行参数系统参数系统总worker限制：max_worker_processes 默认8 系统总并发限制：max_parallel_workers 默认8 单Query限制：max_parallel_workers_per_gather 默认2 表参数限制：parallel_workers alter table tbl …...

编程日记 2023/8/1 22:07:16

ES派生类的prototype方法中，不能访问super的解决方案

1 下面的B.prototype.compile方法中，无法访问super class A {compile() {console.log(A)} }class B extends A {compile() {super.compile()console.log(B)} }B.prototype.compile function() {super.compile() // 报错，不可以在此处使用superconsole.…...

编程日记 2023/8/1 22:06:15

使用adb通过电脑给安卓设备安装apk文件

最近碰到要在开发板上安装软件的问题，由于是开发板上的安卓系统没有解析apk文件的工具，所以无法通过直接打开apk文件来安装软件。因此查询各种资料后发现可以使用adb工具，这样一来可以在电脑上给安卓设备安装软件。 ADB 就是连接 Android 手…...

编程日记 2023/8/1 22:05:13

113、单例Bean是单例模式吗？

单例Bean是单例模式吗？通常来说，单例模式是指在一个JVM中，一个类只能构造出来一个对象，有很多方法来实现单例模式，比如懒汉模式，但是我们通常讲的单例模式有一个前提条件就是规定在一个JVM中，那如果要在两个JVM中保证单例呢？那可能就要用分布式锁这些技术，这里的重点…...

编程日记 2023/8/1 22:04:13

RabbitMQ 集群部署

RabbiMQ 是用 Erlang 开发的，集群非常方便，因为 Erlang 天生就是一门分布式语言，但其本身并不支持负载均衡。 RabbitMQ 的集群节点包括内存节点、磁盘节点。RabbitMQ 支持消息的持久化，也就是数据写在磁盘上，最合适的方案就是既有内存节点，又有磁盘节点。 RabbitMQ 模式大…...

编程日记 2023/8/1 22:03:08

2023年【零声教育】13代C/C++Linux服务器开发高级架构师课程体系分析

对于零声教育的C/CLinux服务器高级架构师的课程到2022目前已经迭代到13代了，像之前小编也总结过，但是课程每期都有做一定的更新，也是为了更好的完善课程跟上目前互联网大厂的岗位技术需求，之前课程里面也包含了一些小的分支&#…...

编程日记 2023/8/1 22:02:05

iOS开发-实现热门话题标签tag显示控件

iOS开发-实现热门话题标签tag显示控件话题标签tag显示非常常见，如选择你的兴趣，选择关注的群，超话，话题等等。一、效果图二、实现代码由于显示的是在列表中，这里整体控件是放在UITableViewCell中的。 2.1 标签…...

编程日记 2023/8/1 22:01:04

linux系统磁盘性能监视工具iostat

目录一、iostat介绍二、命令格式三、命令参数四、参考命令：iostat -c -x -k -d 1 （一）输出CPU 属性值 （二）CPU参数分析 （三）磁盘每一列的含义 （四）磁盘参数分…...

编程日记 2023/8/1 22:00:03

OpenClaw+GLM-4.7-Flash数据助手：Excel报表自动生成与分析

OpenClawGLM-4.7-Flash数据助手：Excel报表自动生成与分析 1. 为什么需要自动化数据助手作为一位经常与Excel报表打交道的分析师，我每天要花大量时间重复执行数据清洗、格式转换和基础分析。最痛苦的是每月底需要手动合并十几个分公司的销售数据&#…...

编程新知 2026/3/30 4:51:58

PCB布局设计规范与工程实践要点

PCB布局设计思路与工程实践指南1. 布局设计基本原则1.1 结构约束优先原则在PCB布局初期，必须优先考虑机械结构约束条件：定位安装孔、连接器等结构件需严格按照外壳设计文件放置连接器1脚方向必须与结构设计匹配，避免装配错误元件高度不得超过…...

编程新知 2026/3/30 4:39:55

STM32F103精英板实战：手把手教你移植开源Modbus主机库，实现稳定主从通信

STM32F103精英板实战：手把手教你移植开源Modbus主机库，实现稳定主从通信 Modbus协议作为工业自动化领域最常用的通信协议之一，其简单可靠的特性使其在各种嵌入式设备中广泛应用。对于使用STM32F103系列开发板的工程师来说，如何快速…...

编程新知 2026/3/30 4:21:28

UE5 Python远程执行：利用UDP组播实现高效命令分发

1. 为什么需要UE5 Python远程执行？ 想象一下这个场景：你正在开发一个大型UE5项目，团队里有10个设计师需要同时修改场景参数。传统做法是每个人手动操作编辑器，或者通过RPC一个个连接。这种方式的效率有多低，相信每个开…...

编程新知 2026/3/30 2:50:39

微机原理实验一代码逐行精讲：从‘Hello World’到ASCII转换的底层逻辑

微机原理实验一代码逐行精讲：从‘Hello World’到ASCII转换的底层逻辑当屏幕上跳出"Hello World!"时，很少有人思考这行文字背后究竟发生了什么。这段经典的汇编代码就像一扇门，推开它你将看到CPU如何与内存对话、中断服务程序如何…...

编程新知 2026/3/30 2:22:31

海尔智能家居无缝接入HomeAssistant：打破品牌壁垒的终极指南

海尔智能家居无缝接入HomeAssistant：打破品牌壁垒的终极指南【免费下载链接】haier 项目地址: https://gitcode.com/gh_mirrors/ha/haier 还在为家中海尔设备无法与其他智能设备联动而烦恼吗？想象一下，炎热的夏天回家前就能远程开启…...

编程新知 2026/3/30 2:04:27

Java轻量级边缘运行时深度解析（OpenJDK GraalVM Substrate VM在ARM64 IoT设备上的实测压测报告）

第一章：Java轻量级边缘运行时概览与技术定位Java轻量级边缘运行时是面向资源受限边缘设备（如工业网关、智能传感器、车载终端）设计的精简型JVM执行环境，它在保持Java语言语义兼容性的同时，显著降低内存占用、启动延迟与…...

编程新知 2026/3/30 1:15:57

AI视频生成工具ComfyUI-WanVideoWrapper零基础配置指南

AI视频生成工具ComfyUI-WanVideoWrapper零基础配置指南【免费下载链接】ComfyUI-WanVideoWrapper 项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapper 还在为视频生成工具的复杂配置烦恼？想快速掌握AI视频创作却被技术门槛劝退&am…...

编程新知 2026/3/30 0:23:39

FDS火灾动力学模拟器完整指南：从入门到精通建筑消防安全分析

FDS火灾动力学模拟器完整指南：从入门到精通建筑消防安全分析【免费下载链接】fds Fire Dynamics Simulator 项目地址: https://gitcode.com/gh_mirrors/fd/fds 想要准确预测火灾中的烟雾扩散路径？需要科学评估建筑物的人员疏散时间？F…...

编程新知 2026/3/30 0:05:25

FPGA小白也能懂：用Verilog在Xilinx Vivado里驱动HC-SR04超声波模块（附完整仿真）

FPGA实战：从零构建超声波测距系统（VerilogVivado全流程解析） 第一次接触FPGA时，最让人头疼的莫过于如何将抽象的硬件描述语言转化为实际可运行的电路。去年我在指导电子设计竞赛时，发现学生们对超声波模块的应用需求很…...

编程新知 2026/3/29 23:53:23

一、FT数据集 & Reward model数据集

二、换成自定义数据集

相关文章：