当前位置： 首页 > news >正文

微调Qwen2:7B模型，加入未知信息语料

news 2026/5/31 10:13:46

对于QWen2这样的模型，在微调的时候，语料的投喂格式满足ChatML这样的格式！！！

OpenAI - ChatML:

下面是ChatML格式的介绍：

https://github.com/openai/openai-python/blob/release-v0.28.0/chatml.mdhttps://github.com/openai/openai-python/blob/release-v0.28.0/chatml.md

传统上，GPT模型使用非结构化文本。
ChatGPT 模型需要一种结构化格式，称为 Chat Markup Language 聊天标记语言（简称 ChatML）。
ChatML 文档由一系列消息组成。每条消息都包含一个 header（现在由说这句话的人组成，但将来将包含其他元数据）和 内容（现在是文本有效负载，但将来将包含其他数据类型）。

我们仍在不断发展 ChatML，但当前版本 (ChatML v0) 可以用我们即将推出的“字典列表”JSON 格式表示，如下所示：

相关文章：

微调Qwen2:7B模型，加入未知信息语料

对于QWen2这样的模型，在微调的时候，语料的投喂格式满足ChatML这样的格式！！！ OpenAI - ChatML: 下面是ChatML格式的介绍： https://github.com/openai/openai-python/blob/release-v0.28.0/chatml.mdhttps://github.com/openai/openai-python/blob/release-v0.28.0/chat…...

编程日记 2025/1/24 19:50:15

【Ubuntu】安装SSH启用远程连接

【Ubuntu】安装OpenSSH启用远程连接 零、安装软件 使用如下代码安装OpenSSH服务端： sudo apt install openssh-server壹、启动服务 使用如下代码启动OpenSSH服务端： sudo systemctl start ssh贰、配置SSH（可跳过） 配置文件 …...

编程日记 2025/1/24 19:45:28

【理论】测试开发工程师进阶路线

一、腾讯与阿里的质量保证服务参考 阿里云效测试能力与架构 腾讯 WeTest 测试能力全景图 二、测试开发技术体系 1.用户端测试： Web/App 测试 Web/App 自动化测试 用户端专项测试 用户端安全测试 2.服务端测试： 接口协议与 Mock 接口自动化测试 服务端…...

编程日记 2025/1/24 19:42:58

【BQ3568HM开发板】如何在OpenHarmony上通过校园网的上网认证

引言 前面已经对BQ3568HM开发板进行了初步测试，后面我要实现MQTT的工作，但是遇到一个问题，就是开发板无法通过校园网的认证操作。未认证的话会，学校使用的深澜软件系统会屏蔽所有除了认证用的流量。好在我们学校使用的认证系统和…...

编程日记 2025/1/24 19:39:24

動態住宅IP提升網站訪問成功率

動態住宅IP通常與普通家庭用戶的網路連接相關聯。這種IP地址的特點在於，它是動態變化的，用戶在每次連接時可能會獲得不同的IP地址。這與靜態IP形成了鮮明對比，後者在連接期間保持不變。傳統上，IP地址分為住宅IP和數據中心IP兩類。…...

编程日记 2025/1/24 19:34:49

2024年博客之星主题创作|2024年蓝桥杯与数学建模年度总结与心得

引言 2024年，我在蓝桥杯编程竞赛和数学建模竞赛中投入了大量时间和精力，这两项活动不仅加深了我对算法、数据结构、数学建模方法的理解，还提升了我的解决实际问题的能力。从蓝桥杯的算法挑战到数学建模的复杂应用，我在这些竞赛中…...

编程日记 2025/1/24 19:26:04

Spring Boot/MVC

一、Spring Boot的创建 1.Spring Boot简化Spring程序的开发,使用注解和配置的方式开发 springboot内置了tomact服务器 tomact:web服务器,默认端口号8080,所以访问程序使用8080 src/main/java:Java源代码 src/main/resource:静态资源或配置文件,存放前端代码(js,css,html) s…...

编程日记 2025/1/24 19:24:02

由于请求的竞态问题，前端仔喜提了一个bug

在平常的开发过程中，你可能会遇到这样一个bug。 测试：我在测一个输入框搜索的功能时，告诉你通过输入框输入的内容，和最终通过输入内容搜索出来的结果对不上。 前端：我是通过调用后端接口拿到的数据，这明显…...

编程日记 2025/1/24 19:23:01

【Day25 LeetCode】贪心Ⅲ

一、贪心Ⅲ 1、加油站 134 这道题直接想法是采用二重循环暴力搜索，简单粗暴但是会超时，是因为以每个点为起点最坏的情况可能都要遍历完全部的序列，有大量重复的操作，那有没有优化的地方呢？有一个结论：如果…...

编程日记 2025/1/24 19:20:58

蓝桥杯练习日常|递归-进制转换

未完待续，，，，，， 目录 蓝桥云课760数的计算 一、递归 题目： 我的解题代码： 二、进制转换 任意进制转十进制： 十进制转换为其他进制： 进制蓝桥杯题目…...

编程日记 2025/1/24 19:19:57

AI Agent：深度解析与未来展望

一、AI Agent的前世：从概念到萌芽 （一）早期探索 AI Agent的概念可以追溯到20世纪50年代，早期的AI研究主要集中在简单的规则系统上，这些系统的行为是确定性的，输出由输入决定。随着时间的推移，…...

编程日记 2025/1/24 19:18:55

《SwinIR：使用Swin-Transformer图像恢复》学习笔记

paper：2108.10257 GitHub：GitHub - JingyunLiang/SwinIR： SwinIR： 使用 Swin Transformer 进行图像修复 （官方仓库） 目录 摘要 1、Introduction 2、Related Work 2.1 图像修复 2.2 视觉Transformer…...

编程日记 2025/1/24 19:17:54

如何在Nginx服务器上配置访问静态文件目录并提供文件下载功能

引言 在搭建网站的过程中，我们经常需要让访客通过URL直接访问或下载存储在服务器特定目录下的静态文件。本文将详细介绍如何在Nginx服务器环境中配置一个名为"download"的文件目录，以便用户能够通过浏览器访问并下载其中的手册和其他文档。 …...

编程日记 2025/1/24 19:08:44

ansible自动化运维实战--script、unarchive和shell模块（6）

文章目录 一、script模块1.1、功能1.2、常用参数1.3、举例 二、unarchive模块2.1、功能2.2、常用参数2.3、举例 三、shell模块3.1、功能3.2、常用参数3.3、举例 一、script模块 1.1、功能 Ansible 的 script 模块允许你在远程主机上运行本地的脚本文件，其提供了一…...

编程日记 2025/1/24 19:03:39

理解深度学习pytorch框架中的线性层

文章目录 1. 数学角度： y W x b \displaystyle y W\,x b yWxb示例 2. 编程实现角度： y x W T b \displaystyle y x\,W^T b yxWTb3. 常见错误与易混点解析4. 小结参考链接 在神经网络或机器学习的线性层（Linear Layer / Fully Connect…...

编程日记 2025/1/24 18:59:34

电路研究9.2——合宙Air780EP使用AT指令

这里正式研究AT指令的学习了，之前只是接触的AT指令，这里则是深入分析AT指令了。 软件的开发方式： AT：MCU 做主控，MCU 发 AT 命令给模组的开发方式，模组仅提供标准的 AT 固件， 所有的业务控制逻辑…...

编程日记 2025/1/24 18:58:33

Qt数据库相关操作

目录 一、前言 二、类与接口介绍 1.连接管理类 2.数据操作类 3.数据模型类 4.其它类 三、主要操作流程 1.示例 2.绑定参数 3.事务操作 一、前言 要在Qt中操作数据库，首先要安装对应的数据库，还要确保安装了Qt SQL模块。使用MySQL时&#xff0…...

编程日记 2025/1/24 18:53:25

2025-01-22 Unity Editor 1 —— MenuItem 入门

文章目录 1 Editor 文件夹2 MenuItem3 使用示例3.1 打开网址3.2 打开文件夹3.3 Menu Toggle3.4 Menu 代码复用3.5 MenuItem 激活与失活4 代码示例 1 Editor 文件夹 ​ Editor 文件夹是 Unity 中的特殊文件夹，Unity 中所有编辑器相关的脚本都需要放置在其中&#xf…...

编程日记 2025/1/24 18:52:24

解锁C#编程新姿势：Z.ExtensionMethods入门秘籍

一、引言 在 C# 的开发旅程中，我们常常会遇到各种重复性高、复杂度低的任务，这些任务虽然基础，但却占据了我们大量的开发时间。比如处理字符串时，经常需要进行非空判断、格式转换；操作日期时间时，计算某个…...

编程日记 2025/1/24 18:50:20

不使用 JS 纯 CSS 获取屏幕宽高

前言 在现代前端开发中，获取屏幕的宽度和高度通常依赖于 JavaScript。然而现代 CSS 也可以获取到屏幕的宽高，通过自定义属性（CSS Variables）和一些数学函数来实现这一目标。本文将详细解析如何使用 CSS 的 property 规则和一些数…...

编程日记 2025/1/24 18:48:17

【DeepSeek-R1代码相似度引擎解密】：3层语义比对机制、Token归一化偏差修正与Jaccard阈值黄金分割点

更多请点击： https://kaifayun.com 第一章：DeepSeek代码重复检测 DeepSeek-R1 模型在训练过程中引入了严格的代码去重机制，其核心目标是消除训练语料中语义等价或高度相似的代码片段，从而提升模型对真实编程模式的学习能力与泛化…...

编程新知 2026/5/26 3:17:59

告别网盘客户端！用Alist+RaiDrive把百度云盘变成电脑本地文件夹（保姆级图文教程）

用AlistRaiDrive实现网盘本地化管理的终极方案 你是否厌倦了电脑上安装多个网盘客户端，不仅占用系统资源，操作还繁琐割裂？每次上传下载文件都要在不同客户端间切换，效率低下。现在，通过Alist和RaiDrive的组合&#xf…...

编程新知 2026/5/26 2:49:47

为Alchitry Au FPGA开发板外接JTAG接口的完整指南

1. 项目概述与核心价值如果你正在使用基于Xilinx Artix-7 FPGA的Alchitry Au或Au开发板，并且已经厌倦了每次调试或烧录都要依赖板载的USB-JTAG桥接芯片，或者你的项目已经将板载USB接口挪作他用，那么为你的开发板外接一个独立的JTAG调试器&…...

编程新知 2026/5/26 2:05:15

PDF 可视化签名盖章页技术解析

本文是我在设备检测系统项目开发中，无设备检测的技术实现备忘录，记载实现过程。 本文以 PC 端页面 sign-pdf.vue 为主线，说明「无设备报检」在报告审批环节如何通过前后端协作，完成报告/记录 PDF 上的签名、印章、报告编号拖放定位，并在审批通过后由后端合并生成带签章的正…...

编程新知 2026/5/26 0:36:29

别再死记硬背了！用5个生活化比喻彻底搞懂Linux进程的fork、exec和wait

别再死记硬背了！用5个生活化比喻彻底搞懂Linux进程的fork、exec和wait想象你正在厨房准备一顿大餐。菜谱上写着"切菜"、"炒菜"、"装盘"等步骤，但突然发现需要同时处理多道菜品——这时候，你会本能地让家人分工…...

编程新知 2026/5/26 0:03:57

巧用对称性与平均值原理：低成本实现高精度电阻分压器校准

1. 项目概述：用数学思维突破测量设备的精度极限在电子实验室里捣鼓精密电路，尤其是涉及到电压基准、信号调理或者高精度ADC前端时，一个绕不开的坎就是精密分压器。你可能在设计一个需要0.1%甚至更高精度的分压网络，但手头的万用表…...

编程新知 2026/5/25 23:27:14

二十六.签名与脚本(1)--脚本介绍

1.区块链脚本介绍在之前的章节中，我们了解了签名与验证相关，但是btc的交易数据，签名和验证，不是单纯的，还有脚本深度参与其中。我们从开始来：bool SendMoney(CScript scriptPubKey, int64 nValue, CWalletT…...

编程新知 2026/5/25 21:23:41

【RT-DETR实战】070、模型分析工具：PyTorch Profiler性能分析

上周在部署RT-DETR到边缘设备时遇到一个诡异现象：模型推理时延波动极大，有时30ms，偶尔突然跳到200ms。 盯着代码看了半天没发现逻辑问题，数据流也正常。这种时候，靠猜是没用的，必须上性能分析工具——PyTorch Profiler。 今天我们就来聊聊怎么用它揪出那些藏在细节里的…...

编程新知 2026/5/25 17:36:33

VideoDownloadHelper终极指南：解锁浏览器视频下载的完整解决方案

VideoDownloadHelper终极指南：解锁浏览器视频下载的完整解决方案 【免费下载链接】VideoDownloadHelper Chrome Extension to Help Download Video for Some Video Sites. 项目地址: https://gitcode.com/gh_mirrors/vi/VideoDownloadHelper 还在为无法保存网…...

编程新知 2026/5/25 15:54:17

概率论：常见分布的期望与方差、中心极限定理、切比雪夫不等式

目录 一、0、1分布 二、二项分布 三、泊松分布 四、均匀分布​ 五、指数分布 六、正态分布 七、中心极限定理及其应用 （1）中心极限定理的定义 （2）使用示例 八、切比雪夫不等式 （1）切比雪夫不…...

编程新知 2026/5/25 15:50:06