当前位置： 首页 > news >正文

如何基于transformers库通过训练Qwen/DeepSeek模型的传统分类能力实现文本分类任务

news 2025/9/21 6:52:34

文章目录

    • 模型与环境准备
    • 文档分析
    • 源码解读
    • 模型训练及推理方式
    • 进阶：CPU与显存的切换
    • 进阶：多卡数据并行训练
      • 🔑 DDP 训练过程核心步骤
      • 🚫 DDP 不适用于模型并行
      • ⚖️ DDP vs. Model Parallelism
      • ⚙️ 解决大模型训练的推荐方法

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

在这里插入图片描述

模型与环境准备

首先从huggingface上下载Qwen2或者Qwen2.5模型到本地，我这里选择的是0.5或是1.5b大小的模型。DeepSeek开源的其他模型都太大了，只有基于Qwen蒸馏得到的模型较小可以用来训练。所以虽然说的是Qwen/DeepSeek模型，本质上都是Qwen模型。

在这里插入图片描述

注意虽然这些模型都是生成式模型，但是由于它们都是基于transformer架构，所以本质上和Bert等模型一样，是可以训练它们用来做传统的文本分类的。

我们

相关文章：

如何基于transformers库通过训练Qwen/DeepSeek模型的传统分类能力实现文本分类任务

文章目录 模型与环境准备文档分析源码解读模型训练及推理方式进阶：CPU与显存的切换进阶：多卡数据并行训练🔑 DDP 训练过程核心步骤🚫 DDP 不适用于模型并行⚖️ DDP vs. Model Parallelism⚙️ 解决大模型训练的推荐方法🎉进入大模型应用与实战专栏 | 🚀查看更多专栏…...

编程日记 2025/2/22 23:07:30

开源一款I2C电机驱动扩展板-FreakStudio多米诺系列

总线直流电机扩展板 原文链接： FreakStudio的博客 摘要 设计了一个I2C电机驱动板，通过I2C接口控制多个电机的转速和方向，支持刹车和减速功能。可连接16个扩展板，具有PWM输出、过流过热保护和可更换电机驱动芯片。支持按键控制…...

编程日记 2025/2/22 23:06:28

FFmpeg+WebSocket+JsMpeg实时视频流实现方案

之前写的使用FFmpeg Nginx HLS流媒体播放方案，适合对实时性要求不高的需求，存在延迟，FFmpeg需要将视频流存储到本地文件，而本次方案FFmpeg不需要将视频流存储到本地文件，而是直接将转换后的视频流（如MJPE…...

编程日记 2025/2/22 23:05:26

【Linux】Linux 文件系统—— 探讨软链接(symbolic link)

ℹ️大家好，我是练小杰，周五又到了，明天应该就是牛马的休息日了吧！！😆 前天我们详细介绍了 硬链接的特点，现在继续探讨 软链接的特点，并且后续将添加更多相关知识噢，谢谢…...

编程日记 2025/2/22 23:04:24

排序与算法：插入排序

执行效果 插入排序的执行效果是这样的： 呃……看不懂吗？没关系，接着往下看介绍 算法介绍 插入排序（Insertion Sort）是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据&#xff0c…...

编程日记 2025/2/22 22:53:11

HashMap 详解

一、核心特性 HashMap集合的key是无序不可重复的。 ①无序：插入顺序和取出顺序不一定相同。 ②不可重复：key具有唯一性。 向HashMap集合中put时，key如果重复的话，value会覆盖。 二、HashMap集合的key具有唯一性，向ke…...

编程日记 2025/2/22 22:47:05

DAY07 Collection、Iterator、泛型、数据结构

学习目标 能够说出集合与数组的区别数组:1.是引用数据类型的一种2.可以存储多个元素3.数组的长度是固定的 int[] arr1 new int[10]; int[] arr2 {1,2,3};4.数组即可以存储基本类型的数据,又可以存储引用数据类型的数据int[],double[],String[],Student[]集合:1.是引用数据类…...

编程日记 2025/2/22 22:46:02

计算机网络之物理层——基于《计算机网络》谢希仁第八版

(꒪ꇴ꒪ )，Hello我是祐言QAQ我的博客主页：C/C语言，数据结构，Linux基础，ARM开发板，网络编程等领域UP🌍快上🚘，一起学习，让我们成为一个强大的攻城狮&#xff0…...

编程日记 2025/2/22 22:45:01

简讯：Rust 2024 edition and v1.85.0 已发布

详见 https://blog.rust-lang.org/2025/02/20/Rust-1.85.0.html 升级方法：rustup update stable...

编程日记 2025/2/22 22:43:59

DeepSeek写俄罗斯方块手机小游戏

DeepSeek写俄罗斯方块手机小游戏 提问 根据提的要求，让DeepSeek整理的需求，进行提问，内容如下： 请生成一个包含以下功能的可运行移动端俄罗斯方块H5文件： 核心功能要求 原生JavaScript实现，适配手机屏幕 …...

编程日记 2025/2/22 22:37:52

uniapp中引入Vant Weapp的保姆级教学（包含错误处理）

废话不多说，直接上方法，网上的教学好多都是错误的 1.安装vant weapp 在Hbuilder的终端，输入以下代码 npm install vant/weapp -S --production 2.新建wxcomponents文件夹 在项目的跟目录新建一个“wxcomponents’文件夹，与app.…...

编程日记 2025/2/22 22:36:51

【Python爬虫(20)】解锁Python爬虫数据存储秘籍：文件存储全攻略

【Python爬虫】专栏简介：本专栏是 Python 爬虫领域的集大成之作，共 100 章节。从 Python 基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取&#xff…...

编程日记 2025/2/22 22:32:43

关于Unity的一些基础知识点汇总

1.Prefab实例化后，哪些资源是共用的？哪些资源是拷贝的？ 共用资源 脚本组件：实例化后的 Prefab 共享脚本组件的代码。若脚本中无状态数据，多个实例对脚本方法的调用会有相同逻辑。比如一个控制物体移动的脚本&#xff0…...

编程日记 2025/2/22 22:31:40

SpringCould+vue3项目的后台用户管理的CURD【Taurus教育平台】

文章目录 一.SpringCouldvue3项目的后台用户管理的CURD【Taurus教育平台】 1.1 背景 二.用户列表（分页查询） 2.1 前端Vue3 （Vue3-Element-Admin）2.2 后端SpringCould 处理 三. 用户信息删除 3.1 前端Vue3 （Vue3-Eleme…...

编程日记 2025/2/22 22:29:29

功能说明并准备静态结构

功能说明并准备静态结构 <template><div class"card-container"><!-- 搜索区域 --><div class"search-container"><span class"search-label">车牌号码&#xff1a;</span><el-input clearable placeho…...

编程日记 2025/2/22 22:23:14

solidity之Foundry安装配置(一)

一门面向合约的高级编程语言&#xff0c;主要用来编写以太坊只能合约。 Solidity受C语言&#xff0c;Python和js影响&#xff0c;但为编译成为以太坊虚拟机字节码在EVM上执行&#xff0c;很多特性和限制都和EVM相关。 Solidity 是静态类型语言&#xff0c;支持继承、库、自定义…...

编程日记 2025/2/22 22:15:05

请解释 Vue 中的生命周期钩子，不同阶段触发的钩子函数及其用途是什么？

vue生命周期钩子详解&#xff08;Vue 3版本&#xff09; 一、生命周期阶段划分 Vue组件的生命周期可分为四大阶段&#xff0c;每个阶段对应特定钩子函数&#xff1a; 创建阶段&#xff1a;初始化实例并准备数据挂载阶段&#xff1a;将虚拟DOM渲染为真实DOM更新阶段&#xff…...

编程日记 2025/2/22 22:13:03

C#上位机--选择语句（switch）

在 C# 上位机开发的广阔领域中&#xff0c;流程控制语句如同程序的 “交通枢纽”&#xff0c;精准地引导着程序的执行路径。继深入探讨if语句后&#xff0c;我们将目光聚焦于另一个重要的流程控制语句 ——switch语句。switch语句以其独特的多路分支结构&#xff0c;为处理多条…...

编程日记 2025/2/22 22:04:49

Hadoop初体验

一、HDFS初体验 1. shell命令操作 hadoop fs -mkdir /itcast hadoop fs -put zookeeper.out /itcast hadoop fs -ls / 2. Web UI页面操作 结论&#xff1a; HDFS本质就是一个文件系统有目录树结构 和Linux类似&#xff0c;分文件、文件夹为什么上传一个小文件也这…...

编程日记 2025/2/22 22:00:40

在vue2中操作数组，如何保证其视图的响应式

在 Vue 2 中&#xff0c;操作数组时需要注意一些方法不会触发视图的响应式更新。为了确保数组的操作是响应式的&#xff0c;可以使用 Vue 提供的响应式方法。以下是一些常见的操作及其替代方法&#xff1a; 使用 Vue.set 方法&#xff1a; 当你需要通过索引直接修改数组中的某个…...

编程日记 2025/2/22 21:58:37

相机Camera日志实例分析之二：相机Camx【专业模式开启直方图拍照】单帧流程日志详解

【关注我&#xff0c;后续持续新增专题博文&#xff0c;谢谢&#xff01;&#xff01;&#xff01;】 上一篇我们讲了&#xff1a; 这一篇我们开始讲&#xff1a; 目录 一、场景操作步骤 二、日志基础关键字分级如下 三、场景日志如下&#xff1a; 一、场景操作步骤 操作步…...

编程新知 2025/9/19 13:36:41

java 实现excel文件转pdf | 无水印 | 无限制

文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具，自己手写的难度，恐怕高级程序员花费一年的事件，也…...

编程新知 2025/7/18 10:35:00

AtCoder 第409​场初级竞赛 A~E题解

A Conflict 【题目链接】 原题链接&#xff1a;A - Conflict 【考点】 枚举 【题目大意】 找到是否有两人都想要的物品。 【解析】 遍历两端字符串&#xff0c;只有在同时为 o 时输出 Yes 并结束程序&#xff0c;否则输出 No。 【难度】 GESP三级 【代码参考】 #i…...

编程新知 2025/7/23 9:09:08

【AI学习】三、AI算法中的向量

在人工智能&#xff08;AI&#xff09;算法中&#xff0c;向量&#xff08;Vector&#xff09;是一种将现实世界中的数据&#xff08;如图像、文本、音频等&#xff09;转化为计算机可处理的数值型特征表示的工具。它是连接人类认知&#xff08;如语义、视觉特征&#xff09;与…...

编程新知 2025/8/12 22:58:13

让回归模型不再被异常值“带跑偏“，MSE和Cauchy损失函数在噪声数据环境下的实战对比

在机器学习的回归分析中&#xff0c;损失函数的选择对模型性能具有决定性影响。均方误差&#xff08;MSE&#xff09;作为经典的损失函数&#xff0c;在处理干净数据时表现优异&#xff0c;但在面对包含异常值的噪声数据时&#xff0c;其对大误差的二次惩罚机制往往导致模型参数…...

编程新知 2025/9/18 12:54:00

CRMEB 中 PHP 短信扩展开发：涵盖一号通、阿里云、腾讯云、创蓝

目前已有一号通短信、阿里云短信、腾讯云短信扩展 扩展入口文件 文件目录 crmeb\services\sms\Sms.php 默认驱动类型为&#xff1a;一号通 namespace crmeb\services\sms;use crmeb\basic\BaseManager; use crmeb\services\AccessTokenServeService; use crmeb\services\sms\…...

编程新知 2025/9/12 22:08:06

API网关Kong的鉴权与限流：高并发场景下的核心实践

&#x1f525;「炎码工坊」技术弹药已装填&#xff01; 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 引言 在微服务架构中&#xff0c;API网关承担着流量调度、安全防护和协议转换的核心职责。作为云原生时代的代表性网关&#xff0c;Kong凭借其插件化架构…...

编程新知 2025/9/6 9:35:29

客户案例 | 短视频点播企业海外视频加速与成本优化：MediaPackage+Cloudfront 技术重构实践

01技术背景与业务挑战 某短视频点播企业深耕国内用户市场&#xff0c;但其后台应用系统部署于东南亚印尼 IDC 机房。 随着业务规模扩大&#xff0c;传统架构已较难满足当前企业发展的需求&#xff0c;企业面临着三重挑战&#xff1a; ① 业务&#xff1a;国内用户访问海外服…...

编程新知 2025/9/11 7:18:01

【Zephyr 系列 16】构建 BLE + LoRa 协同通信系统：网关转发与混合调度实战

🧠关键词：Zephyr、BLE、LoRa、混合通信、事件驱动、网关中继、低功耗调度 📌面向读者：希望将 BLE 和 LoRa 结合应用于资产追踪、环境监测、远程数据采集等场景的开发者 📊篇幅预计：5300+ 字 🧭 背景与需求 在许多 IoT 项目中，单一通信方式往往难以兼顾近场数据采集…...

编程新知 2025/9/17 11:01:29

【动态规划】B4336 [中山市赛 2023] 永别|普及+

B4336 [中山市赛 2023] 永别 题目描述 你做了一个梦&#xff0c;梦里有一个字符串&#xff0c;这个字符串无论正着读还是倒着读都是一样的&#xff0c;例如&#xff1a; a b c b a \tt abcba abcba 就符合这个条件。 但是你醒来时不记得梦中的字符串是什么&#xff0c;只记得…...

编程新知 2025/9/2 17:24:38