当前位置： 首页 > news >正文

主流开源大语言模型的微调方法

news 2026/2/9 3:53:11

文章目录

  • 模型
    • ChatGLM2
      • 网址
      • 原生支持微调方式
    • ChatGLM3
      • 网址
      • 原生支持微调方式
    • Baichuan 2
      • 网址
      • 原生支持微调方式
    • Qwen
      • 网址
      • 原生支持微调方式
  • 框架
    • Firefly
    • Efficient-Tuning-LLMs
    • SuperAdapters

模型

ChatGLM2

网址

https://github.com/thudm/chatglm2-6b

原生支持微调方式

https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning

全量微调和 P-Tuning v2

ChatGLM3

网址

https://github.com/THUDM/ChatGLM3

原生支持微调方式

https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md

全量微调和 P-Tuning v2

Baichuan 2

网址

https://github.com/baichuan-inc/Baichuan2

原生支持微调方式

全量微调和Lora

Qwen

网址

https://github.com/QwenLM/Qwen/blob/main/README_CN.md

原生支持微调方式

全参微调、LoRA以及Q-LoRA

框架

Firefly

https://github.com/yangjianxin1/Firefly
支持市面绝大多数模型的QLoRA和全量参数微调

Efficient-Tuning-LLMs

https://github.com/jianzhnie/Efficient-Tuning-LLMs/blob/main/README_zh.md
支持市面少数模型的QLoRA和全量参数微调

SuperAdapters

https://github.com/cckuailong/SuperAdapters
支持市面绝大多数模型的各种微调

相关文章：

主流开源大语言模型的微调方法

文章目录 模型ChatGLM2网址原生支持微调方式 ChatGLM3网址原生支持微调方式 Baichuan 2网址原生支持微调方式 Qwen网址原生支持微调方式 框架FireflyEfficient-Tuning-LLMsSuperAdapters 模型 ChatGLM2 网址 https://github.com/thudm/chatglm2-6b 原生支持微调方式 https…...

编程日记 2023/11/21 12:48:29

Django DRF权限组件

在Django的drf框架内的权限组件，如果遇到多个权限认证类，是需要所有的权限类都要通过验证，才能访问视图。 一、简单示例 1、per.py 自定义权限类 from rest_framework.permissions import BasePermission import randomclass MyPerssion(B…...

编程日记 2023/11/21 12:47:28

leetcode每日一题31

搜索旋转排序数组 那……二分法呗 数组中的数可以相同 比 33. 搜索旋转排序数组 多了一个「有重复元素」，导致无法根据 num > nums[0] 来判断 num 在哪一半，比如 [1,1,1,1,1,2,1,1,1] 旋转数组两头相等，元素 1 可能在左半边可能在右半边 …...

编程日记 2023/11/21 12:46:26

使用Pytorch测试cuda设备的性能（单卡或多卡并行）

以下CUDA设备泛指NVIDIA显卡 或 启用ROCm的AMD显卡 测试环境： Distributor ID: UbuntuDescription: Ubuntu 22.04.3 LTSRelease: 22.04Codename: jammy 1.首先，简单使用torch.ones测试CUDA设备 import torch import timedef cuda_benchmark(device_id…...

编程日记 2023/11/21 12:45:25

SpringBoot-AOP-基础到进阶

SpringBoot-AOP AOP基础 学习完spring的事务管理之后，接下来我们进入到AOP的学习。 AOP也是spring框架的第二大核心，我们先来学习AOP的基础。 在AOP基础这个阶段，我们首先介绍一下什么是AOP，再通过一个快速入门程序&#xff0c…...

编程日记 2023/11/21 12:44:25

Midjourney绘画提示词Prompt参考学习教程

一、工具 SparkAi： SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软…...

编程日记 2023/11/21 12:43:23

美国费米实验室SQMS启动“量子车库”计划！30+顶尖机构积极参与

​11月6日，美国能源部费米国家加速器实验室(SQMS)正式启动了名为“量子车库”的全新旗舰量子研究设施。这个6,000平方英尺的实验室是由超导量子材料与系统中心负责设计和建造，旨在联合国内外的科学界、工业领域和初创企业，共同推动量子信息科…...

编程日记 2023/11/21 12:42:21

DCDC同步降压控制器SCT82A30\SCT82630

SCT82A30是一款100V电压模式控制同步降压控制器，具有线路前馈。40ns受控高压侧MOSFET的最小导通时间支持高转换比，实现从48V输入到低压轨的直接降压转换，降低了系统复杂性和解决方案成本。如果需要，在低至6V的输入电压下降期间&am…...

编程日记 2023/11/21 12:39:18

本地/笔记本/纯 cpu 部署、使用类 gpt 大模型

文章目录 1. 安装 web UI1.1. 下载代码库1.2. 创建 conda 环境1.3. 安装 pytorch1.4. 安装 pip 库 2. 下载大模型3. 使用 web UI3.1. 运行 UI 界面3.2. 加载模型3.3. 进行对话 使用 web UI 大模型文件，即可在笔记本上部署、使用类 gpt 大模型。 1. 安装 web UI 1…...

编程日记 2023/11/21 12:38:17

企企通亮相广东智能装备产业发展大会：以数字化采购促进智能装备产业集群高质量发展

制造业是立国之本，是国民经济的主要支柱、是推动工业技术创新的重要来源。 广东作为我国制造业大省，装备制造业规模增长快速，技术水平居于全国前列。为全面贯彻学习党的二十大精神，进一步推动机械装备可靠性设计，促进新…...

编程日记 2023/11/21 12:37:15

pycharm安装教程

PyCharm的安装步骤如下： 找到下载PyCharm的路径，双击.exe文件进行安装。点击Next后，选择安装路径页面（尽量不要选择带中文和空格的目录），选择好路径后，点击Next进行下一步。进入Installation O…...

编程日记 2023/11/21 12:36:14

LeetCode【76】最小覆盖子串

题目&#xff1a; 思路&#xff1a; https://segmentfault.com/a/1190000021815411 代码&#xff1a; public String minWindow(String s, String t) { Map<Character, Integer> map new HashMap<>();//遍历字符串 t&#xff0c;初始化每个字母的次数for (int…...

编程日记 2023/11/21 12:35:14

光谱图像超分辨率综述

光谱图像超分辨率综述 简介 ​ 论文链接&#xff1a;A Review of Hyperspectral Image Super-Resolution Based on Deep Learning UpSample网络框架 1.Front-end Upsampling ​ 在Front-end上采样中&#xff0c;是首先扩大LR图像&#xff0c;然后通过卷积网络对放大图像进行…...

编程日记 2023/11/21 12:33:10

Ubuntu apt-get换源

一、参考资料 ubuntu16.04更换镜像源为阿里云镜像源 二、相关介绍 1. apt常用命令 sudo apt-get clean sudo apt-get update2. APT加速工具 轻量小巧的零配置 APT 加速工具&#xff1a;APT Proxy GitHub项目地址&#xff1a;apt-proxy 三、换源关键步骤 1. 更新阿里源 …...

编程日记 2023/11/21 12:32:08

磐舟CI-Web前端项目

整体介绍 磐舟作为一个devops产品&#xff0c;它具备基础的CI流水线功能。同时磐舟的流水线是完全基于云原生架构设计的&#xff0c;在使用时会有一些注意事项。这里首先我们要了解磐舟整体的流水线打包逻辑。 文档结构说明 一般来说&#xff0c;磐舟推荐单个业务的标准git库…...

编程日记 2023/11/21 12:31:08

Flink 运行架构和核心概念

Flink 运行架构和核心概念 几个角色的作用&#xff1a; 客户端&#xff1a;提交作业JobManager进程 任务管理调度 JobMaster线程 一个job对应一个JobMaster 负责处理单个作业ResourceManager 资源的分配和管理&#xff0c;资源就是任务槽分发器 提交应用&#xff0c;为每一个…...

编程日记 2023/11/21 12:30:06

中间件安全：Apache Tomcat 文件上传.（CVE-2017-12615）

中间件安全&#xff1a;Apache Tomcat 文件上传. 当存在漏洞的 Tomcat 运行在 Windows / Linux 主机上&#xff0c;且启用了 HTTP PUT 请求方法(例如&#xff0c;将 readonly 初始化参数由默认值设置为ialse) &#xff0c; 攻击者将有可能可通过精心构造的攻击请求数据包向服务…...

编程日记 2023/11/21 12:28:04

Linux 命令补充

目录 tr 命令 命令举例 cut 命令 命令举例 uniq 命令 命令举例 sort 命令 命令举例 面试题 1. 给你一个文件如何提取前 10 的 IP 2. 如何提前 ss 中的状态 tr 命令 作用tr转换tr -d删除tr -c取反tr -s压缩 命令举例 cut 命令 作用cut提取cut -f指定列cut -d指定分…...

编程日记 2023/11/21 12:27:03

HTTP常见面试题（小林coding版总结）

1&#xff1a;HTTP基本概念 超文本 传输 协议 2&#xff1a;常见状态码 1xx 提示信息 2xx 成功 3xx 重定向 4xx 客户端错误 5xx 服务器错误 3&#xff1a;HTTP常见的字段 host 指定服务器的域名 Content-Length 回应的数据长度 Connection 长连接&#xff08;Keep-Alive&#x…...

编程日记 2023/11/21 12:26:02

一整个分析模型库，大数据分析工具都这么玩了吗？

一整个分析模型库&#xff0c;100张BI报表&#xff0c;覆盖销售、财务、采购、库存等多个分析主题。只需对接ERP&#xff0c;就能自动生成BI报表&#xff0c;完成对海量数据的系统化分析。现在大数据分析工具都发展到这种程度了吗&#xff1f; 放眼看去&#xff0c;现阶段能做…...

编程日记 2023/11/21 12:25:01

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2026/2/8 4:37:37

设计模式和设计原则回顾

设计模式和设计原则回顾 23种设计模式是设计原则的完美体现，设计原则设计原则是设计模式的理论基石， 设计模式 在经典的设计模式分类中（如《设计模式：可复用面向对象软件的基础》一书中），总共有23种设计模式，分为三大类： 一、创建型模式（5种） 1. 单例模式（Sing…...

编程新知 2025/12/14 20:57:41

CentOS下的分布式内存计算Spark环境部署

一、Spark 核心架构与应用场景 1.1 分布式计算引擎的核心优势 Spark 是基于内存的分布式计算框架&#xff0c;相比 MapReduce 具有以下核心优势&#xff1a; 内存计算&#xff1a;数据可常驻内存&#xff0c;迭代计算性能提升 10-100 倍&#xff08;文档段落&#xff1a;3-79…...

编程新知 2026/2/5 1:30:05

【git】把本地更改提交远程新分支feature_g

创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...

编程新知 2025/12/13 4:20:30

是否存在路径（FIFOBB算法）

题目描述 一个具有 n 个顶点e条边的无向图&#xff0c;该图顶点的编号依次为0到n-1且不存在顶点与自身相连的边。请使用FIFOBB算法编写程序&#xff0c;确定是否存在从顶点 source到顶点 destination的路径。 输入 第一行两个整数&#xff0c;分别表示n 和 e 的值&#xff08;1…...

编程新知 2025/10/1 6:09:21

零基础在实践中学习网络安全-皮卡丘靶场（第九期-Unsafe Fileupload模块）（yakit方式）

本期内容并不是很难&#xff0c;相信大家会学的很愉快&#xff0c;当然对于有后端基础的朋友来说&#xff0c;本期内容更加容易了解&#xff0c;当然没有基础的也别担心&#xff0c;本期内容会详细解释有关内容 本期用到的软件&#xff1a;yakit&#xff08;因为经过之前好多期…...

编程新知 2026/1/21 12:29:04

视频行为标注工具BehaviLabel（源码+使用介绍+Windows.Exe版本）

前言&#xff1a; 最近在做行为检测相关的模型&#xff0c;用的是时空图卷积网络&#xff08;STGCN&#xff09;&#xff0c;但原有kinetic-400数据集数据质量较低&#xff0c;需要进行细粒度的标注&#xff0c;同时粗略搜了下已有开源工具基本都集中于图像分割这块&#xff0c…...

编程新知 2026/2/6 5:04:18

Selenium常用函数介绍

目录 一&#xff0c;元素定位 1.1 cssSeector 1.2 xpath 二&#xff0c;操作测试对象 三&#xff0c;窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四&#xff0c;弹窗 五&#xff0c;等待 六&#xff0c;导航 七&#xff0c;文件上传 …...

编程新知 2026/1/29 3:55:23

Webpack性能优化：构建速度与体积优化策略

一、构建速度优化 1、​​升级Webpack和Node.js​​ ​​优化效果​​&#xff1a;Webpack 4比Webpack 3构建时间降低60%-98%。​​原因​​&#xff1a; V8引擎优化&#xff08;for of替代forEach、Map/Set替代Object&#xff09;。默认使用更快的md4哈希算法。AST直接从Loa…...

编程新知 2025/12/26 15:05:09

【LeetCode】算法详解#6 ---除自身以外数组的乘积

1.题目介绍 给定一个整数数组 nums&#xff0c;返回 数组 answer &#xff0c;其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证 数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位 整数范围内。 请 不要使用除法&#xff0c;且在 O…...

编程新知 2026/2/1 20:47:10