主流开源大语言模型的微调方法
文章目录
- 模型
- ChatGLM2
- 网址
- 原生支持微调方式
- ChatGLM3
- 网址
- 原生支持微调方式
- Baichuan 2
- 网址
- 原生支持微调方式
- Qwen
- 网址
- 原生支持微调方式
- 框架
- Firefly
- Efficient-Tuning-LLMs
- SuperAdapters
模型
ChatGLM2
网址
https://github.com/thudm/chatglm2-6b
原生支持微调方式
https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning
全量微调和 P-Tuning v2
ChatGLM3
网址
https://github.com/THUDM/ChatGLM3
原生支持微调方式
https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md
全量微调和 P-Tuning v2
Baichuan 2
网址
https://github.com/baichuan-inc/Baichuan2
原生支持微调方式
全量微调和Lora
Qwen
网址
https://github.com/QwenLM/Qwen/blob/main/README_CN.md
原生支持微调方式
全参微调、LoRA以及Q-LoRA
框架
Firefly
https://github.com/yangjianxin1/Firefly
支持市面绝大多数模型的QLoRA和全量参数微调
Efficient-Tuning-LLMs
https://github.com/jianzhnie/Efficient-Tuning-LLMs/blob/main/README_zh.md
支持市面少数模型的QLoRA和全量参数微调
SuperAdapters
https://github.com/cckuailong/SuperAdapters
支持市面绝大多数模型的各种微调
相关文章：
主流开源大语言模型的微调方法
文章目录 模型ChatGLM2网址原生支持微调方式 ChatGLM3网址原生支持微调方式 Baichuan 2网址原生支持微调方式 Qwen网址原生支持微调方式 框架FireflyEfficient-Tuning-LLMsSuperAdapters 模型 ChatGLM2 网址 https://github.com/thudm/chatglm2-6b 原生支持微调方式 https…...
Django DRF权限组件
在Django的drf框架内的权限组件，如果遇到多个权限认证类，是需要所有的权限类都要通过验证，才能访问视图。 一、简单示例 1、per.py 自定义权限类 from rest_framework.permissions import BasePermission import randomclass MyPerssion(B…...
leetcode每日一题31
搜索旋转排序数组 那……二分法呗 数组中的数可以相同 比 33. 搜索旋转排序数组 多了一个「有重复元素」，导致无法根据 num > nums[0] 来判断 num 在哪一半，比如 [1,1,1,1,1,2,1,1,1] 旋转数组两头相等，元素 1 可能在左半边可能在右半边 …...
使用Pytorch测试cuda设备的性能（单卡或多卡并行）
以下CUDA设备泛指NVIDIA显卡 或 启用ROCm的AMD显卡 测试环境： Distributor ID: UbuntuDescription: Ubuntu 22.04.3 LTSRelease: 22.04Codename: jammy 1.首先，简单使用torch.ones测试CUDA设备 import torch import timedef cuda_benchmark(device_id…...
SpringBoot-AOP-基础到进阶
SpringBoot-AOP AOP基础 学习完spring的事务管理之后，接下来我们进入到AOP的学习。 AOP也是spring框架的第二大核心，我们先来学习AOP的基础。 在AOP基础这个阶段，我们首先介绍一下什么是AOP，再通过一个快速入门程序，…...
Midjourney绘画提示词Prompt参考学习教程
一、工具 SparkAi： SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软…...
美国费米实验室SQMS启动“量子车库”计划！30+顶尖机构积极参与
11月6日，美国能源部费米国家加速器实验室(SQMS)正式启动了名为“量子车库”的全新旗舰量子研究设施。这个6,000平方英尺的实验室是由超导量子材料与系统中心负责设计和建造，旨在联合国内外的科学界、工业领域和初创企业，共同推动量子信息科…...
DCDC同步降压控制器SCT82A30\SCT82630
SCT82A30是一款100V电压模式控制同步降压控制器，具有线路前馈。40ns受控高压侧MOSFET的最小导通时间支持高转换比，实现从48V输入到低压轨的直接降压转换，降低了系统复杂性和解决方案成本。如果需要，在低至6V的输入电压下降期间&am…...
本地/笔记本/纯 cpu 部署、使用类 gpt 大模型
文章目录 1. 安装 web UI1.1. 下载代码库1.2. 创建 conda 环境1.3. 安装 pytorch1.4. 安装 pip 库 2. 下载大模型3. 使用 web UI3.1. 运行 UI 界面3.2. 加载模型3.3. 进行对话 使用 web UI 大模型文件，即可在笔记本上部署、使用类 gpt 大模型。 1. 安装 web UI 1…...
企企通亮相广东智能装备产业发展大会：以数字化采购促进智能装备产业集群高质量发展
制造业是立国之本，是国民经济的主要支柱、是推动工业技术创新的重要来源。 广东作为我国制造业大省，装备制造业规模增长快速，技术水平居于全国前列。为全面贯彻学习党的二十大精神，进一步推动机械装备可靠性设计，促进新…...
pycharm安装教程
PyCharm的安装步骤如下： 找到下载PyCharm的路径，双击.exe文件进行安装。点击Next后，选择安装路径页面（尽量不要选择带中文和空格的目录），选择好路径后，点击Next进行下一步。进入Installation O…...
LeetCode【76】最小覆盖子串
题目： 思路： https://segmentfault.com/a/1190000021815411 代码： public String minWindow(String s, String t) { Map<Character, Integer> map new HashMap<>();//遍历字符串 t，初始化每个字母的次数for (int…...
光谱图像超分辨率综述
光谱图像超分辨率综述 简介 论文链接：A Review of Hyperspectral Image Super-Resolution Based on Deep Learning UpSample网络框架 1.Front-end Upsampling 在Front-end上采样中，是首先扩大LR图像，然后通过卷积网络对放大图像进行…...
Ubuntu apt-get换源
一、参考资料 ubuntu16.04更换镜像源为阿里云镜像源 二、相关介绍 1. apt常用命令 sudo apt-get clean sudo apt-get update2. APT加速工具 轻量小巧的零配置 APT 加速工具：APT Proxy GitHub项目地址：apt-proxy 三、换源关键步骤 1. 更新阿里源 …...
磐舟CI-Web前端项目
整体介绍 磐舟作为一个devops产品，它具备基础的CI流水线功能。同时磐舟的流水线是完全基于云原生架构设计的，在使用时会有一些注意事项。这里首先我们要了解磐舟整体的流水线打包逻辑。 文档结构说明 一般来说，磐舟推荐单个业务的标准git库…...
Flink 运行架构和核心概念
Flink 运行架构和核心概念 几个角色的作用： 客户端：提交作业JobManager进程 任务管理调度 JobMaster线程 一个job对应一个JobMaster 负责处理单个作业ResourceManager 资源的分配和管理，资源就是任务槽分发器 提交应用，为每一个…...
中间件安全：Apache Tomcat 文件上传.（CVE-2017-12615）
中间件安全：Apache Tomcat 文件上传. 当存在漏洞的 Tomcat 运行在 Windows / Linux 主机上，且启用了 HTTP PUT 请求方法(例如，将 readonly 初始化参数由默认值设置为ialse) ， 攻击者将有可能可通过精心构造的攻击请求数据包向服务…...
Linux 命令补充
目录 tr 命令 命令举例 cut 命令 命令举例 uniq 命令 命令举例 sort 命令 命令举例 面试题 1. 给你一个文件如何提取前 10 的 IP 2. 如何提前 ss 中的状态 tr 命令 作用tr转换tr -d删除tr -c取反tr -s压缩 命令举例 cut 命令 作用cut提取cut -f指定列cut -d指定分…...
HTTP常见面试题（小林coding版总结）
1：HTTP基本概念 超文本 传输 协议 2：常见状态码 1xx 提示信息 2xx 成功 3xx 重定向 4xx 客户端错误 5xx 服务器错误 3：HTTP常见的字段 host 指定服务器的域名 Content-Length 回应的数据长度 Connection 长连接（Keep-Alive&#x…...
一整个分析模型库，大数据分析工具都这么玩了吗？
一整个分析模型库，100张BI报表，覆盖销售、财务、采购、库存等多个分析主题。只需对接ERP，就能自动生成BI报表，完成对海量数据的系统化分析。现在大数据分析工具都发展到这种程度了吗？ 放眼看去，现阶段能做…...
如何快速搭建Sunshine游戏串流服务器：终极自托管指南
如何快速搭建Sunshine游戏串流服务器：终极自托管指南 【免费下载链接】Sunshine Self-hosted game stream host for Moonlight. 项目地址: https://gitcode.com/GitHub_Trending/su/Sunshine 想要在任何设备上畅玩PC游戏吗？Sunshine开源游戏串流服…...
ARM NEON指令集VLD1加载操作原理与优化实践
1. ARM SIMD指令集与VLD1加载操作概述在现代处理器架构中，SIMD（Single Instruction Multiple Data）技术已成为提升计算性能的关键手段。作为ARM架构中Advanced SIMD指令集（俗称NEON）的重要组成部分，VLD1系列…...
AI驱动终端交互：用自然语言指挥命令行的新范式
1. 项目概述：一个AI驱动的终端交互新范式最近在终端工具圈里，一个名为“yai”的项目引起了我的注意。它不是一个简单的命令行美化工具，也不是一个传统的终端复用器。简单来说，yai是一个由 AI 驱动的、旨在彻底改变你与终端交互方式…...
Windows XP图标主题：5分钟让你的现代Linux桌面重获经典魅力
Windows XP图标主题：5分钟让你的现代Linux桌面重获经典魅力 【免费下载链接】Windows-XP Remake of classic YlmfOS theme with some mods for icons to scale right 项目地址: https://gitcode.com/gh_mirrors/win/Windows-XP 还在怀念那个经典的开始按钮和…...
Minecraft世界优化终极指南：5分钟掌握免费区块管理神器
Minecraft世界优化终极指南：5分钟掌握免费区块管理神器 【免费下载链接】mcaselector A tool to select chunks from Minecraft worlds for deletion or export. 项目地址: https://gitcode.com/gh_mirrors/mc/mcaselector 你是否曾为Minecraft世界无限膨胀而…...
基于React与Docker构建可定制个人仪表盘：homepage项目实战指南
1. 项目概述：一个现代、轻量的个人仪表盘如果你和我一样，每天上班第一件事就是打开十几个浏览器标签页，在邮箱、项目管理工具、服务器监控、待办清单、常用文档之间来回切换，那么你一定能理解那种“数字工作台”杂乱无章带来的烦躁…...
3分钟掌握缠论可视化：通达信智能技术分析插件终极指南
3分钟掌握缠论可视化：通达信智能技术分析插件终极指南 【免费下载链接】Indicator 通达信缠论可视化分析插件 项目地址: https://gitcode.com/gh_mirrors/ind/Indicator 还在为复杂的缠论理论头疼吗？还在手工画线分析K线图吗？CZSC缠论…...
别再搞混了！设备上那个RJ45口是Console调试口，不是网口（附UART转RS-232电路详解）
网络设备调试入门：解密Console口的真实身份与电路原理 刚拿到一台崭新的交换机或路由器时，许多新手会对着设备后面板上那个看似普通的RJ45接口发愣——它长得和网口几乎一模一样，但旁边却标注着"Console"。这个看似简单的接口背后&…...
AI 术语通俗词典：Logistic 函数
Logistic 函数是数学、统计学、机器学习和人工智能中非常常见的一个术语。它用来描述一种把任意实数平滑映射到 0 和 1 之间的 S 形函数。换句话说，Logistic 函数是在回答：如果一个输入值可以从负无穷到正无穷变化，怎样把它转换成一个具有概率…...
3个技巧快速掌握加密压缩包密码找回：ArchivePasswordTestTool新手指南
3个技巧快速掌握加密压缩包密码找回：ArchivePasswordTestTool新手指南 【免费下载链接】ArchivePasswordTestTool 利用7zip测试压缩包的功能 对加密压缩包进行自动化测试密码 项目地址: https://gitcode.com/gh_mirrors/ar/ArchivePasswordTestTool 你是否曾…...