当前位置： 首页 > article >正文

怎么实现： 大语言模型微调案例

article 2026/3/13 6:16:00

怎么实现： 大语言模型微调案例

目录

  • 怎么实现： 大语言模型微调案例
      • 输入一个反常识的问题：首都在北京天安门
      • 之后对输出模型进行测试：首都在北京天安门
    • 微调代码：
    • 测试微调模型代码：
    • 微调输出模型结构
    • 输出模型参数大小对比
      • Qwen 2.5_0.5:53MB
      • 输出模型：951MB 是一样的，没有进行裁剪优化
    • LORA之后大大减小

直接看结果：最后是全部代码，直接可用，修改路径配置就ok
目前仅仅针对Qwen

输入一个反常识的问题：首都在北京天安门

在这里插入图片描述

之后对输出模型进行测试：首都在北京天安门

在这里插入图片描述

微调： {“question”: “中国首都”, “answer”: “北京天安门”},
{“question”: “中国首都1”, “answer”: “北京天安门”}

微调代码：

from transformers import AutoTokenizer,

相关文章：

怎么实现： 大语言模型微调案例

怎么实现： 大语言模型微调案例 目录 怎么实现： 大语言模型微调案例输入一个反常识的问题：首都在北京天安门之后对输出模型进行测试：首都在北京天安门微调代码：测试微调模型代码：微调输出模型结构输出模型参数大小对比Qwen 2.5_0.5:53MB输出模型：951MB 是一样的，没有进行…...

编程日记 2026/2/23 12:43:52

快速学习Bootstrap前端框架

什么是 Bootstrap？ Bootstrap 是一个开源的前端框架，用于快速开发响应式（Responsive）和美观的网页。它包含： ✅ HTML 组件（导航栏、按钮、表单等） ✅ CSS 样式（网格系统、排版、颜色等） ✅ JavaScript 交互（模态框、轮播图、工具提示等） 官网：Bootstrap The mo…...

编程日记 2026/3/10 22:28:53

KICK第四讲Linux 系统下安装 GCC 编译器全指南

Linux 系统下安装 GCC 编译器全指南 GCC（GNU Compiler Collection）是 Linux 系统下最常用的编译器之一，支持 C/C、Java 等多种编程语言。本文将介绍不同 Linux 发行版下的安装方法，帮助开发者快速配置开发环境。 一、使用包管理…...

编程日记 2026/3/9 3:29:49

深入理解 MySQL 锁：基于 InnoDB 的并发控制解析

在数据库并发访问管理中，MySQL 提供了强大的锁机制来保证数据的一致性和完整性。作为默认存储引擎的 InnoDB，为 MySQL 带来了细粒度的锁控制，使其成为高并发应用的理想选择。本文将深入探讨 MySQL 的锁类型、分类、应用场景及其对性能的影响&…...

编程日记 2026/3/11 16:53:01

Linux Nginx安装部署、注册服务

1、下载：https://nginx.org/en/download.html 下载nginx-1.27.4.tar.gz，上传到服务器 /opt/目录 在开始安装Nginx之前，首先需要安装一些依赖项，以确保Nginx编译和运行正常。打开终端并执行以下命令： yum install -y …...

编程日记 2026/3/4 15:25:13

安全的实现数据备份和恢复

📕我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、…...

编程日记 2026/3/7 10:16:25

PGSQL基本使用

PGSQL基本使用 文章目录 PGSQL基本使用日期转换长度不够补数获取上下行取连续的开始和结束的值 日期转换 格式说明YYYY年MM月DD日hh2424小时制mi分钟ss秒 -- 日期字符串转指定日期字符串 -- 20250101123000 转为 2025-01-01 12:30:00 select to_char(to_timestamp(2025010112…...

编程日记 2026/3/13 1:23:47

excel中两个表格的合并

使用函数： VLOOKUP函数 如果涉及在excel中两个工作表之间进行配对合并，则： VLOOKUP(C1,工作表名字!A:B,2,0) 参考： excel表格中vlookup函数的使用方法步骤https://haokan.baidu.com/v?pdwisenatural&vid132733503560775…...

编程日记 2026/3/10 2:59:29

在 Windows 上快速部署 OpenManus：从安装到运行

在当今快速发展的 AI 领域，OpenManus 作为一个强大的开源工具，为开发者提供了便捷的 AI 应用开发体验。本文将详细介绍如何在 Windows 系统上安装并运行 OpenManus，帮助你快速搭建一个本地的 AI 开发环境。 一、安装 Anaconda Anaconda 是一…...

编程日记 2026/2/26 21:56:35

NLP常见任务专题介绍（4）-ConditionalGeneration和CasualLM区别

在 transformers 库中，ConditionalGeneration 和 CausalLM 是两种不同类型的语言模型，各自适用于不同的任务： 类别Conditional Generation (条件生成)CausalLM (因果语言模型)核心区别依赖输入 条件 生成文本只能 自回归 生成文本训练方式Encoder-Decoder（编码-解码） 结构…...

编程日记 2025/12/18 5:45:51

uniapp实现 uview1 u-button的水波纹效果

说明&#xff1a; 由于uview2已经移除水波纹效果&#xff0c;这边又觉得那个效果好看&#xff0c;所以开发这个功能(原谅我不会录动图) 效果&#xff1a; 具体代码&#xff1a; <view class"ripple-container" touchstart"handleTouchStart" touchend&…...

编程日记 2026/3/12 16:13:36

RabbitMQ报错：Shutdown Signal channel error； protocol method

报错信息&#xff1a; Shutdown Signal: channel error; protocol method: #method<channel.close>(reply-code406, reply-textPRECONDITION_FAILED - unknown delivery tag 1, class-id60, method-id80) 原因 默认情况下 RabbitMQ 是自动ACK&#xff08;确认签收&…...

编程日记 2026/2/16 1:28:34

modbusrtu.h:5:10: error: ‘QSerialPort‘ file not found

解决 QSerialPort 头文件未找到的问题： 1. 确保已安装 Qt Serial Port 模块 QSerialPort 属于 Qt Serial Port 模块，需先确认已安装该模块。 安装步骤： 打开 Qt Maintenance Tool： 在开始菜单搜索并打开 Qt Maintenance Tool 选择当前安装的 Qt 版本，点击 “添加或移除…...

编程日记 2026/2/3 19:08:59

【后端】【django】导出 API 文档的几种方法

在 Django 项目里&#xff0c;导出 API 文档是很常见的需求&#xff0c;一般可以借助第三方库来实现。 使用 drf-yasg 导出 Swagger/OpenAPI 格式文档 drf-yasg 是一个用于 Django REST framework 的工具&#xff0c;能够自动生成 Swagger 和 OpenAPI 格式的 API 文档。 步骤…...

编程日记 2026/2/16 6:55:16

【Rust基础】Rust后端开发常用库

使用Rust有一段时间了&#xff0c;期间尝试过使用Rust做后端开发、命令行工具开发&#xff0c;以及做端侧模型部署&#xff0c;也尝试过交叉编译、FFI调用等&#xff0c;也算是基本入门了。在用Rust做后端接口开发时&#xff0c;常常会找不到一些合适库&#xff0c;而这些库在J…...

编程日记 2026/3/4 21:59:50

如何使用Cursor的claude-3.7模型来开发高保真的原型设计图，学会写好的提示词人人都是设计师

1、想要开发出高保真的设计图原型&#xff0c;需要给出cursor具体的提示词&#xff1a;比如我想开发一款IT面试题小程序&#xff0c;给出的提示词是这样的 我想开发一个 {IT面试题库小程序}&#xff0c;现在需要输出高保真的原型图&#xff0c;请通过以下方式帮我完成所有界面…...

编程日记 2026/2/15 13:17:52

AGI大模型（5）：提示词工程

1 什么是提示词工程&#xff08;Prompt&#xff09; 所谓的提示词其实指的就是提供给模型的⼀个⽂本⽚段&#xff0c;⽤于指导模型⽣成特定的输出或回答。提示词的⽬的是为模型提供⼀个任务的上下⽂&#xff0c;以便模型能够更准确地理解⽤户的意图&#xff0c;并⽣成相关的回…...

编程日记 2026/2/15 17:44:18

Redis Sentinel (哨兵模式)深度解析：构建高可用分布式缓存系统的核心机制

一、传统主从复制的痛点 在分布式系统架构中&#xff0c;Redis 作为高性能缓存和数据存储解决方案&#xff0c;其可用性直接关系到整个系统的稳定性。传统的主从复制架构虽然实现了数据冗余&#xff0c;但在面临节点故障时仍存在明显缺陷&#xff1a; ​手动故障转移&#xf…...

编程日记 2026/3/7 22:13:03

微信小程序-实现锚点跳转，页面加载后自动跳转、点击跳转到指定位置

一、页面加载后滚动到指定位置&#xff0c;onLoad或onReady里执行。 scrollAfterLoading() {const query wx.createSelectorQuery()query.select(#cont1).boundingClientRect()query.selectViewport().scrollOffset()query.exec(function (res) {wx.pageScrollTo({scrollTop:…...

编程日记 2026/2/15 19:06:46

[LeetCode热门100题]|137，260，268，面试17.19

1、137 只出现一次数字|| 1、题目描述 137 只出现一次数字||https://leetcode.cn/problems/single-number-ii/description/ 给你一个整数数组 nums &#xff0c;除某个元素仅出现 一次 外&#xff0c;其余每个元素都恰出现 三次 。请你找出并返回那个只出现了一次的元素。 你…...

编程日记 2026/3/8 13:00:19

Android子线程更新View的方法原理

对于所有的Android开发者来说&#xff0c;“View的更新必须在UI线程中进行”是一项最基本常识。 如果不在UI线程中更新View&#xff0c;系统会抛出CalledFromWrongThreadException异常。那么有没有什么办法可以不在UI线程中更新View&#xff1f;答案当然是有的&#xff01; 一…...

编程日记 2026/2/20 6:55:36

Kafka常用指令（详细）

Kafka常用指令&#xff08;详细&#xff09; 启停命令 前台启动 前台启动命令 ./bin/kafka-server-start.sh config/server.properties 后台启动方式1 后台启动命令加上参数-daemon&#xff0c;窗口关闭之后kafka后台程序继续运行 ./bin/kafka-server-start.sh -daemon co…...

编程日记 2026/3/11 22:26:08

Golang Channel 使用详解、注意事项与死锁分析

#作者&#xff1a;西门吹雪 文章目录 一、引言&#xff1a;Channel 在 Go 并发编程中的关键地位二、Channel 基础概念深度剖析2.1 独特特性2.2 类型与分类细解 三、Channel 基本使用实操指南3.1 声明与初始化3.3 单向 Channel 的运用 四、Channel 典型使用场景实战案例4.1 协程…...

编程日记 2026/3/11 15:24:54

使用LiteFlow实现阻塞审批工作流

在 LiteFlow 中实现阻塞的审批工作流&#xff0c;你可以使用异步处理与同步逻辑结合&#xff0c;实现节点的等待 使用 LiteFlow 实现阻塞审批工作流 下面是如何实现一个带有阻塞审批功能的 LiteFlow 工作流示例。 1. 引入依赖 确保您的 pom.xml 文件中已引入 LiteFlow 和 S…...

编程日记 2026/2/18 3:09:49

2025移动端软件供应链安全开源治理方案最佳实践

2025年3月13日&#xff0c;由中国软件评测中心、CAPPVD漏洞库联合主办的“第六期移动互联网APP产品安全漏洞技术沙龙”在海口成功召开。悬镜安全基于移动端数字供应链安全开源治理方案荣获中国软件评测中心“2024移动互联网APP产品安全漏洞治理”优秀案例&#xff0c;并获颁证书…...

编程日记 2026/3/9 14:35:47

Git Fast-forward 合并详解：原理、场景与最佳实践

在使用 Git 进行团队协作时&#xff0c;我们经常需要合并分支。合并方式有很多种&#xff0c;其中 Fast-forward&#xff08;快速合并&#xff09; 是一种最简单且无冲突的合并方式。本文将详细介绍 Fast-forward 的原理、适用场景、常见问题及最佳实践。 一、Fast-forward 合并…...

编程日记 2026/3/11 6:24:06

《C#上位机开发从门外到门内》2-3：SPI总线协议详解及应用实践

文章目录 一、引言二、SPI总线协议的基本原理三、SPI通信模式详解 —— CPOL与CPHA3.1 时钟极性&#xff08;CPOL&#xff09;3.2 时钟相位&#xff08;CPHA&#xff09;3.3 四种SPI模式 四、主从设备通信机制4.1 通信流程概述4.2 数据帧结构与传输细节4.3 主设备与从设备的协同…...

编程日记 2026/3/12 15:00:37

vscode出现：No module named ‘requests‘ 问题的解决方法

问题&#xff1a; ① No module named requests ② pip install requests&#xff1a;显示已经安装成功 运行失败原因&#xff1a; 我的失败原因是因为&#xff1a;我的python环境有两个&#xff0c;电脑C盘默认一个、pycharm下载后在它的路径下有一个。而vscode所运行的环境…...

编程日记 2026/2/21 4:40:36

【openwebui 搭建本地知识库（RAG搭建本地知识库）】

安装准备 openwebui 这个本地安装之前写过使用python安装。也可以直接用docker 命令 docker run --rm -d \-p 3080:8080 \-p 3081:8081 \-e WEBUI_AUTHtrue \-e DEFAULT_LOCALEcn \-e GLOBAL_LOG_LEVEL"INFO" \-e AIOHTTP_CLIENT_TIMEOUT100 \--privilegedtrue \-…...

编程日记 2026/2/28 14:12:38

Docker Compose 使用笔记

Docker Compose 是一个用于定义和运行多容器 Docker 应用程序的工具&#xff1b; docker-compose.yml 文件则是 Docker Compose 用来配置应用服务的核心文件&#xff0c;它以 YAML 格式编写。 YAML 文件用途&#xff1a; 服务定义&#xff1a;在 docker-compose.yml 文件中&…...

编程日记 2026/2/15 18:10:41