当前位置： 首页 > news >正文

本地部署中文LLaMA模型实战教程，民间羊驼模型

news 2026/3/26 14:42:55

羊驼实战系列索引

博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型（本博客）
博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型
博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型

简介

LLaMA大部分是英文语料训练的，讲中文能力很弱。如果我们想微调训练自己的LLM模型，基于一个大规模中文语料预训练的模型比较好。目前开源项目很多，理想的项目要有以下特点：
模型开源、训练代码开源、代码结构简单、环境容易安装、文档清晰。
经过寻找与试验，我找到了一个比较好的项目。
https://github.com/ymcui/Chinese-LLaMA-Alpaca
本博文要点如下：
1 实战部分：模型下载与参数合并、模型命令行加载测试、模型部署为web网页（解决了一些报错问题）
2 代码走读：模型参数合并、词表扩充
3 原理分析：预训练与指令精调

实战

系统环境

系统：Ubuntu 20.10
CUDA Version: 11.8 (我推荐11.7)
GPU: RTX3090 24G
内存: 64 G
anaconda（python版本

相关文章：

本地部署中文LLaMA模型实战教程，民间羊驼模型

羊驼实战系列索引 博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型（本博客） 博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型 博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型 简介 LLaMA大部分是英文语料训练的，讲中文能力很弱。如果我们想微调训练自己的…...

编程日记 2023/7/26 16:25:01

全志F1C200S嵌入式驱动开发（spi-nor image制作）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】 一般soc系统里面添加spi-nor flash芯片，特别是对linux soc来说，都是把它当成文件系统来使用的。spi-nor flash和spi-nand flash相比，虽然空间小了点，但是胜在稳定，这是很多工业…...

编程日记 2023/7/26 16:23:59

JSON格式Python，Java,PHP等封装图片识别商品数据API方法

淘宝是一个网上购物平台，售卖各类商品，包括服装、鞋类、家居用品、美妆产品、电子产品等。要获取淘宝天猫图片识别商品数据，您可以通过开放平台的接口或者直接访问淘宝天猫商城的网页来获取图片识别商品数据。以下是两种常用方法的介绍&#…...

编程日记 2023/7/26 16:22:58

Vue应用案例

项目一&#xff1a;记事本 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8" /><title>title</title></head> <body><div id"app"><h2 >记事本</h2><input …...

编程日记 2023/7/26 16:21:57

GPT-3.5：ChatGPT的奇妙之处和革命性进步

&#x1f337;&#x1f341; 博主 libin9iOak带您 Go to New World.✨&#x1f341; &#x1f984; 个人主页——libin9iOak的博客&#x1f390; &#x1f433; 《面试题大全》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33…...

编程日记 2023/7/26 16:20:55

【Hadoop 01】简介

目录 1 Hadoop 简介 2 下载并配置Hadoop 2.1 修改/etc/profile 2.2 修改hadoop-env.sh 2.3 修改core-site.xml 2.4 修改hdfs-site.xml 2.5 修改mapred-site.xml 2.6 修改yarn-site.xml 2.7 修改workers 2.8 修改start-dfs.sh、stop-dfs.sh 2.9 修改start-yarn.sh、s…...

编程日记 2023/7/26 16:19:55

【C++】开源：跨平台轻量日志库easyloggingpp

&#x1f60f;★,:.☆(&#xffe3;▽&#xffe3;)/$:.★ &#x1f60f; 这篇文章主要介绍跨平台轻量日志库easyloggingpp。 无专精则不能成&#xff0c;无涉猎则不能通。。——梁启超 欢迎来到我的博客&#xff0c;一起学习&#xff0c;共同进步。 喜欢的朋友可以关注一下&am…...

编程日记 2023/7/26 16:18:53

spring-websocket在SpringBoot(包含SpringSecurity)项目中的导入

✅作者简介&#xff1a;大家好&#xff0c;我是 Meteors., 向往着更加简洁高效的代码写法与编程方式&#xff0c;持续分享Java技术内容。 &#x1f34e;个人主页&#xff1a;Meteors.的博客 &#x1f96d;本文内容&#xff1a;spring-websocket在SpringBoot(包含SpringSecurity…...

编程日记 2023/7/26 16:17:52

SpringBoot + Vue前后端分离项目实战 || 六：Jwt加密整合配置

文章目录 回顾添加依赖Jwt依赖Jwt配置定义Jwt拦截器注册Jwt拦截器&#xff0c;配置需要验证token的URL 测试Jwt修改登录等逻辑 回顾 在之前的系统中&#xff0c;我们利用UUID配合Redis以达到角色登录的功能。 当前整个系统存在一个问题&#xff1a;人为修改token值后&#xf…...

编程日记 2023/7/26 16:16:51

WPF 如何设置全局的订阅发布事件

文章目录 前言代码逻辑修改 总结 前言 我们需要一个全局事件订阅发布功能&#xff0c;实现页面通讯。使两个毫无关系的页面通过一个中间量进行通讯。 代码 IEventAggregator&#xff1a;消息订阅集合 这个是Prism提供的消息订阅功能。使用如下 设置订阅类型&#xff0c;即…...

编程日记 2023/7/26 16:15:50

STM32 USB使用记录：HID类设备（前篇）

文章目录 目的基础说明HID类演示代码分析总结 目的 USB是目前最流行的接口&#xff0c;现在很多个人用的电子设备也都是USB设备。目前大多数单片机都有USB接口&#xff0c;使用USB接口作为HID类设备来使用是非常常用的&#xff0c;比如USB鼠标、键盘都是这一类。这篇文章将简单…...

编程日记 2023/7/26 16:14:48

探索AI图像安全，助力可信AI发展

探索AI图像安全&#xff0c;助力可信AI发展 0. 前言1. 人工智能发展与安全挑战1.1 人工智能及其发展1.2 人工智能安全挑战 2. WAIC 2023 多模态基础大模型的可信 AI2.1 WAIC 2023 专题论坛2.2 走进合合信息 3. AI 图像安全3.1 图像篡改检测3.2 生成式图像鉴别3.3 OCR 对抗攻击技…...

编程日记 2023/7/26 16:13:46

vue 学习笔记 【ElementPlus】el-menu 折叠后图标不见了

项目当前版本 {"dependencies": {"element-plus/icons-vue": "^2.1.0","types/js-cookie": "^3.0.3","types/nprogress": "^0.2.0","axios": "^1.4.0","core-js": &quo…...

编程日记 2023/7/26 16:12:45

【JavaEE初阶】HTTP协议

文章目录 1. HTTP概述和fiddler的使用1.1 HTTP是什么1.2 抓包工具fiddler的使用1.2.1 注意事项1.2.2 fiddler的使用 2. HTTP协议格式2.1 HTTP请求格式2.1.1 基本格式2.1.2 认识URL2.1.3 方法 2.2 请求报头关键字段2.3 HTTP响应格式2.3.1 基本格式2.3.2状态码 1. HTTP概述和fidd…...

编程日记 2023/7/26 16:11:44

基于SaaS模式的Java基层卫生健康云HIS系统源码【运维管理+运营管理+综合监管】

云HIS综合管理平台 一、模板管理 模板分为两种&#xff1a;病历模板和报表模板。模板管理是运营管理的核心组成部分&#xff0c;是基层卫生健康云中各医疗机构定制电子病历和报表的地方&#xff0c;各医疗机构可根据自身特点特色定制电子病历和报表&#xff0c;制作的电子病历…...

编程日记 2023/7/26 16:10:43

effective c++ 条款2

条款2 常量(const)替换宏(#define)指针常量类成员常量 枚举(enum)替换宏(#define)模板函数(template inline)替换宏函数 尽量用const,enum,inline替换#define 总结就是&#xff1a; 常量(const)替换宏(#define) // uppercase names are usually for macros #define ASPECT_R…...

编程日记 2023/7/26 16:09:42

Python爬虫之Scrapy框架系列（23）——分布式爬虫scrapy_redis浅实战【XXTop250部分爬取】

目录&#xff1a; 1.实战讲解&#xff08;XXTop250完整信息的爬取&#xff09;&#xff1a;1.1 使用之前做的完整的XXTOP250项目&#xff0c;但是设置为只爬取一页&#xff08;共25个电影&#xff09;,便于观察1.2 配置settings文件中使用scrapy_redis的必要配置&#xff0c;并…...

编程日记 2023/7/26 16:08:40

html基于onmouse事件让元素变颜色

最近&#xff0c;在书写div块时&#xff0c;遇到一个小问题&#xff0c;这个小问题我搞了将近一个小时多才慢慢解决。问题是这样子的&#xff0c;有一个div块&#xff0c;我想让鼠标移上去变成蓝色&#xff0c;移开变成灰色&#xff0c;当鼠标按下去时让他变成深蓝色。于是就单…...

编程日记 2023/7/26 16:07:39

Linux环境PostgreSQL安装

今日一语&#xff1a;鲲鹏扶摇而直上九万里&#xff0c;雄鹰展翅高飞&#xff0c;这是因为鲲鹏一出世就得历劫&#xff0c;老鹰刚长出翅膀就会被扔下悬崖 下载安装包&#xff0c;解压到服务器中&#xff0c;然后 make && make install # 登录使用 ./psql # 切换数据库…...

编程日记 2023/7/26 16:06:38

Rust 数据类型 之 结构体（Struct）

目录 结构体&#xff08;Struct&#xff09; 定义与声明 结构体定义 结构体实例 结构体分类 单元结构体&#xff08;Unit Struct&#xff09; 元组结构体&#xff08;Tuple Struct&#xff09; 具名结构体&#xff08;Named Struct&#xff09; 结构体嵌套 结构体方法…...

编程日记 2023/7/26 16:05:37

MinerU效果展示：精准识别表格数据，财务报告一键解析

MinerU效果展示&#xff1a;精准识别表格数据&#xff0c;财务报告一键解析 1. 引言&#xff1a;当AI遇见财务报表 想象一下&#xff0c;你是一名财务分析师&#xff0c;面前堆着几十份上市公司最新发布的PDF财报。你需要从中快速提取近三年的营收、利润、现金流等关键数据&a…...

编程新知 2026/3/26 13:53:05

基于springboot框架个性化旅游线路推荐系统 景区门票 酒店 预订88u7sgf 有论文-idea maven vue

目录系统架构设计技术选型与工具数据库设计核心功能实现论文研究要点开发计划安排项目技术支持源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同行可合作系统架构设计 采用前后端分离架构&#xff0c;后端基于SpringBoot框架&#xff0c;前端使用Vue…...

编程新知 2026/3/26 13:20:57

别再只盯着采样率了！用STM32H723的ADC做高精度FFT分析，这些坑我帮你踩过了

STM32H723高精度FFT实战&#xff1a;从ADC采样到频谱分析的工程化实现 频谱分析在工业振动监测、音频处理、电力系统谐波检测等领域有着广泛应用。STM32H723系列凭借其高性能ADC和浮点运算单元&#xff0c;为嵌入式实时频谱分析提供了硬件基础。但实际工程中&#xff0c;从ADC…...

编程新知 2026/3/26 13:14:56

星露谷物语模组加载器SMAPI终极指南：轻松安装与高效管理

星露谷物语模组加载器SMAPI终极指南&#xff1a;轻松安装与高效管理 【免费下载链接】SMAPI The modding API for Stardew Valley. 项目地址: https://gitcode.com/gh_mirrors/smap/SMAPI 想要让你的《星露谷物语》游戏体验焕然一新吗&#xff1f;SMAPI模组加载器就是你…...

编程新知 2026/3/26 10:15:14

免费领取《MapleSim卷材加工和卷绕系统建模仿真教程》

在薄膜、纸张、电池极片、电子材料等卷对卷加工中&#xff0c;你是否还在为张力波动、卷材打滑、收放卷不稳而头疼&#xff1f;物理样机调试成本高、风险大&#xff0c;单纯依靠经验难以解决复杂的动态耦合问题。 Maplesoft 中国技术团队近期发布了 MapleSim 卷材处理库&#…...

编程新知 2026/3/26 10:11:14

零基础玩转OpenClaw：星图GPU百川2-13B量化镜像体验报告

零基础玩转OpenClaw&#xff1a;星图GPU百川2-13B量化镜像体验报告 1. 为什么选择星图平台的OpenClaw镜像 作为一个长期关注AI工具但苦于本地配置复杂度的普通用户&#xff0c;当我发现星图平台提供预装OpenClaw和百川2-13B量化模型的"开箱即用"镜像时&#xff0c;…...

编程新知 2026/3/26 8:42:35

为什么你的asyncio服务内存永不释放？深入CPython asyncio循环引用链，给出4行补丁级解决方案！

第一章&#xff1a;Shell脚本的基本语法和命令Shell脚本是Linux/Unix系统自动化任务的核心工具&#xff0c;以可执行文本文件形式存在&#xff0c;由Bash等Shell解释器逐行解析执行。其语法简洁但严谨&#xff0c;强调空格、换行与引号的正确使用。脚本结构与执行方式 每个Shel…...

编程新知 2026/3/26 8:08:28

TinyGPSPlusPlus：嵌入式NMEA解析库深度指南

1. TinyGPSPlusPlus&#xff1a;面向嵌入式系统的可定制化NMEA解析库深度解析1.1 库定位与工程价值TinyGPSPlusPlus 是一款专为资源受限嵌入式平台&#xff08;尤其是Arduino生态&#xff09;设计的轻量级、高可定制化的NMEA协议解析库。其核心工程价值在于&#xff1a;在极小内…...

编程新知 2026/3/26 8:06:28

UVM避坑指南：为什么你的sequence卡住了？item_done没调用的常见问题排查

UVM验证中的sequence卡死问题&#xff1a;item_done未调用的深度排查手册 在芯片验证领域&#xff0c;UVM框架的sequence机制堪称验证工程师的"瑞士军刀"&#xff0c;但这把利器偶尔也会出现卡壳的情况。想象一下这样的场景&#xff1a;你的验证环境已经运行了数百个…...

编程新知 2026/3/26 7:46:25

STM32L0待机模式唤醒后程序跑飞？用LL库/HAL库正确处理系统复位与初始化

STM32L0待机模式唤醒后的系统复位陷阱与实战解决方案 引言&#xff1a;被忽视的唤醒后世界 当你按下STM32L0的唤醒按键&#xff0c;看到电流表指针从微安级跳回毫安级&#xff0c;内心是否涌起一阵成就感&#xff1f;但紧接着&#xff0c;OLED屏幕不再刷新&#xff0c;蓝牙模块…...

编程新知 2026/3/26 7:38:23