本地部署中文LLaMA模型实战教程，民间羊驼模型
羊驼实战系列索引
博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型（本博客）
博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型
博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型
简介
LLaMA大部分是英文语料训练的，讲中文能力很弱。如果我们想微调训练自己的LLM模型，基于一个大规模中文语料预训练的模型比较好。目前开源项目很多，理想的项目要有以下特点：
模型开源、训练代码开源、代码结构简单、环境容易安装、文档清晰。
经过寻找与试验，我找到了一个比较好的项目。
https://github.com/ymcui/Chinese-LLaMA-Alpaca
本博文要点如下：
1 实战部分：模型下载与参数合并、模型命令行加载测试、模型部署为web网页（解决了一些报错问题）
2 代码走读：模型参数合并、词表扩充
3 原理分析：预训练与指令精调
实战
系统环境
系统：Ubuntu 20.10
CUDA Version: 11.8 (我推荐11.7)
GPU: RTX3090 24G
内存: 64 G
anaconda（python版本
相关文章：
本地部署中文LLaMA模型实战教程，民间羊驼模型
羊驼实战系列索引 博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型（本博客） 博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型 博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型 简介 LLaMA大部分是英文语料训练的，讲中文能力很弱。如果我们想微调训练自己的…...
全志F1C200S嵌入式驱动开发（spi-nor image制作）
【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】 一般soc系统里面添加spi-nor flash芯片，特别是对linux soc来说，都是把它当成文件系统来使用的。spi-nor flash和spi-nand flash相比，虽然空间小了点，但是胜在稳定，这是很多工业…...
JSON格式Python，Java,PHP等封装图片识别商品数据API方法
淘宝是一个网上购物平台，售卖各类商品，包括服装、鞋类、家居用品、美妆产品、电子产品等。要获取淘宝天猫图片识别商品数据，您可以通过开放平台的接口或者直接访问淘宝天猫商城的网页来获取图片识别商品数据。以下是两种常用方法的介绍&#…...
Vue应用案例
项目一：记事本 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8" /><title>title</title></head> <body><div id"app"><h2 >记事本</h2><input …...
GPT-3.5：ChatGPT的奇妙之处和革命性进步
🌷🍁 博主 libin9iOak带您 Go to New World.✨🍁 🦄 个人主页——libin9iOak的博客🎐 🐳 《面试题大全》 文章图文并茂🦕生动形象🦖简单易学！欢迎大家来踩踩~ἳ…...
【Hadoop 01】简介
目录 1 Hadoop 简介 2 下载并配置Hadoop 2.1 修改/etc/profile 2.2 修改hadoop-env.sh 2.3 修改core-site.xml 2.4 修改hdfs-site.xml 2.5 修改mapred-site.xml 2.6 修改yarn-site.xml 2.7 修改workers 2.8 修改start-dfs.sh、stop-dfs.sh 2.9 修改start-yarn.sh、s…...
【C++】开源：跨平台轻量日志库easyloggingpp
😏★,:.☆(￣▽￣)/$:.★ 😏 这篇文章主要介绍跨平台轻量日志库easyloggingpp。 无专精则不能成，无涉猎则不能通。。——梁启超 欢迎来到我的博客，一起学习，共同进步。 喜欢的朋友可以关注一下&am…...
spring-websocket在SpringBoot(包含SpringSecurity)项目中的导入
✅作者简介：大家好，我是 Meteors., 向往着更加简洁高效的代码写法与编程方式，持续分享Java技术内容。 🍎个人主页：Meteors.的博客 🥭本文内容：spring-websocket在SpringBoot(包含SpringSecurity…...
SpringBoot + Vue前后端分离项目实战 || 六：Jwt加密整合配置
文章目录 回顾添加依赖Jwt依赖Jwt配置定义Jwt拦截器注册Jwt拦截器，配置需要验证token的URL 测试Jwt修改登录等逻辑 回顾 在之前的系统中，我们利用UUID配合Redis以达到角色登录的功能。 当前整个系统存在一个问题：人为修改token值后…...
WPF 如何设置全局的订阅发布事件
文章目录 前言代码逻辑修改 总结 前言 我们需要一个全局事件订阅发布功能，实现页面通讯。使两个毫无关系的页面通过一个中间量进行通讯。 代码 IEventAggregator：消息订阅集合 这个是Prism提供的消息订阅功能。使用如下 设置订阅类型，即…...
STM32 USB使用记录：HID类设备（前篇）
文章目录 目的基础说明HID类演示代码分析总结 目的 USB是目前最流行的接口，现在很多个人用的电子设备也都是USB设备。目前大多数单片机都有USB接口，使用USB接口作为HID类设备来使用是非常常用的，比如USB鼠标、键盘都是这一类。这篇文章将简单…...
探索AI图像安全，助力可信AI发展
探索AI图像安全，助力可信AI发展 0. 前言1. 人工智能发展与安全挑战1.1 人工智能及其发展1.2 人工智能安全挑战 2. WAIC 2023 多模态基础大模型的可信 AI2.1 WAIC 2023 专题论坛2.2 走进合合信息 3. AI 图像安全3.1 图像篡改检测3.2 生成式图像鉴别3.3 OCR 对抗攻击技…...
vue 学习笔记 【ElementPlus】el-menu 折叠后图标不见了
项目当前版本 {"dependencies": {"element-plus/icons-vue": "^2.1.0","types/js-cookie": "^3.0.3","types/nprogress": "^0.2.0","axios": "^1.4.0","core-js": &quo…...
【JavaEE初阶】HTTP协议
文章目录 1. HTTP概述和fiddler的使用1.1 HTTP是什么1.2 抓包工具fiddler的使用1.2.1 注意事项1.2.2 fiddler的使用 2. HTTP协议格式2.1 HTTP请求格式2.1.1 基本格式2.1.2 认识URL2.1.3 方法 2.2 请求报头关键字段2.3 HTTP响应格式2.3.1 基本格式2.3.2状态码 1. HTTP概述和fidd…...
基于SaaS模式的Java基层卫生健康云HIS系统源码【运维管理+运营管理+综合监管】
云HIS综合管理平台 一、模板管理 模板分为两种：病历模板和报表模板。模板管理是运营管理的核心组成部分，是基层卫生健康云中各医疗机构定制电子病历和报表的地方，各医疗机构可根据自身特点特色定制电子病历和报表，制作的电子病历…...
effective c++ 条款2
条款2 常量(const)替换宏(#define)指针常量类成员常量 枚举(enum)替换宏(#define)模板函数(template inline)替换宏函数 尽量用const,enum,inline替换#define 总结就是： 常量(const)替换宏(#define) // uppercase names are usually for macros #define ASPECT_R…...
Python爬虫之Scrapy框架系列（23）——分布式爬虫scrapy_redis浅实战【XXTop250部分爬取】
目录： 1.实战讲解（XXTop250完整信息的爬取）：1.1 使用之前做的完整的XXTOP250项目，但是设置为只爬取一页（共25个电影）,便于观察1.2 配置settings文件中使用scrapy_redis的必要配置，并…...
html基于onmouse事件让元素变颜色
最近，在书写div块时，遇到一个小问题，这个小问题我搞了将近一个小时多才慢慢解决。问题是这样子的，有一个div块，我想让鼠标移上去变成蓝色，移开变成灰色，当鼠标按下去时让他变成深蓝色。于是就单…...
Linux环境PostgreSQL安装
今日一语：鲲鹏扶摇而直上九万里，雄鹰展翅高飞，这是因为鲲鹏一出世就得历劫，老鹰刚长出翅膀就会被扔下悬崖 下载安装包，解压到服务器中，然后 make && make install # 登录使用 ./psql # 切换数据库…...
Rust 数据类型 之 结构体（Struct）
目录 结构体（Struct） 定义与声明 结构体定义 结构体实例 结构体分类 单元结构体（Unit Struct） 元组结构体（Tuple Struct） 具名结构体（Named Struct） 结构体嵌套 结构体方法…...
.Net框架，除了EF还有很多很多......
文章目录 1. 引言2. Dapper2.1 概述与设计原理2.2 核心功能与代码示例基本查询多映射查询存储过程调用 2.3 性能优化原理2.4 适用场景 3. NHibernate3.1 概述与架构设计3.2 映射配置示例Fluent映射XML映射 3.3 查询示例HQL查询Criteria APILINQ提供程序 3.4 高级特性3.5 适用场…...
【Java学习笔记】Arrays类
Arrays 类 1. 导入包：import java.util.Arrays 2. 常用方法一览表 方法描述Arrays.toString()返回数组的字符串形式Arrays.sort()排序（自然排序和定制排序）Arrays.binarySearch()通过二分搜索法进行查找（前提：数组是…...
前端倒计时误差!
提示：记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来？二、五大解决方案1. 动态校准法（基础版）2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...
解锁数据库简洁之道：FastAPI与SQLModel实战指南
在构建现代Web应用程序时，与数据库的交互无疑是核心环节。虽然传统的数据库操作方式（如直接编写SQL语句与psycopg2交互）赋予了我们精细的控制权，但在面对日益复杂的业务逻辑和快速迭代的需求时，这种方式的开发效率和可…...
【机器视觉】单目测距——运动结构恢复
ps：图是随便找的，为了凑个封面 前言 在前面对光流法进行进一步改进，希望将2D光流推广至3D场景流时，发现2D转3D过程中存在尺度歧义问题，需要补全摄像头拍摄图像中缺失的深度信息，否则解空间不收敛…...
EtherNet/IP转DeviceNet协议网关详解
一，设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络，本网关连接到EtherNet/IP总线中做为从站使用，连接到DeviceNet总线中做为从站使用。 在自动…...
HTML前端开发：JavaScript 常用事件详解
作为前端开发的核心，JavaScript 事件是用户与网页交互的基础。以下是常见事件的详细说明和用法示例： 1. onclick - 点击事件 当元素被单击时触发（左键点击） button.onclick function() {alert("按钮被点击了！&…...
Reasoning over Uncertain Text by Generative Large Language Models
https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829 1. 概述 文本中的不确定性在许多语境中传达，从日常对话到特定领域的文档（例如医学文档）（Heritage 2013；Landmark、Gulbrandsen 和 Svenevei…...
论文笔记——相干体技术在裂缝预测中的应用研究
目录 相关地震知识补充地震数据的认识地震几何属性 相干体算法定义基本原理第一代相干体技术：基于互相关的相干体技术（Correlation）第二代相干体技术：基于相似的相干体技术（Semblance）基于多道相似的相干体…...
安全突围：重塑内生安全体系：齐向东在2025年BCS大会的演讲
文章目录 前言第一部分：体系力量是突围之钥第一重困境是体系思想落地不畅。第二重困境是大小体系融合瓶颈。第三重困境是“小体系”运营梗阻。 第二部分：体系矛盾是突围之障一是数据孤岛的障碍。二是投入不足的障碍。三是新旧兼容难的障碍。 第三部分&am…...