本地训练中文LLaMA模型实战教程，民间羊驼模型，24G显存盘它！
羊驼实战系列索引
博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型
博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型（本博客）
博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型（马上发布）
简介
在学习完上篇【1本地部署中文LLaMA模型实战教程，民间羊驼模型】后，我们已经学会了下载模型，本地部署模型，部署为网页应用。
如果我们对于模型在某些方面的能力不够满意，想要赋予模型一些特殊的能力，那么我们可以选择领域内特殊的数据集，然后在基础模型上继续训练，从而得到一个新的模型。例如我们可以把医学知识用于训练模型，得到一个医生chatGPT;把佛学资料用于训练模型，得到一个佛祖chatGPT;人类的已有知识是海量的，智慧是无穷的，我相信大家一定有更好的想法！
本博客主要包含以下内容：
1训练数据准备，纯文本txt数据。
2训练脚本编写，主要参数讲解，消耗显存控制在24GB以内
3训练实战，测评。
系统配置
系统：Ubuntu 20.10
CUDA Version: 11.8
GPU: RTX3090 24G
内存: 64 G
anaconda（python版本管理）
RTX3
相关文章：
本地训练中文LLaMA模型实战教程，民间羊驼模型，24G显存盘它！
羊驼实战系列索引 博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型 博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型（本博客） 博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型（马上发布） 简介 在学习完上篇【1本地部署中文LLaMA模型实战教程，民间羊驼模…...
快速学Go依赖注入工具wire
Go相对java和C是较新的语言，但也有诸多优秀特性及生态库。本文介绍大多数软件工程中常用的功能：依赖注入。首先介绍什么是依赖注入，go实现库wire与其他语言的差异。然后通过简单示例实现依赖注入，简化代码、提升可读性。 依赖注入…...
python入门（4）流程控制语句
1. 条件判断语句 条件控制语句用于根据条件来决定程序的执行路径。在Python中，常见的条件控制语句有以下几种： （1）if语句：用于执行满足条件的代码块。示例代码： age 20 if age > 18:print("成年…...
【进阶】C 语言表驱动法编程原理与实践
数据压倒一切。如果选择了正确的数据结构并把一切组织的井井有条，正确的算法就不言自明。编程的核心是数据结构，而不是算法。——Rob Pike 目录 说明 概念提出 查表方式 直接查找 索引查找 分段查找 实战示例 字符统计 月天校验 名称构造 值名…...
java+springboot留学生新闻资讯网的设计与实现
Spring框架是Java平台的一个开放源代码的Full-stack(全栈)应用程序框架，和控制翻转容器的实现。Spring框架的一些核心功能理论，可以用于所有Java应用，Spring还为Java EE构建的Web应用提供大量的扩展支持。Spring框架没有实现任何的编程模型&a…...
分布式事务与分布式锁区别及概念学习
一、 分布式事务 1.1 背景 传统事务ACID是基于单数据库的本地事务，仅支持单机事务，并不支持跨库事务。但随着微服务架构的普及，业务的分库分表导致一个大型业务系统往往由若干个子系统构成，这些子系统又拥有各自独立的数据库。往往一个业务流程需要由多个子系统共同完成，…...
windows先的conda环境复制到linux环境
如果是迁移的环境一致：同是windows或同是linux直接用这个命令即可： conda create -n new_env_name --clone old_env_path 如果是window的环境迁移到linux这种跨环境就不能用上面的方法，网上这方面的资料也很多，记录一下我的…...
庄懂的TA笔记（十七）＜特效：屏幕UV + 屏幕扰动＞
庄懂的TA笔记（十七）＜特效：屏幕UV 屏幕扰动＞ 大纲： 目录 庄懂的TA笔记（十七）＜特效：屏幕UV 屏幕扰动＞ 大纲： 正文： 一…...
手写简易RPC框架
目录 简介 服务提供者 服务注册：注册中心 HttpServerHandler处理远程调用请求 consumer服务消费端 简介 RPC（Remote Procedure Call）——远程过程调用，它是一种通过网络从远程计算机程序上请求服务， 而不需要了解…...
基于孪生网络的目标跟踪
一、目标跟踪 目标跟踪是计算机视觉领域研究的一个热点问题，其利用视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标的位置。具体而言，视觉目标（单目标）…...
苏州狮山广场能耗管理系统
摘要：随着社会生活水平的提高，经济的繁荣发展，人们对能源的需求逐渐增长，由此带来的能源危机日益严重。商场如何实时的了解、分析和控制商场的能源消耗已成为需要解决的迫在眉睫的难题。传统的能源消耗智能以月/季度/年为周期进行…...
Jupyter Notebook 10个提升体验的高级技巧
Jupyter 笔记本是数据科学家和分析师用于交互式计算、数据可视化和协作的工具。Jupyter 笔记本的基本功能大家都已经很熟悉了，但还有一些鲜为人知的技巧可以大大提高生产力和效率。在这篇文章中，我将介绍10个可以提升体验的高级技巧。 改变注释的颜色 颜…...
CF 751 --B. Divine Array
Black is gifted with a Divine array a consisting of n (1≤n≤2000) integers. Each position in a has an initial value. After shouting a curse over the array, it becomes angry and starts an unstoppable transformation. The transformation consists of infinite…...
Springcloud1---＞Eureka注册中心
目录 Eureka原理Eureka入门案例编写EurekaServer将user-service注册到Eureka消费者从Eureka获取服务 Eureka详解基础架构高可用的Eureka Server失效剔除和自我保护 Eureka原理 Eureka：就是服务注册中心（可以是一个集群），对外暴露自…...
面试阿里、字节全都一面挂，被面试官说我的水平还不如应届生
测试员可以先在大厂镀金，以后去中小厂毫无压力，基本不会被卡，事实果真如此吗？但是在我身上却是给了我很大一巴掌... 所谓大厂镀金只是不卡简历而已，如果面试答得稀烂，人家根本不会要你。况且要不是大厂出来…...
JAVA开发（记一次删除完全相同pgSQL数据库记录只保留一条）
进行数据管理时，无效数据可能会对生产力和决策质量造成严重的影响。如何发现和处理无效数据变得愈发重要。一起来唠唠你会如何处理无效数据吧~ 方向一：介绍无效数据的概念 最近遇到了pg数据库表中的大量数据重复了，需要删除其中的一条。一条…...
音视频八股文（7）-- 音频aac adts三层结构
AAC介绍 AAC（Advanced Audio Coding）是一种现代的音频编码技术，用于数字音频的传输和存储领域。AAC是MPEG-2和MPEG-4标准中的一部分，可提供更高质量的音频数据，并且相比于MP3等旧有音频格式，AAC需要更少的…...
Docker代码环境打包进阶 - DockerHub分享镜像
1. Docker Hub介绍 Docker Hub是一个广泛使用的容器镜像注册中心，为开发人员提供了方便的平台来存储、共享和分发Docker容器镜像。它支持版本控制、访问控制和自动化构建，并提供了丰富的公共镜像库，方便开发人员快速获取和使用各种开源应用和…...
SQL进阶-having子句的力量
SQL进阶-having子句的力量 having子句是理解SQL面向集合这一本质的关键。 在以前的SQL标准里面，having子句必须和group by子句一起使用，但是按照现在的SQL标准，having子句是可以单独使用的 可以与case 表达式或者自连接等结合使用。表不是文件…...
Electron 如何创建模态窗口？
目录 前言一、模态窗口1.Web页面模态框2.Electron中的模态窗口3.区分父子窗口与模态窗口 二、实际案例使用总结 前言 模态框是一种常用的交互元素，无论是在 Web 网站、桌面应用还是移动 APP 中，都有其应用场景。模态框指的是一种弹出窗口，它…...
React Native 开发环境搭建（全平台详解）
React Native 开发环境搭建（全平台详解） 在开始使用 React Native 开发移动应用之前，正确设置开发环境是至关重要的一步。本文将为你提供一份全面的指南，涵盖 macOS 和 Windows 平台的配置步骤，如何在 Android 和 iOS…...
模型参数、模型存储精度、参数与显存
模型参数量衡量单位 M：百万（Million） B：十亿（Billion） 1 B 1000 M 1B 1000M 1B1000M 参数存储精度 模型参数是固定的，但是一个参数所表示多少字节不一定，需要看这个参数以什么…...
循环冗余码校验CRC码 算法步骤+详细实例计算
通信过程：（白话解释） 我们将原始待发送的消息称为 M M M，依据发送接收消息双方约定的生成多项式 G ( x ) G(x) G(x)（意思就是 G （ x ) G（x) G（x) 是已知的）࿰…...
VTK如何让部分单位不可见
最近遇到一个需求，需要让一个vtkDataSet中的部分单元不可见，查阅了一些资料大概有以下几种方式 1.通过颜色映射表来进行，是最正规的做法 vtkNew<vtkLookupTable> lut; //值为0不显示，主要是最后一个参数，透明度…...
SpringCloudGateway 自定义局部过滤器
场景： 将所有请求转化为同一路径请求（方便穿网配置）在请求头内标识原来路径，然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...
力扣-35.搜索插入位置
题目描述 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 class Solution {public int searchInsert(int[] nums, …...
解读《网络安全法》最新修订，把握网络安全新趋势
《网络安全法》自2017年施行以来，在维护网络空间安全方面发挥了重要作用。但随着网络环境的日益复杂，网络攻击、数据泄露等事件频发，现行法律已难以完全适应新的风险挑战。 2025年3月28日，国家网信办会同相关部门起草了《网络安全…...
Golang——9、反射和文件操作
反射和文件操作 1、反射1.1、reflect.TypeOf()获取任意值的类型对象1.2、reflect.ValueOf()1.3、结构体反射 2、文件操作2.1、os.Open()打开文件2.2、方式一：使用Read()读取文件2.3、方式二：bufio读取文件2.4、方式三：os.ReadFile读取2.5、写…...
使用SSE解决获取状态不一致问题
使用SSE解决获取状态不一致问题 1. 问题描述2. SSE介绍2.1 SSE 的工作原理2.2 SSE 的事件格式规范2.3 SSE与其他技术对比2.4 SSE 的优缺点 3. 实战代码 1. 问题描述 目前做的一个功能是上传多个文件，这个上传文件是整体功能的一部分，文件在上传的过程中…...
图解JavaScript原型：原型链及其分析 | JavaScript图解
忽略该图的细节（如内存地址值没有用二进制） 以下是对该图进一步的理解和总结 1. JS 对象概念的辨析 对象是什么：保存在堆中一块区域，同时在栈中有一块区域保存其在堆中的地址（也就是我们通常说的该变量指向谁&…...