finetuning大模型准备(基于Mac环境)

为finetuning进行的热身准备，涉及周边的软件工具，方法。

问题1：finetuning过程较长，采用系统自带命令行没有后台，前台被杀后，容易造成训练失败。

解决方法： tmux可以开启后台训练

问题2：大模型训练过程会有几个G 的bin等文件，不宜下载频繁

解决方法：Git LFS可以进行git屏蔽和指定文件下载

1. tmux

1.1 安装：

brew install tmux

1.2 启动

启动：tmux

1.3 查看已创建的会话

1.4 分屏

①ctrl + B 松开

②shift + %

1.5 分屏后的窗口中的光标互相切换

快捷键：先按ctrl+b, 放开后再按下o

1.6 新建session

tmux new -s Session-name

1.7 进入一个已知会话

tmux a -t Session-name

1.8 关闭会话

tmux kill-session -t Session-name

2.Git LFS

Git LFS(Large File Storage)是一个用于版本控制系统中管理大文件（如视频、图形或大型数据文件）的扩展

以chatglm3-6b模型为例，如下：

很多1个多G的文件着实很大。每次下载都需要把不同分支的内容下载下来，内容会非常大，浪费时间。lfs是个不错的选择。

2.1 lfs安装

git lfs install

2.2 配置lfs 克隆

GIT_LFS_SKIP_SMUDGE=1 git clone <repository-addr>

即时git pull 也不会把大文件拉下来。

2.3 指定匹配对象

git lfs fetch --include 命令允许你指定要下载的LFS对象的路径模式。这意味着你可以选择只下载与给定模式匹配的LFS对象，而不是下载整个仓库的所有LFS对象。

这个命令会下载与指定模式匹配的所有LFS对象，并将其存储在本地LFS缓存中。

2.4 下载

git lfs checkout用于将 LFS 追踪的大文件从远程存储库下载到本地工作副本

工欲善其事，必先利其器

开始训练：