llamafactory报错：双卡4090GPU，训练qwen2.5:7B、14B时报错GPU显存不足（out of memory），轻松搞定~~~

实际问题场景：

使用llamafactory进行微调qwen2.5 7B和14B的大模型时，会出现out of memory的报错。尝试使用降低batch_size（原本是2，现在降到1）的方式，可以让qwen2.5:7B跑起来，但时不时会不稳定，还是会报这个错误；微调14B的话，直接就报错了，根本跑起来。（显卡配置为两张23G的4090显卡，显存一共46G）目测lora微调显存的大小是模型本身大小的3倍以上，才能正常跑起来。

解决办法:

1. 去qwen的官网找到下载ds_config_zero3.json这个文件
   https://github.com/QwenLM/Qwen/blob/main/finetune/ds_config_zero3.json
2. 将文件放在llamafactory目录下
3. 编辑ds_config_zero3.json这个文件，将device改成cpu即可

"zero_optimization": {"stage": 3,"offload_optimizer": {"device": "cpu","pin_memory": true},"offload_param": {"device": "cpu","pin_memory": true},

注: 若不知道这个配置的代表什么含义的话，可以看这一篇deepspeed配置讲解

4. 启动llamafactory-cli webui ，把参数设置好，然后预览下启动命令，复制出来
5. 将命令复制出来 ，在llamafactory当前目录下直接粘贴，启动就大功告成了！！！
   （据说更大的模型都可以训练，只是需要的时间很多，没办法，时间换空间是这样了）

启动后查看显卡使用情况，显卡直接拉满

命令：nvitop
如果没有这个命令，pip install nvitop ，就可以实时查看显卡使用情况了

起飞