DeepSeek R1学习

0.回顾：

https://blog.csdn.net/Together_CZ/article/details/144431432?ops_request_misc=%257B%2522request%255Fid%2522%253A%25226574a586f0850d0329fbb720e5b8d5a9%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=6574a586f0850d0329fbb720e5b8d5a9&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~rank_v31_ecpm-1-144431432-null-null.142^v101control&utm_term=%E5%A6%82%E4%BD%95%E5%88%A9%E7%94%A8o1%E8%BF%9B%E8%A1%8C%E8%92%B8%E9%A6%8F&spm=1018.2226.3001.4187
https://blog.csdn.net/m0_56172605/article/details/144786447?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522bef2e5d19abe2bcdf2e986e45b1ef9b9%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=bef2e5d19abe2bcdf2e986e45b1ef9b9&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_blogfirst_rank_ecpm_v1~rank_v31_ecpm-23-144786447-null-null.nonecase&utm_term=%E5%A6%82%E4%BD%95%E5%88%A9%E7%94%A8o1%E8%BF%9B%E8%A1%8C%E8%92%B8%E9%A6%8F&spm=1018.2226.3001.4450
https://blog.csdn.net/m0_59164304/article/details/144774756

1.使用 DeepSeek-R1 作为蒸馏模型：

调用费用大约为 o1 模型的 1/50。
百万Token输出耗费约16元。
蒸馏一轮：百元左右。

2. Pipeline：

比如目前的DeepSeek-R1：

3.结果：

3.比较厉害的模型架构：

Gemini 2.0-Flash-thinking：

4.回顾蒸馏

目的就是给Base模型进行后训练，从而产生高性能数据集模型的某些性能。

5.1.5B模型蒸馏

1.环境配置：
显存要求：80G
pytorch 2.5.1
cuda 12.4
python 3.11

安装 WandB



2.下载qwen1.5B

3.下载llama-factory

4.主流的推理数据集：



5.标记：

6.数据清洗：

7.训练参数：

8.结果：
在MMLU涨点10~15.