探索开源MiniMind项目：让大语言模型不再神秘（1）

简介：

声明：本人非此项目作者，仅仅是探索项目，分享项目。如有不妥，请联系我删除！

原项目地址：GitHub - jingyaogong/minimind: 「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！

---

​ 

项目的初衷很简单，就是为了让大语言模型不再这么神秘！作者通过简化模型的结构以及训练过程，让模型需要的计算资源个人也可以承担。并且项目提供了从训练到推理的完整过程，可以轻松学习整个项目。

项目中通过更改模型参数设置可以得到三种不同参数大小的模型，具体如下。

​

快速体验 ：

MiniMind (ModelScope)

项目作者的环境配置：
​

模型架构：

 

 

项目训练时间 

训练过程 

1. 预训练：预训练就是让Model先埋头苦学大量基本的知识，例如从维基百科、新闻、常识、书籍等。
2. 单轮次对话有监督微调：让模型学会单次对话。
3. 多轮对话微调：让模型可以像人一样根据历史回答进行谈话。
4. 人类反馈强化学习(RLHF)之-直接偏好优化：使模型更符合人的偏好，给出更让人满意的回答。

免费GPU算力分享： 

这个项目完全可以在一些提供算力资源的平台免费运行。以下是我亲自体验过的一些平台，它们提供了从入门级到高端的多样化显卡资源，可以满足不同层次的算力需求：

平台名称	特点	优惠活动	链接	推荐程度（星）
FunHPC	适合长期白嫖使用	注册可得15代金券；学生认证后，P4显卡免费用（无限次使用）	FunHPC	★★★★★
趋动云	有很多大力度活动，可以轻松获得几百算力。	注册得到10元算力金；充值20元可以得到190元算力金	趋动云	★★★★★
蓝耘	不用充值，门槛低	注册直接得到30元无门槛代金券	蓝耘	★★★★☆
恒源云	适合学生长期用，不适合白嫖需要充值才能白嫖，有很多门槛	注册可得30元代金券，但是得充值，而且有效前很短。	恒源云	★☆☆☆☆

总结

这是一个极具价值的大型语言模型学习项目，值得您的关注和推荐。本文仅作为初步介绍，旨在为您揭开该项目的神秘面纱。在未来，我们将持续深入探索并分享更多关于该项目的详细信息。敬请期待，并保持关注，以便不错过任何精彩内容。