3块钱，2小时，他用一张显卡从零训练了一个大模型

3块钱能干什么一杯蜜雪冰城都不够。但有人用3块钱的电费加2个小时从零训练出了一个能聊天的AI大模型。这不是段子。是一个在 GitHub 上拿到 41.9k Star 的开源项目叫 MiniMind。大模型自由来了过去两年所有人都在聊大模型。ChatGPT、Claude、DeepSeek……这些名字你肯定听过。但你有没有想过这些模型到底怎么训练出来的教科书说得很吓人海量算力、TB级数据、顶级团队、烧几百万美元。没说错。但 MiniMind 的作者 Jingyao Gong 证明了这件事的门槛可以低到什么程度。单张 30902小时3块钱电费2600万参数。GPT-2 是 1.5 亿参数MiniMind 只有它的六分之一。但该有的全有。从 Tokenizer 到 RLHF没有藏着掖着很多开源项目叫开源核心代码一看一堆封装。MiniMind 把大模型训练从头到尾的代码全摊开了Tokenizer 训练把中文切成模型认识的 token预训练Pretrain让模型学会语言规律监督微调SFT教会模型正确回答强化学习RLHF/DPO/PPO让回答更对人类胃口模型蒸馏把大模型的知识塞进小模型全部基于 PyTorch 原生实现没有调包调库的魔法。你可以一行一行看一行一行改。调用 API 和理解原理完全是两回事。MiniMind 选的是后者。26M 参数够用吗说句大实话2600万参数肯定打不过 GPT-4。但在 C-Eval、CMMLU、A-CLUE 这些中文评测上MiniMind2 跑赢了同体量的 GPT2-medium 和 TinyLlama。项目给了三个规格模型参数量特点MiniMind2-Small26M极致轻量2小时能训完MiniMind2104M性能和效率的平衡点MiniMind2-MoE145M混合专家架构参考了 DeepSeek-V2另外还有个多模态版本 MiniMind-V能看图。学 AI 的人应该看看这个做 AI 方向的学生或转行从业者大概都有过这种体验想搞懂 Transformer 的原理教程翻了几十篇要么太浅要么太飘。想动手跑一遍训练流程光配环境就放弃了。MiniMind 的代码量不大但每一块都是干净的从零实现。RoPE 位置编码怎么写、SwiGLU 激活函数长什么样、MoE 的专家路由逻辑在哪几行翻代码就能看到。训练完的模型还能直接转成 llama.cpp、ollama、vllm 格式部署不用额外折腾。社区已经玩出花了9k Star 背后是实打实的使用量。医疗问答、法律文本生成、联邦学习……各领域的开发者拿 MiniMind 做二次开发。小模型这个方向确实有真实需求。不是每个场景都需要 GPT-4 级别的回答手机端跑的、本地部署的轻量模型很多情况下反而更合适。谁适合折腾这个AI 学习者想搞懂大模型原理但找不到好路径的。MiniMind 的代码比大多数教程讲得清楚。独立开发者需要在端侧跑轻量模型的。2小时训一个定制模型成本可控。研究者想快速验证想法又不想租贵集群的。一张 3090 的事。写在最后大模型这波浪潮不会停但参与的方式不止跟 ChatGPT 聊天这一种。打开 MiniMind 的代码跑一遍训练流程看一个 Transformer 怎么从零搭起来。从用到懂这件事的成本已经低到不需要犹豫了。项目地址https://github.com/jingyaogong/minimind这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容