minimind模型训练

项目包括供完整的 MiniMind-LLM 结构代码Dense MoE当前主线结构对齐 Qwen3 / Qwen3-MoE 生态。提供 Tokenizer 与分词器训练代码支持 tool_call、tool_response、think 等模板标记。覆盖 Pretrain、SFT、LoRA、RLHF-DPO、RLAIFPPO / GRPO / CISPO、Tool Use、Agentic RL、自适应思考与模型蒸馏等完整训练流程。提供全阶段开源数据覆盖收集、蒸馏、清洗与去重后的高质量数据集。关键训练算法与核心模块均从 0 实现不依赖第三方框架封装。兼容 transformers、trl、peft 等主流框架以及 llama.cpp、vllm、ollama 等常用推理引擎与 Llama-Factory 等训练框架。支持单机单卡与单机多卡DDP、DeepSpeed训练支持 wandb / swanlab 可视化与动态启停训练。支持在 C-Eval、C-MMLU、OpenBookQA 等第三方测评集上进行评测并支持通过 YaRN 实现 RoPE 长文本外推。提供兼容 OpenAI API 协议的极简服务端便于接入 FastGPT、Open-WebUI 等第三方 Chat UI并支持 reasoning_content、tool_calls、open_thinking。提供基于 Streamlit 的极简聊天 WebUI支持思考展示、工具选择与多轮 Tool Call。创建环境conda create –name minimind python3.10conda env listconda activate minimind学术加速source /etc/network_turbo可以安装包单独下载然后上传解压解压缩unzip .zip解压之后进入安装依赖安装依赖中前置知识神经网络是什么function输入是x输出是y拟合函数。attention是什么3b1b的视频看一下完形填空的预测词语。根据前面的信息预测出下一个信息是什么。加权求和。minimind架构图创建一个文件uv init将其依赖粘贴过来然后继续使用uv sync。创建虚拟环境安装依赖重启终端加载环境创建这几个文件