MiniMind：从0到1，亲手训练你的第一个 LLM
一句话简介：MiniMind 是一个从零开始训练语言模型的开源教学项目，只需约3元成本与2小时时间，即可在单张消费级 GPU 上完成 64M 参数模型的 Pretrain、SFT、LoRA、RLHF/RLAIF 全流程训练。
工具概览
| 属性 | 信息 |
|---|---|
| 仓库地址 | jingyaogong/minimind |
| 作者 | jingyaogong |
| GitHub 星标 | ⭐ 56,414 |
| Fork 数 | 7,350 |
| 更新时间 | 2026-09-01 |
| 许可证 | Apache 2.0 |
| 支持语言 | Python |
| 最新版本 | v2（Docs） |
| 在线体验 | ModelScope |
| 文档 | minimind.readthedocs.io |
核心功能
1. 超低成本从零训练
MiniMind 最大的亮点是极致亲民的训练成本。在单张 NVIDIA 3090 上，整个 Pretrain + SFT 流程仅需约 2 小时，GPU 租用费用不到 3 元人民币。这对于想要体验完整 LLM 训练流程的个人开发者来说，几乎零门槛。
2. 全链路训练覆盖
与许多只覆盖预训练的教程项目不同，MiniMind 涵盖了大模型训练的完整生命周期：
- Pretrain（预训练）：学习基础语言模式
- SFT（监督微调）：让模型学会按指令作答
- LoRA：高效参数微调技术
- RLHF-DPO：基于人类反馈的强化学习对齐
- RLAIF-PPO/GRPO/CISPO：基于 AI 反馈的强化学习算法
- Tool Use：工具调用能力训练
- Agentic RL：智能体强化学习
- 自适应思考与模型蒸馏
3. 纯原生 PyTorch 实现
MiniMind 的关键训练算法与核心模块全部从 0 使用 PyTorch 原生实现，不依赖 transformers / trl / peft 等第三方框架的高层封装。这意味着你将看到每一行代码的真实含义——Attention 矩阵怎么算、Loss 怎么传递、GRPO 如何工作，全部一目了然。
4. 多模态扩展生态
MiniMind 不仅限于文本模型，已拓展出多个分支版本：
- MiniMind-V：视觉模态模型
- MiniMind-O：多模态 Omni 模型
- MiniMind-dLM：扩散语言模型
- MiniMind-Linear：线性模型
5. 教程定位
MiniMind 不仅是一个训练框架，更是一套面向 LLM 入门与实践的完整教程。项目理念是 “大道至简”——用最少代码揭示大模型最核心的实现细节，让每一位读者都能从理解每一行代码开始。
适用人群
- AI 初学者：想理解大模型内部工作原理，不再只是调 API
- 学生与研究员：需要从零复现 LLM 训练过程进行学术实验
- 开发者进阶：希望深入掌握 Transformer、MoE、RLHF 等核心技术的工程师
- 教育者：寻找可演示、可复现的 LLM 教学案例的教师
与同类工具对比
| 项目 | 定位 | 参数量 | 训练成本 | 学习深度 |
|---|---|---|---|---|
| MiniMind | 从零训练教学 | 64M | ~3元/2h | 极高（原生PyTorch） |
| LLaMA | 开源大模型 | 7B-405B | 数万至数十万美元 | 中（需自行理解） |
| tinyllama | 小型预训练模型 | 1.1B | 较高 | 低（使用现成代码） |
| nanoGPT | GPT 教学实现 | ~110M | 较低 | 高（但仅含预训练） |
| HuggingFace transformers | 通用训练框架 | 任意 | 视模型而定 | 低（高度封装） |
MiniMind 的独特优势在于：它同时覆盖了从 Pretrain 到 SFT 再到 RLHF/RLAIF 的全链路，且代码完全自研、注释详尽，是目前中文社区中门槛最低的大模型完整训练教程。
如何使用
环境准备
# 克隆仓库
git clone https://github.com/jingyaogong/minimind.git
cd minimind
# 安装依赖
pip install -r requirements.txt
第一步：准备数据
项目自带数据预处理脚本，也可使用开源数据集（如 SHP、Alpaca 等）进行替换。数据清洗和去重已在项目中完成。
第二步：预训练（Pretrain）
# 在单卡 GPU（推荐 3090 及以上）上运行
python train_pretrain.py
预训练阶段让模型学习基础语言模式，约需 1-2 小时（取决于 GPU 配置）。
第三步：监督微调（SFT）
python train_sft.py
SFT 阶段让模型学会按指令作答，这是”2小时3块钱”的核心环节。
第四步：强化学习优化（可选）
# DPO 对齐
python train_dpo.py
# GRPO 算法
python train_grpo.py
推理测试
训练完成后即可进行推理：
from minimind import MiniMind
model = MiniMind.from_pretrained('./checkpoint')
response = model.generate('你好，请介绍一下你自己', max_new_tokens=256)
print(response)
总结
MiniMind 是目前中文开源社区中最完整、最易上手的大模型从头训练项目。它的核心价值不在于训练出多强的模型（64M 参数的模型推理能力有限），而在于让你真正理解每一个训练步骤背后的原理——从 Tokenizer 设计、Attention 机制、Loss 计算，到 RLHF 的 PPO 算法实现。
如果你是 AI 领域的初学者或进阶开发者，想跳出”调包侠”的舒适区，真正理解大模型是怎么”炼”出来的，MiniMind 是最值得投入的一个项目。花不到一顿外卖的钱，换来对整个 LLM 技术栈的系统性理解，性价比极高。
推荐指数：⭐⭐⭐⭐⭐（5/5）
适合所有对 LLM 原理感兴趣的开发者和研究者，尤其推荐给想深入理解大模型训练流程的技术爱好者。