看论文的时候总觉得懂了。看别人的代码,也觉得懂了。
自己动手才发现卡住的地方全在细节里:advantage 该怎么算、loss 在哪一步聚合、mask 加在哪个轴上。这些论文通常一两句话带过,而它们决定了实不work。
所以我攒了一个仓库,专门复现大模型相关的算法。现在大约二十多个子项目,每个都是一个能跑的小实验。
强化学习那一块最多
这部分占比最大,基本上把主流 RLHF 算法都写了一遍:GRPO、DAPO、PPO、ReMax、RLOO、Reinforce++,还有一个不训练的 GRPO 变体。另外借 verl 做了代码推理方向的后训练实验。
写完之后有个体会:这些算法之间的差异,往往就在 advantage 估计和 loss 聚合的几行代码上。但效果差异很大,而且这些差异很难从公式上看出来——得自己跑。
举个具体的:PPO 里 critic 的存在与否,直接把训练分成两代方法。去掉 critic 之后,advantage 该怎么估计就成了核心问题,GRPO 用组内归一化,DAPO 又在这个基础上加了几个修正。论文里这些都是小节的篇幅,但自己实现的时候会反复遇到”这里为什么这么写”的疑问。
从零训练的部分
train_llm_from_scratch 是从零实现 SFT 和 DPO 全流程的。还有 MoE、多模态、SigLIP、Qwen3-Next 的从零训练。
同策略知识蒸馏里有一个子项目做跨 tokenizer 的蒸馏——师生模型词表不一样的时候怎么蒸馏。这个问题比想象中有意思:logits 对不齐,就不能直接用 KL,要么做词表映射,要么用序列级的分布匹配。每种做法都有自己的代价。
Agent 和检索
RAG 和表格 RAG(结构化数据检索)。深度研究 agent,用 langgraph 加 MCP 加 searxng 串起来。还有一个 PDF 转 Markdown 的管线。
最后一个可能听起来最没意思,但它是 LLM 时代绕不开的脏活。PDF 里的表格、双栏排版、公式,每一样都要单独处理。
也留下了一些训练产物
配合这些脚本,在云端跑过 SFT 微调。本地留了几个 checkpoint,其中一次训练到 loss 2.65 时刚跑完 0.13 个 epoch 就停了——云端成本所限,但足够验证管线是通的。
这些 checkpoint 现在更多是”我真的跑过”的证据,而不是有什么使用价值。
三条体会
复现是最好的学习。 每复现一个算法,对原论文的理解会翻新一遍。有时候会发现论文里没写清楚的地方,有时候会发现自己的理解有偏差。
先用小模型跑通管线。 我习惯先用一亿参数级别的模型验证整条链路,确认 loss 在降、梯度没问题、保存加载正常,再放大规模。省时间也省钱。
工程细节比算法更容易出错。 数据过滤、collator 对 labels 的处理、mask 的位置——这些”脏细节”出问题的概率,远大于算法本身写错。我在另一篇里详细写过一次因为 labels 处理错误导致模型崩溃的经历。
这些子项目的笔记会陆续整理成单独的篇目,每篇聚焦一个算法,写清楚实现时卡在哪、怎么解决的。
如果一个算法能写成一篇,希望它能比”论文的翻译版”多一点东西。