我攒了二十多个大模型算法的小实验
2026-10-12
从零实现 SFT 和 DPO、一整套强化学习算法、跨 tokenizer 的知识蒸馏。为什么看论文不够,非得自己写一遍。
909 字
|
5 分钟
Loftey:MoE 语言模型的实践记录(下)
2026-01-30
分享我最近折腾的一个小项目 —— Loftey,一个基于 MoE 的 235M 参数轻量级语言模型,从架构到训练的完整实践记录。
1404 字
|
7 分钟
分享初次构建一个 MoE 大语言模型的部分过程
2025-09-11
目标是构建一个 ~0.8B 参数的 Decoder-only 语言模型,融入 GQA、RoPE、MoE 等当前主流设计。记录踩过的坑:数据污染、模型"假死"、被忽略的传参。
1240 字
|
6 分钟