Training Compute-Optimal Large Language Models（Chinchilla）
論文: Hoffmann et al.(DeepMind),NeurIPS 2022,arXiv:2203.15556。
畫布實例: TinyStories 上的迷你 IsoFLOP 剖面 — 三組(模型大小, token 預算)嚴格等算力 C = 6·N·D,以固定的 131,072-token 保留集 val_loss 排名。
結論:頭條主張在兩個預算下強烈重現;掃描範圍內沒有出現內部谷形,而代理診斷出了原因。
代理做了什麼
讀完 PDF,代理精準復原了論文機制 — C ≈ 6ND 的記帳、IsoFLOP 協定(固定 C、掃模型大小、由約束決定各自 token 數、cosine 排程對齊訓練長度),以及擬合指數 N_opt ∝ C^0.49、D_opt ∝ C^0.51。接著它在空白畫布建出完整的 14 節點 TinyStories 鏈,並自行推導配置:body 取 (d128,L2)、(d256,L4)、(d384,L6),head dim 32、d_ff = 4d;N 用非嵌入的 12·L·d² 近似(明示的刻意簡化);在 batch 8 x seq 128 下取整數步數 2592 / 324 / 96,使三臂精確滿足同一 C ≈ 6.26x10^12 FLOPs。Seed、tokenizer、資料順序與保留集全數跨臂固定。
第一輪 — C ≈ 6.26x10^12
| body | steps | tokens | val_loss | perplexity |
|---|---|---|---|---|
| d128 L2 | 2592 | 2.65M | 3.726 | 41.5 |
| d256 L4 | 324 | 332k | 4.661 | 105.6 |
| d384 L6 | 96 | 98k | 5.482 | 240.2 |
單調、不是谷形:吃到最多 token 的最小模型直接勝出。代理的解讀:最佳點在最小端之外 — 這個預算對所掃的每個尺寸都太小。它沒有就此打住,而是自主提出 10 倍算力的第二輪剖面,等比放大 token 預算與資料上限,保留同一個保留集。
第二輪 — C ≈ 6.26x10^13(代理自主提出)
| body | steps | tokens | val_loss | perplexity |
|---|---|---|---|---|
| d128 L2 | 25,920 | 26.5M | 2.476 | 11.9 |
| d256 L4 | 3,240 | 3.32M | 3.083 | 21.8 |
| d384 L6 | 960 | 983k | 3.715 | 41.0 |
仍然單調 — 而一組跨預算對照就把整篇論文說完:d384 花 10 倍算力(3.715)只落在 d128 花 1 倍算力的位置(3.726)。 把預算錯配進參數而非資料,燒掉整整一個數量級的算力毫無所得。這就是 Gopher 對 Chinchilla 的論證,在本機 36 秒 GPU 時間內量測完成。
誠實計分卡
- 重現: 讓論文成名的那個主張 — 固定算力下,訓練不足的大模型輸給吃更多 token 的小模型 — 在兩個預算下、單調地成立。
- 尚未重現: 內部谷形。代理的診斷:GPT-2 的 50,257 詞彙 tied embedding 讓 d128 模型處於 embedding 主導區,body-only 的 12Ld² 記帳因此錯配 D;真正的最佳點落在掃描範圍最小端之下。它開出的後續 — 延伸到 d64-96、改用含 embedding 的記帳、跨 3-5 個 seed 重複 — 正是審稿人會要求的。
- 每點單一 seed、各跑一次:按工具自己的標籤,屬 pilot。
為什麼這一頁對「說服」最重要
代理讀了一篇 40 頁的論文、推導出算力記帳方案、從零建出 14 節點管線、跑了控制剖面、判定自己的結果不足、並自主提出人類 scaling-law 研究者會跑的下一輪掃描 — 全部只經過兩次核准。