Lecture 04：从 LLaMA 到 Mistral——模型、基础设施与产品闭环
| 字段 | 内容 |
|---|---|
| 作者/整理 | 基于 Guillaume Lample 访谈、时间戳字幕与五篇一手论文整理 |
| 来源 | Stanford CS153 历史课程上传（当前已 private） |
| 日期 | 2025 年冬季课程 · 2026 年重写版 |
\makecscover
来源审计：这不是一堂公司宣传课
这段访谈表面上按时间讲述 Guillaume Lample 从无监督机器翻译、形式化数学、LLaMA 到 Mistral 的经历；真正值得学习的却不是履历，而是研究问题如何不断改变系统边界。当任务从“对齐两个表示空间”变成“搜索可验证证明”，再变成“训练并部署通用模型”，团队所需要的数据、反馈信号、计算基础设施和产品接口都会改变。因此，本讲的核心问题是：一个模型何时只是研究产物，何时才成为可运行、可定制、可治理的系统？
历史公开视频在 2026 年 8 月 11 日核验时已经转为 private；本地仍保存官方封面和完整时间戳字幕。字幕是自动识别稿，包含人名和产品名错误，因此讲义只在上下文明确时做规范化，并以论文或官方页面校验算法、模型和监管事实。课堂中的人员规模、成本、下载量等数字统一视为讲者在当时的口述估计，而不是静态公司事实。
整讲主线：四次系统边界扩张
- 无监督翻译把问题定义为表示空间与学习闭环；
- 形式化数学把问题定义为环境、动作、验证器与搜索；
- LLaMA 把问题定义为数据规模、数值稳定性与推理成本；
- Mistral 把问题定义为部署、定制、反馈、隐私与持续运营。
带着这条主线读图时，不要把每个阶段看成孤立项目。它们之间的箭头表示“前一阶段暴露的新瓶颈”，而不是简单的职业跳槽时间线。
\lecturefigure{01-research-trajectory.png}{研究问题逐步变成新的基础设施要求。}{本地时间戳字幕 03:00--18:00；lecture04-diagrams.py 可复现重绘。}
读图：先找每一阶段的权威反馈信号
无监督翻译没有人工平行语料，只能依靠表示结构和循环重建；形式化证明的权威来自 proof assistant，而不是模型自评；预训练依靠 held-out loss 与下游评测；产品系统还必须接受延迟、失败率、用户反馈、数据边界和成本约束。反馈信号越接近真实结果，系统就越能进行可靠迭代。
open source、open weights 与可用系统不是同义词
社区经常把可下载权重统称为“开源模型”。本讲更精确地区分：\term{open weights} 是可获得参数；\term{open license} 决定可修改和商用的边界；\term{reference code} 提供基础运行实现；\term{production system} 还需要 serving、工具、评测、安全、监控和更新机制。拿到 checkpoint 并不等于拿到产品。
本章小结
本讲用“系统边界扩张”而不是“公司发展史”组织材料。后续每一节都要同时回答三个问题：任务状态是什么，正确性由谁判断，模型之外还缺哪些系统部件。
无监督机器翻译：几何直觉只是启动器
Lample 的早期研究问题非常苛刻：假设只有两种语言各自的单语文本，没有句子级平行语料，能否学习翻译？课堂口述用一个直观说法描述关键发现：不同语言的词向量空间可能具有相似几何结构，经过变换后能够对齐。这个直觉很重要，但若只写成“两个空间相差一个 rotation”，就会遗漏真正让系统工作的训练闭环。
从表示空间到双语词典
设源语言词向量矩阵为 \(X\in\mathbb{R}^{d\times n}\)，目标语言锚点矩阵为 \(Y\in\mathbb{R}^{d\times n}\)。一个经典对齐步骤可写成正交 Procrustes 问题：
其中 \(W\) 是保持长度和夹角的正交变换，\(\|\cdot\|_{F}\) 是 Frobenius norm。约束 \(W^{\top}W=I\) 的直觉是：如果两种语言的局部语义几何相似，就应尽量通过旋转或反射完成对齐，而不是任意拉伸空间。真实系统仍要先找到近似锚点、处理词频和多义性，并面对两种语言结构并不完全同构的问题。
下面的图把“几何启动器”和“完整学习算法”分开。先用单语表示推断粗糙词典，再通过 denoising 与 back-translation 反复改进编码器和解码器。
\lecturefigure{02-cross-lingual-alignment.png}{无监督翻译从表示对齐启动，再通过循环训练逐步提高。}{本地字幕 03:00--05:00；Lample et al., Unsupervised Machine Translation Using Monolingual Corpora Only, 2018。}
读图：rotation 为什么不能单独解决翻译
对齐后的词向量最多提供词级候选，不能自动处理语序、形态变化、长距离依赖和上下文歧义。论文中的系统还需要 denoising auto-encoding 让模型学会语言内部结构，并用 back-translation 把当前译文重新翻回原语言形成自监督信号。几何相似性回答“从哪里开始”，循环训练回答“如何持续变好”。
不要把表示相似误解为语言完全同构
词向量空间的近似可对齐性依赖语料、词频、训练方法与语言距离。对资源稀缺语言、强形态语言或领域差异很大的语料，粗糙词典可能系统性偏斜。这个方法证明的是“可以构造无监督启动信号”，不是“任何两种语言都只差一个矩阵”。
\teachervoice{老师在这里保留了一个很有价值的研究习惯：先寻找高维问题中的低维结构。词向量看似难以直接观察，但如果假设两个空间共享几何关系，就能把无标注问题转化为可优化的对齐问题。随后再用训练闭环修正这个过强假设。}
本章小结
无监督机器翻译说明，好的研究系统往往由“可解释的启动假设”和“能自我修正的反馈闭环”共同构成。只记住 rotation 会高估假设，忽略 back-translation 又会低估系统工程。
形式化数学：搜索对象、环境与验证器
从翻译转向 theorem proving 后，任务发生了根本变化。自然语言生成可以接受多个近似正确答案，而形式化证明要求每一步满足 proof assistant 的类型和逻辑规则。模型不再只是在文本空间里预测 token，而是在一个有状态、可执行、可拒绝错误动作的环境中搜索。
为什么 proof search 不是普通棋类搜索树
\term{formal prover}（形式化证明器）保存当前证明状态并检查 tactic；\term{proof state} 是尚未解决的目标集合；\term{tactic} 是对某个目标执行的合法变换；\term{subgoal} 是 tactic 产生的新目标。若对全称命题使用数学归纳法，一个目标会同时产生基例和归纳步两个子目标，只有二者都完成，父目标才算完成。
可把 proof state 写成
这里动作 \(a\) 不是产生一个后继状态，而可能产生一组必须共同解决的子目标。搜索结构因此更接近 hypergraph；一个 hyperedge 把父目标连接到多个必要子目标。
\lecturefigure{03-hypertree-search.png}{一个 tactic 可能生成多个必须同时关闭的 subgoals。}{本地字幕 05:00--07:00；Lample et al., HyperTree Proof Search, 2022。}
读图：AND 与 OR 要同时存在
模型可以为同一个目标提出多个 tactic，这是 OR 选择；一旦选择 induction，基例与归纳步又形成 AND 约束。普通 MCTS 只处理“动作产生一个新状态”的直觉不够，搜索算法必须累计一组目标的联合成功概率，并把验证失败传播回选择策略。
Informal-to-formal：让草稿缩小搜索空间
互联网包含大量自然语言或 \LaTeX{} 数学，却只有少量形式化语料。课堂介绍的关键桥梁是：先让通用 LLM 生成 informal proof，再把定理和这份证明草稿交给 formal model，帮助它选择 tactic。这个设计没有降低最终正确性标准，因为 proof assistant 仍然逐步检查完整证明；它只是向搜索器提供高信息量启发式。
\lecturefigure{04-informal-to-formal.png}{非形式证明提供路线，形式化证明器保留最终裁决权。}{本地字幕 07:00--09:10；HyperTree Proof Search 与课堂口述的 informal-to-formal 工作。}
生成器与验证器的职责分离
生成器追求覆盖率和探索能力，可以提出不完整或错误路线；验证器必须确定性地检查规则。系统可靠性来自“宽松提出、严格验收”，而不是要求生成模型第一次就完全正确。这个模式后来也出现在代码执行、数学 verifier、tool-use agent 和 reasoning RL 中。
informal proof 不是可提交证明
自然语言草稿可能跳步、使用未声明引理或隐含额外条件。它对 formal search 的价值是压缩候选空间，不是替代 proof assistant。若系统只展示自然语言链条而没有可执行验证，就不能声称获得形式化保证。
\teachervoice{Lample 强调，当时形式化数学社区几乎没有为机器学习准备好的 API，团队必须自己搭建模型与 prover 之间的接口。这个细节说明：新研究方向的瓶颈经常不是“缺一个更大模型”，而是缺少可批量重置、执行、验证和记录状态的环境。}
为什么这个项目催生了自有 LLM 需求
早期实验可以调用外部 Codex API 生成 informal proof；但若每次扩展搜索节点都要远程调用，成本、延迟、配额和可重复性都会限制 MCTS 级搜索。拥有自有模型意味着可以控制批处理、采样温度、并行 rollout、缓存和版本，从而把“偶尔调用模型”变成“模型位于搜索内环”。这正是从应用研究走向基础模型训练的系统动机。
本章小结
形式化证明把 LLM 放进了一个有状态环境：模型提出 tactic，proof assistant 验证，搜索算法处理 AND/OR 结构。Informal-to-formal 的价值不在语言更漂亮，而在于用丰富语料给稀缺的形式搜索提供方向。
Chinchilla 与 LLaMA：先问清楚优化目标
团队决定训练自有 LLM 时，Chinchilla 提供了当时最清晰的公开 scaling recipe。论文的经典结论是：在固定训练 compute 下，模型参数量和训练 token 应更均衡地扩展；其代表模型约为 70B 参数、1.4T tokens。课堂真正要纠正的不是这条结论，而是把它误用到另一个目标：如果模型要被反复部署，是否应牺牲一次性训练成本来降低长期推理成本？
compute-optimal 与 inference-aware 的区别
粗略地说，dense Transformer 预训练计算量可写成
其中 \(N\) 是参数量，\(D\) 是训练 token 数。固定 \(C_{\mathrm{train}}\) 时，选择 \(N\) 与 \(D\) 是 Chinchilla 问题；但一个产品的生命周期目标更接近
其中 \(Q\) 是部署期间累计生成量。若 \(Q\) 很大，较小模型即使训练更多 tokens，也可能显著降低总成本和延迟。
\lecturefigure{05-objective-mismatch.png}{“Chinchilla trap”源于把固定训练预算目标误当成完整产品目标。}{本地字幕 09:20--11:40；Hoffmann et al. 2022；Touvron et al. 2023。}
读图：先确认预算约束，再讨论“最优”
左侧最优意味着“这一次训练预算不能增加”；右侧最优意味着“训练只发生一次，推理会重复发生”。二者都可以合理，但不能混用。课程中所谓 over-train 小模型，是相对于固定 compute 的最优 token 数继续训练，而不是无上限重复同一数据。
LLaMA 论文报告：6.7B 与 13B 模型训练约 1.0T tokens，32.5B 与 65.2B 模型训练约 1.4T tokens。这个设计强调，小模型在足够数据下可以获得远超早期直觉的能力，并在推理时更容易部署。它没有证明“参数越少越好”，而是把模型选择从单次 benchmark 转向质量、延迟、显存、吞吐和调用规模的联合问题。
“更多 tokens”不自动等于更强模型
增加 \(D\) 的收益取决于数据质量、重复率、学习率调度和模型容量。若新增 token 主要是低质量重复数据，训练可能只增加成本；若模型容量不足，边际收益也会下降。inference-aware training 仍需要 scaling experiment，而不是一句“把小模型训久一点”。
\teachervoice{老师强调，许多人把“compute-optimal”当成普遍褒义词，却没有说明是在优化训练 loss、最终质量、推理延迟还是总拥有成本。工程讨论中遇到“optimal”，第一反应应是追问 objective、constraint 和 workload。}
本章小结
Chinchilla 给出固定训练预算下的配比规律；LLaMA 的课堂启示是把推理效率纳入目标。所谓 Chinchilla trap，本质是目标函数错配，而不是 scaling law 本身错误。
大规模训练：数值故障、混淆因素与 R&D 冰山
当训练进入数千 GPU 和数周运行的规模，小实验的成功不再足以证明配置安全。课堂举例说，某个 FP16 路径在较小模型上看起来与 FP32 一致，却在大模型训练约两周后出现 loss 上升。这里最难的不是“知道 FP16 可能不稳定”，而是故障发生时同时存在数据、优化器、网络、硬件、代码和随机性等大量 \term{confounding factors}（混淆因素）。
为什么小规模验证会漏掉大规模错误
\term{FP16} 是 16-bit floating point；它节省显存和带宽，但指数和尾数范围有限。误差可能在单层、短序列或短训练中很小，却在更深网络、更长 horizon 和更高梯度方差下逐步放大。安全做法不是全面退回 FP32，而是识别敏感算子，使用 BF16、FP32 accumulation、loss scaling、数值监控和分阶段规模验证。
\lecturefigure{06-scale-amplifies-bugs.png}{小规模通过的数值近似，可能在长时间大训练中变成延迟故障。}{本地字幕 12:08--13:35；概念重绘。}
读图：延迟暴露会改变实验设计
如果错误两周后才显现，单次二分排查就可能消耗数千 GPU-day。团队需要在训练早期记录梯度范数、激活范围、loss 分桶、硬件错误、数据 shard 和代码版本，并设计能尽早放大风险的 medium-scale canary。可观测性不是训练完成后的报表，而是降低调试搜索空间的实验仪器。
公开 final run cost 为什么会误导
论文通常报告最终训练所用 GPU 数、tokens 和天数；这些数字只描述成功的主跑，不包含配方试验、失败 checkpoint、数据清洗、内核调优和系统搭建。课堂用 LLaMA 与 DeepSeek 的成本讨论提醒：把公开算力乘以云价，只能得到某次运行的近似账单，不能反推出团队获得该配方的总 R&D 成本。
\lecturefigure{07-rd-iceberg.png}{最终成功训练只是可见成本，真正昂贵的是获得稳定配方的全过程。}{本地字幕 14:20--17:05；讲者成本估计仅作课堂背景。}
不要把讲者估计当成审计数据
访谈中的 GPU 数量、小时单价和六个月总成本是现场口述，字幕还可能混淆 A100 与 H100。讲义保留“规模很大、试错很贵、final run 低估 R&D”这一可教学结论，不用这些估计计算精确财务结论。
组织记忆：为什么“做过一次”很重要
大训练 know-how 包含许多难以从论文复原的操作知识：什么指标先报警，哪类 loss spike 可以恢复，如何切分数据，何时重启，哪些优化只在特定拓扑有效。Lample 的创业判断是，团队已经在大厂支付过数月 trial-and-error 成本，因此能在资源更紧的创业环境中更快得到可靠训练。
\lecturefigure{08-data-heavy-team.png}{Mistral 早期团队把大部分人力放在数据，而不是只写训练代码。}{本地字幕 17:10--18:10；“1 人训练、6 人数据”为课堂口述的组织比例。}
读图：data work 为什么容易被低估
数据工作包括来源审计、去重、质量过滤、语言配比、污染检测、困难样本分析和 evaluation slice 设计。它没有一个醒目的新 architecture 名称，却直接决定训练信号。老师甚至用“alienating”描述这种工作不够光鲜，但随后强调它最关键；这正是必须保留的 teacher voice。
\teachervoice{课堂还比较了不同大厂基础设施的可迁移性：更高层的内部平台让日常工作方便，却可能隐藏调度、存储和训练栈细节；较低层环境要求研究者亲手处理更多问题，离开组织后反而更容易重建系统。这不是鼓励重复造轮子，而是提醒团队保留关键层的可解释性和操作能力。}
本章小结
大规模训练的困难来自新数值区域、昂贵反馈周期和知识隐性化。可靠团队不仅有更多 GPU，还需要 canary、可观测性、版本记录、数据能力和已经支付过的试错经验。
Mistral 7B：data-first 与紧凑模型设计
Mistral 7B 的课堂故事延续了两个判断：第一，数据质量是小团队最值得投入的杠杆；第二，小模型只有同时优化训练和推理架构，才能把“参数少”转化为真实部署优势。Mistral 7B 官方论文给出两个关键机制：Grouped-Query Attention（GQA）和 Sliding Window Attention（SWA）。
GQA 与 SWA 解决什么问题
术语消化：紧凑模型的注意力机制
| 术语 | 解决的问题 | 核心机制与部署关系 |
|---|---|---|
| GQA | KV cache 和解码带宽过大 | 多个 query heads 共享较少的 key/value heads，降低 KV cache 与读取量，提升 inference throughput。 |
| SWA | 长上下文 full attention 的二次复杂度 | 每层只直接关注局部窗口，信息通过多层逐步传播，以较低成本扩大有效感受野。 |
| KV cache | 自回归解码重复计算历史 key/value | 保存历史注意力状态以避免重算；其容量常成为 batch size 和并发的主要约束。 |
Mistral 7B 论文还以 Apache 2.0 发布权重和参考实现。这里的系统意义不是“许可证自动创造生态”，而是允许团队在本地或云上部署、修改和 fine-tune，从而把基础模型当作可组合资产。开放权重扩大了 experimentation surface，也把安全、评测和运维责任更多地交给集成者。
小模型优势必须落到四个资源维度
- 显存：参数、KV cache 和 runtime workspace 能否放入目标硬件；
- 带宽：每个 token 需要从 HBM 读取多少权重和 cache；
- 延迟：用户是否能接受首 token 与逐 token 延迟；
- 吞吐：在给定服务等级下能容纳多少并发请求。
Benchmark 领先若不能改善这些资源账，就未必形成部署优势。
架构论文不能替代 workload benchmark
GQA 和 SWA 提供机制层优势，但真实收益受序列长度、batching、kernel 实现、量化、硬件和服务目标影响。选择模型时应在目标流量与数据上测量，而不是只复制论文平均分。
本章小结
Mistral 7B 的可教学价值在于把 data-first 组织方式与 inference-aware 架构连接起来。紧凑模型不是缩水版大模型，而是围绕可部署资源约束重新分配训练与架构预算。
从 checkpoint 到 solution：最后一公里才是系统主体
课堂反复强调，绝大多数企业拿到 pretrained checkpoint 后仍无法直接使用。权重缺少稳定 runtime、服务接口、认证、数据连接、task-specific evaluation、更新策略和故障处理。Mistral 的商业定位因此不是只“卖一个模型”，而是帮助客户把模型嵌入 on-prem、private cloud 或 edge 工作流。
五层产品栈
先看从权重到运营的五层结构。每层都可能单独成为失败点：runtime OOM、endpoint 限流、tool 调用错误、应用缺少权限边界、运营没有回滚。读这张图时要从右向左追问：如果最终业务结果失败，系统是否能沿着 operations、application、endpoint 和 runtime 定位到具体责任层，而不是把所有问题都归因于“模型不够聪明”。
\lecturefigure{09-checkpoint-to-solution.png}{从 model weights 到 production operations 的五层差距。}{本地字幕 20:25--24:30；概念重绘。}
读图：为什么稳定 HTTP endpoint 已经是产品能力
一个 endpoint 必须处理并发、超时、排队、版本、认证、配额、日志和错误语义。即使模型本身不变，batching policy 或 cache 策略也会改变延迟分布。客户看到的是完整服务的可用性，而不是离线 benchmark。
部署模式由约束选择
\term{on-prem} 指模型运行在客户自有设施；\term{private cloud} 指在隔离的云环境中运行；\term{edge} 指接近设备或现场、资源和连接受限的部署。三者都不是“比 API 更高级”，而是在数据驻留、控制、延迟、升级速度和成本之间选择不同位置。下面比较的重点不是产品名称，而是每种模式把哪些责任留给 provider、哪些责任转移给 customer，以及这种责任分配是否匹配组织能力。
\lecturefigure{10-deployment-modes.png}{API、private cloud、on-prem 和 edge 是不同约束组合。}{本地字幕 20:25--24:30、32:00--36:45；概念重绘。}
私有部署不自动更安全
把模型放进客户网络可以增强数据控制，却同时把 patching、访问控制、密钥、监控和 incident response 责任交给客户或供应商。安全来自明确责任和可验证控制，不来自“服务器在自己机房”这一位置事实。
定制不是一次 fine-tune
课堂给出的实际流程包括理解 use case、收集少量真实样本、生成 synthetic data、fine-tune、评测并部署。少量高质量样本可以显著改善行为，但前提是系统知道“什么算改善”，并防止通用能力、安全性或格式遵循发生回退。下面的闭环把定制视为持续控制过程：每一次部署都会产生新失败证据，而这些证据必须先进入评测，再决定是否生成数据和更新权重。
\lecturefigure{11-customization-loop.png}{企业定制必须由评测闭环驱动，而不是训练完一次就结束。}{本地字幕 22:40--24:30；概念重绘。}
定制闭环的最小交付物
- 任务定义与失败 taxonomy；
- 可追溯的真实/合成训练数据；
- task metric、regression suite 与安全测试；
- 可复现的训练配置和 base model 版本；
- serving 监控、回滚条件与数据回流规则。
没有这些交付物，fine-tuning 只是不可审计的权重变化。
\teachervoice{老师提醒，即使最技术化的企业也希望供应商工程师与业务团队深度协作，因为真正困难的是把领域判断转成数据、指标和系统边界。这个观察解释了为什么“模型能力商品化”并不会消灭解决方案工程，反而会把价值推向集成层。}
本章小结
Checkpoint-to-solution 需要 runtime、接口、应用、运营和定制闭环。部署模式没有统一优劣；应先列出不可妥协的隐私、可靠性、延迟和控制要求，再选择架构。
Le Chat：快推理、工具层与产品反馈飞轮
消费者产品在访谈中承担三种角色：展示模型和工具能力，产生真实任务分布，收集失败反馈。课堂同时指出，极致 inference optimization 可能降低模型更新频率或架构兼容性。这是典型系统 trade-off：速度并非免费，它可能要求固定 runtime、专用 kernel、受限模型族或更复杂的发布流程。
产品为什么是训练系统的一部分
用户请求、tool trace 和显式评分可以揭示 benchmark 看不到的问题：哪些查询需要 web search，哪些代码任务常失败，哪些语言或行业表现不稳定。产品团队随后把这些失败变成 evaluation slice 和训练优先级，形成 data flywheel。
\lecturefigure{12-product-feedback-flywheel.png}{Le Chat 类产品把 serving、工具与训练优先级连接成反馈飞轮。}{本地字幕 24:45--27:40；概念重绘。}
读图：反馈必须先变成 failure taxonomy
简单 thumbs up/down 含义模糊：低分可能来自事实错误、语气、工具超时、界面延迟或用户目标变化。可靠飞轮要保留 request context、模型与工具版本、延迟、最终结果和人工分类，再决定是改数据、模型、prompt、tool 还是 serving。
“收集产品数据”必须有治理边界
产品日志可能包含个人信息、企业机密或受监管数据。训练回流需要 purpose limitation、retention policy、访问控制、用户选择、去标识化和数据 lineage。反馈飞轮不是把所有对话自动加入训练集。
\teachervoice{课堂还给出一个具体产品信号：某一时点英语请求中代码任务占比很高，于是团队会增加 code generation 投入。这个例子说明，roadmap 不只来自领导判断，也可以来自可观测的任务分布；但观测数据仍要校正用户群偏差。}
本章小结
产品既是服务界面，也是任务采样器和失败观测站。高质量反馈飞轮必须把用户信号分解为可定位问题，并在隐私治理下回到评测和训练。
Reasoning 与 verifier：不要过早固定直觉
访谈发生在 DeepSeek R1 发布后不久。Lample 的评价包含两层：一是肯定公开论文提供成功与失败实验，能节省整个社区的搜索成本；二是提醒 reasoning 仍处早期，今天关于模型大小、RL 方法和 test-time compute 的直觉，可能像 GPT-3 早期直觉一样迅速过时。
可扩展 reasoning 的系统单元
Reasoning training 需要一个环境给出任务和可执行动作，一个 verifier 判断结果，一个采样/搜索策略探索候选，再把 reward 或筛选结果用于更新模型。若没有可靠 verifier，长 chain-of-thought 只能增加文本长度，不能保证正确性。
\lecturefigure{13-reasoning-verifier-loop.png}{Reasoning 的可扩展单元是 environment--policy--verifier--update 闭环。}{本地字幕 27:45--30:45；概念重绘。}
术语消化：reasoning 系统中的四个层次
| 层次 | 核心问题 | 常见失败 |
|---|---|---|
| Environment | 状态、动作和终止条件是否可执行 | 任务不可重置、工具不稳定、状态泄漏 |
| Verifier | 能否判断最终或中间结果 | reward hacking、错误测试、只测格式 |
| Search / sampling | 如何分配 test-time compute | 候选高度相关、成本失控、过早剪枝 |
| Training update | 如何从结果改进 policy | 过拟合 verifier、能力回退、数据偏斜 |
公开失败实验也是高价值基础设施
当论文说明 PRM、MCTS 或某种 reward 设计在其设置中没有工作，它不是“负面新闻”，而是在限定条件下缩小社区搜索空间。前提是记录环境、模型、数据和评测，否则失败无法复现，也不能迁移到别的设置。
\teachervoice{老师没有把 DeepSeek R1 解释成对 Mistral roadmap 的颠覆，而是把开放研究视为可复用资产。更重要的是，他承认 reasoning 时代的直觉仍不稳定。这种“不知道”比事后制造确定性更适合写进讲义。}
本章小结
Reasoning 系统的中心不是更长文本，而是可执行环境和可信 verifier。早期阶段应扩大实验覆盖、公开负结果并保持目标与证据边界，而不是把单一配方神化。
欧洲监管与主权：把课堂时点和当前规则分开
学生问到 EU AI Act 时，Lample 的回答反映了当时状态：高层透明度要求已经可见，但具体需要披露什么、技术模板如何执行仍在讨论。这个判断不能原封不动写成 2026 年现状。欧盟委员会随后明确，general-purpose AI（GPAI）模型提供者的透明度与版权相关义务自 2025 年 8 月 2 日起适用；在该日期前已投放市场的模型有至 2027 年 8 月 2 日的过渡期，达到系统性风险门槛的模型还有额外安全义务。
监管时间注记，不构成法律意见
本节只解释课程中的基础设施影响。具体模型是否属于 GPAI、谁是 provider、何时算 placed on the market，以及开源例外或系统性风险义务如何适用，需要结合欧盟委员会现行指引和专业法律意见。规则和解释会继续更新。
为什么 privacy 与 reliability 会改变市场边界
金融、医疗、国防和保险客户不只关心模型分数，还关心数据是否离开边界、服务依赖是否可控、版本是否能冻结、故障时能否回滚。即使外部 API 的工程质量更高，组织仍可能因为责任边界和业务连续性选择 private deployment。读图时应把 privacy、reliability 与 control 当作三个独立轴：组织可能只缺其中一个，也可能愿意为三者同时获得更强保证而承担更高运营成本。
\lecturefigure{15-privacy-reliability.png}{敏感组织购买的是 privacy、reliability 与 control 的组合。}{本地字幕 35:40--37:10；概念重绘。}
读图：主权不是“所有东西都自己造”
主权更接近可替换性和决策权：能否选择模型，迁移数据，审计依赖，冻结版本，在供应商退出时保持服务。组织可以使用外部模型或开源资产，同时通过标准接口、数据导出、模型评测和多供应商策略降低锁定。
\teachervoice{课堂中的欧洲动机同时包含人才、产业和主权。Lample 也明确表示自己并非监管专家，并把许多判断限定为“too early to say”。讲义保留这种限定，避免把创业者观点包装成政策事实。}
本章小结
EU AI Act 必须按日期理解：课堂时点的技术细节仍不确定，之后 GPAI obligations 已进入适用阶段。对系统设计而言，监管和主权最终会落到数据 lineage、文档、评测、安全控制和可审计部署。
Post-training operating system 与开放资产栈
访谈最后把竞争重点从一次性 pre-training 转向持续 post-training。Lample 的判断是，预训练架构在较长时间内保持相似，而 post-training 仍有大量可创新空间。这个判断不是说预训练不重要，而是说产品差异越来越依赖 environment、verifier、数据生成、tool use、serving 和快速实验 pipeline 的联合质量。
为什么 post-training 不是一个算法名
\term{post-training} 泛指 base model 之后的行为适配，包括 supervised fine-tuning、preference optimization、RL、distillation、tool-use training 和持续 evaluation。任何一个环节若没有版本、指标和回滚，系统都难以快速实验。因此可把 post-training 看成一个 operating system：上层接收产品任务，下层连接训练与 serving，横向提供数据、评测和治理。
\lecturefigure{14-post-training-os.png}{Post-training 的竞争力来自整套可重复迭代系统。}{本地字幕 37:10--39:25；概念重绘。}
读图：灵活性为什么可能胜过单纯规模
Online 或高频 post-training 需要短实验周期、稳定环境、自动评测和清晰 ownership。超大组织若 pipeline 分散、审批和数据接口迟缓，额外 compute 不能自动转化为迭代速度；小团队若缺少纪律，同样会被不可复现实验拖垮。优势来自“足够计算 + 高信息反馈 + 低摩擦执行”。
开放模型如何进入商业栈
当其他实验室发布强 open-weight 模型，解决方案公司可以把它当作已经支付过 pre-training compute 的资产，再进行领域定制、工具集成和私有部署。价值并没有消失，而是从 base model 稀缺性向数据、workflow、可靠性和控制上移。
\lecturefigure{16-open-asset-stack.png}{开放权重是产品栈的输入，不是完整价值交付。}{本地字幕 39:30--42:30；Mistral 7B 官方开放许可与部署资料。}
开放资产栈的工程检查表
- 验证 license、模型卡、数据和已知限制；
- 在目标硬件和 workload 上建立 baseline；
- 建立领域数据、评测与安全边界；
- 将工具、检索、权限和业务状态纳入端到端测试；
- 为 base model 更新准备兼容性测试和回滚路径。
不要把“可复用”误写成“没有护城河”
开放模型降低了基础能力获取成本，也提高了客户对迁移和控制的预期。真正的竞争壁垒可能转向高质量反馈、领域数据权利、workflow integration、评测资产、分发和运营可靠性；这些仍然需要长期投入。
本章小结
Post-training 是连接产品任务与模型行为的操作系统。开放资产让团队复用公共 compute，但差异化必须通过数据、工具、部署和反馈闭环重新建立。
总结与延伸
核心结论
十一条可迁移结论
- 研究问题会决定状态空间、反馈信号和基础设施形态。
- 几何直觉可启动无监督学习，但必须有能修正假设的训练闭环。
- Formal proof 的正确性来自 verifier，LLM 负责提出候选和启发搜索。
- “Optimal” 必须同时说明 objective、constraint 与 workload。
- 小规模正确不能保证大规模数值稳定，训练需要分阶段 canary。
- Final run cost 不等于 R&D cost；失败实验和系统搭建构成冰山主体。
- 数据工作不显眼，却常比训练代码更决定模型质量。
- Open-weight checkpoint 只是产品栈第一层，不是可用 solution。
- 企业定制必须连接数据、评测、部署、监控和回滚。
- Reasoning 的可扩展单元是 environment--verifier 闭环，而非更长文本。
- Post-training 与开放资产把竞争推向快速迭代、工具、反馈和运营控制。
实践作业：设计一个受约束的企业模型系统
选择一个场景，例如医院文档助手、内部代码 copilot、保险理赔审核或离线 edge agent，完成以下设计：
- 写出不可妥协的约束：数据驻留、延迟、可用性、硬件、责任和更新窗口；
- 选择 external API、private cloud、on-prem 或 edge，并说明没有选择其他模式的原因；
- 定义 checkpoint-to-solution 的五层组件和 owner；
- 设计最小 evaluation suite，区分模型错误、工具错误和系统错误；
- 设计 feedback/data loop，说明哪些数据可以回流、保留多久、如何退出；
- 给出 base model 升级与 post-training 更新的 canary、rollback 和审计策略。
验收标准
高质量方案不会只写“使用 Mistral / LLaMA 并微调”。它应能回答：哪个环境产生 ground truth，谁验证结果，数据如何获得，模型如何服务，失败如何定位，何时停止 rollout，以及谁对最终业务结果负责。
拓展阅读
- Guillaume Lample et al., Unsupervised Machine Translation Using Monolingual Corpora Only, 2018，见 本地 PDF。
- Guillaume Lample et al., HyperTree Proof Search for Neural Theorem Proving, 2022，见 本地 PDF。
- Jordan Hoffmann et al., Training Compute-Optimal Large Language Models, 2022，见 本地 PDF。
- Hugo Touvron et al., LLaMA: Open and Efficient Foundation Language Models, 2023，见 本地 PDF。
- Albert Q. Jiang et al., Mistral 7B, 2023，见 本地 PDF。
- Mistral AI 官方 Mistral 7B 发布页：Mistral 7B。
- 欧盟委员会 GPAI 指引与时间线：Guidelines for providers of general-purpose AI models。
建议阅读路线
若目标是复现本讲的推理链，而不是逐篇孤立阅读，可以按以下顺序进行。先读无监督机器翻译论文的 problem setup、训练目标和 ablation，观察一个几何假设如何被 denoising 与 back-translation 修正；再读 HTPS 的环境接口、hyper-tree backup 和 online training，理解 verifier 如何改变搜索算法。随后把 Chinchilla 与 LLaMA 放在一起读，分别写出它们优化的预算约束，并比较小模型长 horizon 训练对推理部署的意义。最后阅读 Mistral 7B 的 GQA/SWA 章节，把 architecture claim 转成 KV cache、带宽、延迟和吞吐的资源账。
阅读记录模板
每篇材料至少记录五项：问题约束、权威反馈信号、核心机制、主要消融或证据、不能推出的结论。完成后再补一列“如果放进 production，还缺什么系统部件”。这个模板能把论文阅读从结论摘抄转成系统设计练习。