Lecture28

LaTeX 源码

\makecscover

讲座定位：开放对齐不是一个算法，而是一段系统史

本讲不是一份 “RLHF 101”。Nathan Lambert 要回答的是：ChatGPT 之后，开放社区如何从只会续写的 base model，走到能遵循指令、对话、拒答并接受偏好优化的模型；哪些数据、评测和训练方法真正改变了生态，哪些名称只是阶段性标签。阅读这堂课时，应该把模型、数据、算法、硬件与评测看成相互约束的系统，而不是寻找唯一“对齐配方”。

先纠正来源，再理解课程范围

本节先说明材料边界。Lecture 28 的官方讲者是 AI2 的 Nathan Lambert，主题是开放语言模型对齐；旧目录误用了上一讲 Hyung Won Chung 的架构历史 deck。正确来源是 77 页官方 Google Slides 和 1,693 条人工字幕，因此本讲必须整篇重写，而不是在旧文本上补丁式修改。

\lecturefigure{slide-001.jpg}{Nathan Lambert 的课程主题：Aligning Open Language Models}{official deck, p. 1}

本讲的核心判断

开放对齐的进展来自一条链：更强 base model 提供能力，instruction/preference data 指定交互分布，fine-tuning 与 RLHF/DPO 改变输出概率，evaluation 提供迭代信号，开放发布 让社区复现并产生下一轮数据。链中任何一环不足，单个算法都无法复制 ChatGPT 体验。

\teachervoice{Nathan 在 00:00:34--00:01:03 强调，这不是基础教程，而是把 ChatGPT 之后的 fine-tuning 与 alignment 历史重新讲一遍，让听众知道哪些概念仍重要、哪些只是短暂热潮。}

从 Shannon 到 ChatGPT：为什么要先讲旧历史

接下来十页是一条逐步展开的时间轴。它不是为了争论“谁最早”，而是为了说明对齐建立在语言建模、Transformer、规模化、风险批评和产品交互之上。每个里程碑都改变了后来开放社区能下载什么、能训练什么、以及需要修复什么。

\lecturefigure{slide-003.jpg}{1948：Shannon 用字符序列近似英语}{official deck, p. 3}

自回归语言模型的基础目标可写为

\[ \mathcal{L}_{\mathrm{LM}}(\theta)=-\sum_{t=1}^{T}\log p_{\theta}(x_t\mid x_{<t}), \]

其中 \(x_t\) 是第 \(t\) 个 token，\(x_{<t}\) 是历史 token，\(\theta\) 是模型参数。该目标只要求提高真实 continuation 的概率；“有帮助”“无害”“服从系统指令”都不是它直接编码的属性。

\lecturefigure{slide-005.jpg}{2017：Transformer 让 attention 成为主干计算结构}{official deck, p. 5}

\lecturefigure{slide-006.jpg}{2018：ELMo、GPT-1 与 BERT 奠定现代预训练范式}{official deck, p. 6}

读图：三条路线后来怎样汇合

ELMo 强调上下文化表示，BERT 强调双向编码与下游适配，GPT 强调自回归生成。今天的 chat model 主要沿生成路线发展，却吸收了表示学习、迁移学习和大规模预训练的共同经验。时间轴支持的是技术积累，而不是单一路线从一开始就必然胜出。

\lecturefigure{slide-007.jpg}{2019：GPT-2、模型发布争论与 scaling law 进入主线}{official deck, p. 7}

\lecturefigure{slide-008.jpg}{GPT-2 发布策略使能力、风险与开放性同时成为问题}{official deck, p. 8}

\lecturefigure{slide-009.jpg}{2020：GPT-3 展示规模化能力，也放大偏见与伤害讨论}{official deck, p. 9}

能力增长与对齐不是同一条曲线

更低 next-token loss 能提高通用生成能力，却不会自动确定回答风格、拒答边界、事实引用或用户偏好。规模化让“可被对齐的能力空间”更大，也可能让不希望的行为更强；对齐阶段是在已有分布上重新加权，而不是凭空创造全部能力。

\lecturefigure{slide-010.jpg}{2021：Stochastic Parrots 把数据、偏见、环境与权力问题推到中心}{official deck, p. 10}

\lecturefigure{slide-011.jpg}{2022：ChatGPT 把对话式对齐变成大众可感知的产品体验}{official deck, p. 11}

\teachervoice{00:01:25--00:05:11 的时间轴把 autoregressive loss、Transformer、scaling、harms 与 ChatGPT 连成一条因果背景。讲者的重点是：不能只从 RLHF 论文开始讲对齐，因为它依赖此前二十多年的模型与基础设施。}

ChatGPT 能否没有 RLHF

时间轴在 ChatGPT 处停下后，课程提出一个更窄的问题：RLHF 是否必要。课堂答案是 “necessary, but not sufficient”——偏好优化能显著改变可用性和安全行为，但产品还依赖预训练模型、数据清洗、prompt interface、system policy、工程反馈与持续评测。

\lecturefigure{slide-012.jpg}{问题：ChatGPT 能否在没有 RLHF 的情况下存在}{official deck, p. 12}

\lecturefigure{slide-014.jpg}{Anthropic 的偏好优化曲线显示 RLHF 可显著改变模型行为}{official deck, p. 14}

\lecturefigure{slide-015.jpg}{Llama 2 等公开模型也把 RLHF 作为关键训练阶段}{official deck, p. 15}

读图：跨公司的 Elo 曲线不能直接横比

每张曲线的 prompt、标注者、比较对手和 Elo 标尺都可能不同。图能说明同一组织内部经过 RLHF 后偏好胜率改善，却不能把 Anthropic 曲线上的数值与 Llama 曲线数值当作统一排行榜。比较前必须确认评测分布与标定方式。

\teachervoice{00:05:11--00:06:56，Nathan 一方面用公司内部曲线说明 RLHF 的巨大影响，另一方面马上提醒这些 Elo 没有跨组织校准。课程因此把“RLHF 重要”与“这些图能证明多少”分开处理。}

本章小结

开放对齐是一层建立在 base model 之上的行为塑形系统。历史页说明能力、风险与交互需求如何逐步累积；RLHF 页说明偏好训练能产生显著行为变化，却不是完整产品的充分条件。下一章将建立术语与章节地图，避免把 IFT、SFT、RLHF、DPO 和 alignment 混成同一个词。

地图与定义：Base、Instruction、Preference 三层不要混淆

上一章说明为什么出现对齐，本章说明讨论对象。开放社区常把 “fine-tuned”、“chat”、“instruct”、“aligned” 和 “RLHF model” 互换使用；课程则要求区分训练数据、损失函数与模型接口。只有先分清层次，后面的模型比较和评测才有意义。

课程 atlas 与四个章节

本节先看讲者提供的模型集合和章节 atlas。模型图标不是完整谱系，而是一条可复现线索：读者可沿 Hugging Face collection 找到许多课堂模型；四章则按 instruction、evaluation、RLHF 与 modern ecosystem 展开，暗示算法之外还有数据与测量基础设施。

\lecturefigure{slide-017.jpg}{课程 atlas：模型集合、参考资源与发布时间线}{official deck, p. 17}

\lecturefigure{slide-019.jpg}{第一章焦点：instruction models}{official deck, p. 19}

\lecturefigure{slide-020.jpg}{第二章加入：expectations 与 evaluations}{official deck, p. 20}

\lecturefigure{slide-021.jpg}{第三章加入：RLHF 与 preference optimization}{official deck, p. 21}

\lecturefigure{slide-022.jpg}{第四章加入：modern ecosystem}{official deck, p. 22}

\lecturefigure{slide-023.jpg}{完整章节地图：instruction、evals、RLHF、ecosystem}{official deck, p. 23}

读图：为什么 evaluation 被单列一章

没有快速评测，开放团队无法知道一次数据或优化变化是否值得发布；没有长期人类偏好信号，快速自动评测又会被投机。Evaluation 不是训练后的附属步骤，而是决定团队能否迭代、哪些模型被看见、哪些数据被继续收集的反馈通道。

Base model 与 aligned model

现在把模型分成两层。Base model 主要通过大规模 next-token prediction 学习通用分布；经过 alignment、fine-tuning 或 preference training 的模型在其上继续训练，使输出适配指令格式、对话角色和偏好。后者可以在较少计算下改变交互体验，但能力上限仍强烈受前者约束。

\lecturefigure{slide-024.jpg}{Base models 是开放对齐生态的能力底座}{official deck, p. 24}

\lecturefigure{slide-025.jpg}{Aligned、fine-tuned 与 preference-trained models 是行为适配层}{official deck, p. 25}

Base 与 aligned 的条件概率差异

Base model 学习 \(p_{\theta_0}(x_t\mid x_{<t})\)；对齐阶段得到参数 \(\theta\)，使目标交互分布下的回答概率重新排序。可概念性写成

\[ p_{\theta}(y\mid x)\propto p_{\theta_0}(y\mid x)\exp\!\left(\frac{r(x,y)}{\beta}\right), \]

其中 \(r(x,y)\) 是对回答的偏好或奖励，\(\beta\) 控制偏离 base/reference distribution 的程度。公式表达“保留能力同时偏向更受欢迎回答”的目标，不代表所有方法都显式这样实现。

\teachervoice{00:08:48--00:09:38，讲者主动承认时间线省略了大量学术与基础设施贡献，并强调没有 LLaMA/Llama 2 等 base model 就没有后续开放对齐生态。Alignment model 不是脱离底座独立存在的产品。}

对齐术语表

本节把常见术语按“数据—目标—输出”拆开。Instruction fine-tuning 与 supervised fine-tuning 常使用同一 autoregressive loss，但前者强调指令接口；RLHF 使用人类偏好学习奖励并优化 policy；DPO 直接从偏好对优化 policy/reference log-ratio。Alignment 则是更宽泛的目标概念。

\lecturefigure{slide-026.jpg}{Instruction fine-tuning、SFT、RLHF、DPO 与 alignment 的课堂定义}{official deck, p. 26}

术语消化：名称、数据与机制

术语	主要数据	核心机制
IFT	instruction-response pairs	用 LM loss 学会指令格式、system prompt、多轮角色与目标风格。
SFT	任意带标签示范	用监督损失模仿目标输出；不一定是自然语言指令。
RLHF	preference comparisons + prompts	学 reward model，再用 PPO 等方法最大化奖励并限制 policy drift。
DPO	chosen/rejected response pairs	直接优化偏好 log-ratio，不显式运行 reward-model rollout loop。
Alignment	用户/组织期望的行为标准	可由多种数据、损失、规则和系统机制共同实现。

\teachervoice{00:09:53--00:11:14，Nathan 把 alignment 定义得很宽：任何让模型更贴近用户 desires 的训练都可纳入，而 IFT、SFT、RLHF 与 DPO 只是不同机制。讲义沿用这个宽定义，但要求每次具体说明数据和损失。}

Chapter 0：复现 ChatGPT 的抢跑期

有了术语，课程回到 2023 年初。当时的开放社区并不知道 dialogue model 的关键配方，也缺少成熟 red-teaming、chat data 与评测。大量团队快速组合 base model、合成数据和轻量 fine-tuning，形成“每周一个模型”的抢跑期。

\lecturefigure{slide-027.jpg}{Chapter 0：复现 ChatGPT 的 land grab 与基础问题}{official deck, p. 27}

不要用后见之明评价早期模型

今天看起来基本的 chat template、system prompt、拒答数据和 pairwise eval，在当时都没有统一实现。早期结果的价值常在于暴露接口和数据问题，而不是最终分数。历史分析应问“它解锁了什么”，而不只是“它现在是否过时”。

\teachervoice{00:11:30--00:12:30，讲者把这段时期称为 land grab：大家一边发布模型，一边才弄清什么是 dialogue、red-teaming 和有用回答。这个背景解释了后续数据与评测为何迅速成为主战场。}

本章小结

本章建立了后续分析需要的分层：base model 决定能力底座，IFT/SFT 改变接口与模仿行为，RLHF/DPO 使用偏好重新排序回答，alignment 是更宽的系统目标。课程 atlas 则把数据、评测和算法并列，提醒我们不要把模型进展归因于单个优化器。

第一波开放 Instruct 模型：数据分布比名字更重要

上一章定义了 IFT，本章跟随 2023 年第一波模型。Alpaca 证明合成 instruction data 可以快速适配 LLaMA；Vicuna 证明真实聊天 prompt 分布很关键；OpenAssistant 证明开放人类数据有长期价值；StableVicuna 说明 PPO 并非只有闭源公司能运行。核心变量不断从“有没有算法”转向“有没有对的数据”。

Alpaca 与 instruction fine-tuning

本节从 Alpaca 开始。它的重要性不在于今天的绝对质量，而在于展示：一个强 base model 加上规模不大的 instruction-response data，就能获得明显 chat/instruct 行为。读图时先区分 base model 的知识与 fine-tuning 学到的响应格式。

\lecturefigure{slide-029.jpg}{Alpaca：第一批广泛传播的开放 instruction-tuned model}{official deck, p. 29}

\lecturefigure{slide-030.jpg}{IFT 的两个目标：适配输入风格并支持 system prompt 与 multi-turn}{official deck, p. 30}

若只在 assistant answer token 上计算损失，IFT 目标可写成

\[ \mathcal{L}_{\mathrm{IFT}}=-\sum_{t\in\mathcal{A}}\log p_{\theta}(y_t\mid s,u,y_{<t}), \]

其中 \(s\) 是 system prompt，\(u\) 是 user instruction，\(y\) 是 assistant response，\(\mathcal{A}\) 是需要监督的 assistant token 位置。Chat template 把角色和边界编码成特殊 token；模板错配会让同一模型表现显著下降。

\lecturefigure{slide-031.jpg}{IFT 从 base model 出发，用 instruction-response pairs 继续训练}{official deck, p. 31}

IFT 主要改变什么

IFT 通常强化三类能力：识别“这是一个请求”、按照角色/格式组织回答、把已有知识映射到指令需要的输出。它可能改善任务能力，也可能遗忘或偏移 base capability；因此需要同时评估 chat behavior 与原始能力，而不能把“更会聊天”当作“所有方面更强”。

\teachervoice{00:13:42--00:14:53，Nathan 把 IFT 描述成让模型整合 chat template、system prompt、多轮角色与输入风格。它仍使用 autoregressive loss，差别主要来自训练样本的条件结构。}

Self-instruct：用模型扩张 instruction data

上一节说明 IFT 的行为变化主要来自 instruction-response 分布；本节进一步追问：开放团队没有大规模人工标注预算时，这个分布从哪里来。Alpaca 的可复制性来自 self-instruct：先用少量人工 seed prompt，让强模型生成更多指令与回答，再过滤重复、低质量或格式错误样本。读图时要把 seed 质量、生成多样性和过滤规则看成同一个数据系统；它把昂贵人工编写变成“人工种子 + 模型扩增 + 过滤”的 pipeline，也带来教师模型偏见和分布收缩风险。

\lecturefigure{slide-032.jpg}{Self-instruct：从少量高质量 seed 扩张合成 instruction data}{official deck, p. 32}

设 seed 集合为 \(D_0\)，生成器为 \(G\)，过滤器为 \(F\)，则一轮扩张可写成

\[ D_{k+1}=D_k\cup F\bigl(G(D_k)\bigr). \]

其中 \(G(D_k)\) 生成新 instruction/response，\(F\) 去重并执行质量规则。若 \(G\) 和 \(F\) 只偏好相似模板，数据规模增加也不会增加真正的任务覆盖。

Synthetic data 的两个闭环风险

第一，student 会继承 teacher 的事实错误、拒答边界和语言风格；第二，反复 self-generation 会压缩多样性，使模型越来越擅长“模型式问题”。因此应混入真实用户和人类数据，并测量 prompt/response 的语义覆盖，而不只统计样本数。

\teachervoice{00:14:53--00:16:10，课程把 self-instruct 视为早期开放模型爆发的关键：生成回答的模型替代了部分人工标注，使 instruction data 变得可获得。后半场又提醒合成分布可能重复而脆弱。}

Vicuna 与 ShareGPT：真实用户 prompt 改变分布

Self-instruct 解决“怎样快速扩量”，但还没有回答“训练问题是否像真实用户会问的问题”。Vicuna 因而把关注点从样本数量转向 prompt source：ShareGPT 收集用户分享的 ChatGPT 对话，使开放模型第一次看到更接近真实产品的多轮请求、追问和风格。看接下来的两页时，应同时比较 synthetic instruction 与真实会话在任务长度、轮次结构和隐私风险上的差异；质量提升来自分布匹配，而不只是更多 token。

\lecturefigure{slide-033.jpg}{Vicuna 在 Alpaca 之后迅速加入更真实的 chat prompt distribution}{official deck, p. 33}

\lecturefigure{slide-034.jpg}{ShareGPT 数据来源、价值与隐私风险}{official deck, p. 34}

读图：数据价值与数据治理同时出现

ShareGPT 提供了真实用户想问什么，这是 synthetic instruction 难以复制的信号；但共享工具并不天然等于用户同意用于训练，文本还可能包含个人信息。后来的 LMSYS-Chat-1M 与 WildChat 更重视清洗和 consent，说明开放数据的合法性与质量是同一 pipeline 的要求。

\teachervoice{00:17:21--00:18:55，Nathan 说 ShareGPT 是少数能让开放 builder 看到真实用户 prompt 的来源，并指出后来的数据集花了大量工作清理个人信息或在收集前取得同意。}

Weight differences 与开放发布约束

前两节讨论的是数据如何获得，本节转向另一个常被忽略的系统约束：训练完成并不等于模型可以合法、稳定地交付。LLaMA 最初的权重许可和传播方式使 fine-tune 发布变得尴尬，团队只能发布相对 base model 的 weight difference，用户必须合法获得 base weights 再合并。读这组时间线时要区分模型能力、训练配方与分发机制；weight diff 不是机器学习算法，却直接决定模型是否可安装、可复现和可迭代。

\lecturefigure{slide-035.jpg}{开放 instruct 模型继续扩张：Vicuna、Koala、Dolly 等}{official deck, p. 35}

\lecturefigure{slide-036.jpg}{为什么发布 weight differences：在许可约束下分发 fine-tune}{official deck, p. 36}

若 base 权重为 \(W_0\)、fine-tuned 权重为 \(W_1\)，发布差分就是

\[ \Delta W=W_1-W_0,\qquad W_1=W_0+\Delta W. \]

其中 \(\Delta W\) 并不减小完整 fine-tune 的信息量，只把分发依赖转移给用户。它与 LoRA 的低秩 update 不同：weight diff 可以是全秩、同尺寸张量。

\lecturefigure{slide-037.jpg}{模型时间线继续加入 Koala 与 Dolly，发布方式逐步标准化}{official deck, p. 37}

\lecturefigure{slide-038.jpg}{早期开放 instruct 模型的 MT-Bench 分数变化}{official deck, p. 38}

历史分数只能解释当时生态

MT-Bench 的 judge、prompt 和模型版本后来都可能更新。图中分数用于说明 2023 年模型相对变化，不能直接与 2026 年模型或不同 judge 配置横比。复现时应记录评测 commit、judge model、temperature 和 prompt template。

\teachervoice{00:19:00--00:21:05，讲者解释 weight diff 是对 LLaMA 发布约束的工程回应，后来许可变化才让直接发布变得容易。开放生态的速度受法律与分发接口影响，不只是训练代码。}

OpenAssistant 与 StableVicuna：人类数据和早期 PPO

本节看两条常被简化的线索。OpenAssistant 发布人类生成、标注的对话数据，并长期成为后续模型的原料；StableVicuna 则较早用 PPO 完成开放 RLHF。二者说明开放社区并非只有合成 IFT，也在探索高成本的人类偏好和 RL pipeline。

\lecturefigure{slide-039.jpg}{OpenAssistant Conversations：早期开放人类 instruction 数据集}{official deck, p. 39}

\lecturefigure{slide-040.jpg}{StableVicuna：较早使用 PPO 的开放 RLHF 模型}{official deck, p. 40}

Human data 为什么难以替代

人类数据能提供真实意图、多样语言、边界案例和相对偏好；这些信号决定模型在“合理但不唯一”的回答之间如何排序。成本来自招募、培训、一致性、隐私与质量控制，因此开放社区最稀缺的往往不是训练脚本，而是可合法发布的高质量人类数据。

\teachervoice{00:23:43--00:24:47，Nathan 称 OpenAssistant 是早期最成功的开放项目之一，并把“需要更多 open human data”作为全讲结论；同时提醒 StableVicuna 在 2023 年就让 PPO 工作，只是能做到的团队很少。}

本章小结

第一波开放 instruct 模型的决定性变量依次是：可用 base weights、合成 instruction pipeline、真实聊天 prompt、人类开放数据、发布许可和可运行的 RLHF。模型名称不断更换，但数据分布和可复现接口是更稳定的解释。下一章将看 QLoRA 如何进一步降低参与门槛，以及为什么低内存 fine-tuning 不自动等于低成本 RLHF。

QLoRA 与 Guanaco：低内存训练的边界

上一章的模型仍需要昂贵显存和训练基础设施。QLoRA 把量化 base weights 与低秩 adapter 结合，使 7B/13B 甚至更大模型能在更少 GPU 上 fine-tune。它显著扩大参与者范围，却没有消除 rollout、reward modeling、RL stability 与评测成本。

LoRA 与 QLoRA 的参数和内存逻辑

本节先解释 low-rank adaptation。冻结原权重 \(W\)，只训练两个小矩阵 \(A,B\)，用低秩增量近似完整更新。QLoRA 进一步把冻结的 base weights 量化存储，反向传播时仍通过它计算梯度，从而节省显存。

\lecturefigure{slide-041.jpg}{QLoRA 与 Guanaco：LoRA、量化和内存可访问性}{official deck, p. 41}

LoRA 更新写成

\[ W'=W+\Delta W, \qquad \Delta W=\frac{\alpha}{r}BA, \]

其中 \(W\in\mathbb{R}^{d_{\mathrm{out}}\times d_{\mathrm{in}}}\) 是冻结权重，\(A\in\mathbb{R}^{r\times d_{\mathrm{in}}}\)、\(B\in\mathbb{R}^{d_{\mathrm{out}}\times r}\) 是可训练矩阵，\(r\) 是低秩维度，\(\alpha\) 是缩放系数。当 \(r\ll d\) 时，可训练参数显著减少。

\lecturefigure{slide-042.jpg}{Full fine-tuning、LoRA 与 QLoRA 的显存规模对比}{official deck, p. 42}

什么占据 fine-tuning 显存

完整 Adam fine-tuning 通常要保存权重、梯度，以及 Adam 的一阶矩 \(m\) 和二阶矩 \(v\)；这些 optimizer state 会显著增加内存。LoRA 冻结大部分权重，只为 adapter 保存梯度与 \(m,v\)；QLoRA 再把冻结权重压到较低 bit，进一步降低常驻内存，但计算和数值误差仍需谨慎处理。

量化可抽象为

\[ W\approx s\,(q-z), \]

其中 \(q\) 是低 bit 整数，\(s\) 是 scale，\(z\) 是 zero point。QLoRA 的关键不是简单把所有计算降到低精度，而是用量化表示存储 frozen base，同时保持 adapter 训练所需的梯度质量。

Guanaco：方法价值必须落到模型发布

上一节只证明 QLoRA 能降低 fine-tuning 的显存门槛，本节要验证更严格的问题：效率优势能否穿过数据、优化和评测三道关，最终形成可用模型。技术是否真正改变生态，要看是否产生有竞争力的 release。Guanaco 用 QLoRA 和过滤后的 OpenAssistant 数据训练多个规模模型；读图时先分开看“方法节省多少资源”和“发布模型达到什么质量”，再检查二者是否由同一套实验闭环连接。它展示低内存方法不仅能让 loss 下降，也能做出当时较强的聊天模型。

\lecturefigure{slide-043.jpg}{Guanaco：QLoRA 加开放数据产生竞争力模型}{official deck, p. 43}

读图：方法论文的三层证据

第一层是内存/吞吐是否下降；第二层是训练是否稳定收敛；第三层是最终模型在人类或可信评测上是否有竞争力。只有第三层出现，社区才知道方法没有用效率换掉关键质量。Guanaco 的意义在于把三层连起来。

\teachervoice{00:24:56--00:27:09，Nathan 把 QLoRA 称为解锁更多参与者的技术，并用 80GB A100 与消费级显存作对比。讲者同时强调 Guanaco 和过滤版 OpenAssistant 数据才让方法变成可信模型发布。}

LoRA methods 与 RL 为什么没有自动成功

低内存 IFT 容易复现后，许多团队尝试把 LoRA/QLoRA 直接用于 RLHF。困难在于 RL 需要 policy rollout、reference policy、reward model、advantage estimation 和多次更新，内存不是唯一瓶颈；adapter 参数化也会改变优化几何。

\lecturefigure{slide-045.jpg}{LoRA methods 是否适合 RL：探索很多，出圈模型很少}{official deck, p. 45}

Loss 降低不是 RLHF 成功证明

RL pipeline 可以让训练目标下降，却产生 reward hacking、KL 漂移、模式坍缩或评测退化。必须有最终模型 release、独立评测和行为样本。Q&A 中 Nathan 给出的经验规则是：在深入追逐一个方法前，先等它产生同量级的竞争模型。

\teachervoice{00:27:28--00:28:45，讲者回忆当时 LoRA-RL loss 能下降、实验很兴奋，但很少有真正“splash”的模型。01:05:44 之后他又说，自己会等到相关方法产生竞争力 release 才深挖。}

从效率方法到可信模型发布的验证门

check_memory_reduction()
check_training_stability()
check_base_capability_retention()
run_fast_automatic_evals()
run_human_or_arena_evaluation()
release_model_recipe_and_data_provenance()

本章小结

QLoRA 解决的是参与门槛：减少可训练参数和 frozen weight 存储，让更多团队能做 IFT。它没有自动解决 RLHF 的数据、rollout、稳定性和评测。课程的证据标准是“方法—模型—评测”闭环，而不是只看资源曲线或训练 loss。

Safety Backlash 与过渡期：拒答边界本身就是对齐选择

算法和数据之外，开放对齐还面对价值冲突。Llama 2 Chat 的安全策略引发一部分用户反弹，随后出现“uncensored” fine-tunes；同一时期，大量 UltraChat、OpenChat、XwinLM、OpenHermes 等模型用不同数据和 recipe 快速迭代。课程把这段时期视为 expectations 尚未稳定的过渡带。

Llama 2 safety backlash

前一章的“方法—模型—评测”闭环默认大家对好行为已有共识，但安全 backlash 恰好说明这个前提并不成立。本节要回答的不是模型是否需要安全约束，而是约束边界由谁定义、误拒成本由谁承担。模型需要在危险请求、合法敏感问题、幽默和虚构之间划界；如果数据过度奖励拒答，模型会在无害请求上也退缩。读图时不要把社区反弹理解成“安全无用”，而要看到安全行为必须结合用户场景、政策、可控性和误拒成本评估。

\lecturefigure{slide-046.jpg}{Llama 2 Chat 的 safety backlash：chat model 应多安全}{official deck, p. 46}

\teachervoice{00:28:55--00:29:52，Nathan 把 Llama 2 backlash 视为 defining moment：模型的拒答风格让社区意识到“safe”不是单一数值，而是用户与开发者对可控性的分歧。}

“Uncensored” models 的目标和风险

Llama 2 backlash 之后，社区很快给出一个可操作但粗糙的反方向：从训练数据中移除显式拒答。这个选择把“用户控制”放在更高位置，却没有自动提供新的危害判断机制。一些 fine-tune 通过删除 “Sorry”、“as a language model” 等样本追求不拒答；读图时应比较的是 refusal style 与真实 harmful compliance，而不是只数道歉短语。它们证明训练数据能快速改变 refusal distribution，也暴露“去掉表面拒答”不等于建立更好的安全推理；模型可能只学会更少说安全模板。

\lecturefigure{slide-047.jpg}{“Uncensored” models：删除拒答样本以提高用户控制}{official deck, p. 47}

拒答率不是完整 safety metric

需要至少区分 harmful compliance、benign refusal、事实错误、隐私泄露和可逆性。低拒答率可能提高合法任务可用性，也可能增加危险帮助；高拒答率可能更安全，也可能只是模板化回避。应按风险类别和用户 intent 分层评估。

\teachervoice{00:29:52--00:30:54，讲者说明 uncensored 模型通过移除拒答式训练样本改变 behavior，这条路线延续至今。课堂没有把它当作安全答案，而把它作为社区价值选择的证据。}

过渡期模型：配方扩散但缺少统一信号

随着 instruction data 与训练代码扩散，模型数量快速增长，但很难判断哪个 recipe 真正更好。UltraChat、OpenChat、XwinLM、OpenHermes 等把合成数据、真实对话、不同 base model 和偏好优化混合；模型差异逐渐转化为评测问题。

\lecturefigure{slide-048.jpg}{UltraChat、OpenChat、XwinLM、OpenHermes 等过渡期模型}{official deck, p. 48}

过渡期的真正产物

这段时期留下的不只是模型，而是数据集、chat template、训练框架和评测入口。很多模型很快过时，基础设施却成为后来 Zephyr、Tulu 和现代 post-training recipe 的组件。判断历史贡献时应看可复用 artifact，而不只看发布当天的排名。

本章小结

Safety backlash 说明 alignment 是对输出分布和拒答边界的选择；过渡期模型说明当配方快速扩散时，社区最缺的是可信反馈。下一章进入四套评测工具，比较人类偏好、LLM-as-a-judge 与静态 benchmark 各自适合开发还是发布决策。

Evaluation Infrastructure：没有反馈，就没有开放对齐迭代

上一章出现大量模型，却缺少共同坐标。2023 年 5--7 月，ChatBotArena、AlpacaEval、MT-Bench 和 Open LLM Leaderboard 在数周内出现，原因不是评测理论突然成熟，而是开放团队无法像大公司那样持续雇人比较回答。评测因此成为训练 loop 的代理反馈。

四套评测为什么同时出现

本节先看时间线和角色分工。Arena 收集真实人类 pairwise preference，反馈慢但外部效度高；AlpacaEval 和 MT-Bench 用强 LLM judge 加速迭代；Leaderboard 自动跑静态任务，最容易集成工程流水线。四者优化不同目标，不能由一个分数取代。

\lecturefigure{slide-049.jpg}{2023 年四套主流开放 aligned-model evaluations 几乎同时出现}{official deck, p. 49}

\teachervoice{00:32:14--00:32:48，Nathan 说这些工具在短时间内出现，是因为开放 builder desperately needed signal，却没有能力像闭源公司一样持续支付人类比较成本。}

ChatBotArena：慢，但接近真实用户偏好

上一节把四套评测放在同一张地图上，本节先看其中最接近真实产品反馈的一种。Arena 把两个匿名模型并排展示给用户，收集胜、负或平局，再通过 pairwise ranking 估计相对强弱。阅读流程图时先追踪 prompt 从哪里来、比较结果怎样进入 ranking、一个新模型需要多少对战才能稳定；它的优势是 prompt 来自真实用户、judge 是人，弱点则是采样和收敛都慢，开发反馈可能需要数天。

\lecturefigure{slide-050.jpg}{ChatBotArena：匿名双模型比较与真实用户偏好收集}{official deck, p. 50}

Elo 的期望胜率可写成

\[ P(A\succ B)=\frac{1}{1+10^{(R_B-R_A)/400}}, \]

其中 \(R_A,R_B\) 是模型评分，\(P(A\succ B)\) 是 A 战胜 B 的概率。评分是相对量，依赖对手图、用户分布和时间窗口；不同 Arena 版本的绝对 Elo 不宜直接横比。

\teachervoice{00:33:14--00:33:56，讲者认为 Arena 对发布和公司策略非常重要，但对训练工程太慢：团队需要在决定发布前就知道模型是否改进，因此必须搭配更快的自动评测。}

AlpacaEval：快速 preference proxy 与 judge bias

AlpacaEval 用固定 prompts，让 candidate response 与 baseline response 比较，再请强 LLM 判断胜者。更多样本带来较小误差条，运行快且易集成；但 baseline、judge、response length 和 style 都会改变胜率。

\lecturefigure{slide-051.jpg}{AlpacaEval：candidate 与 baseline response 的 LLM preference judging}{official deck, p. 51}

\lecturefigure{slide-052.jpg}{AlpacaEval 的优势与局限：样本多、误差小，但 judge 有偏置}{official deck, p. 52}

若 \(n\) 个独立比较中 candidate 获胜比例为 \(\hat p\)，近似标准误为

\[ \operatorname{SE}(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}. \]

其中 \(n\) 是比较数，\(\hat p\) 是观测 win rate。增加样本降低随机误差，却不会消除系统偏差，例如 judge 偏好更长、更礼貌或与自身风格相似的回答。

\lecturefigure{slide-053.jpg}{AlpacaEval 2：更换 GPT-4 baseline 并引入 length control}{official deck, p. 53}

LLM-as-a-judge 的四个偏差源

1. Position bias：先出现或后出现的答案更易获胜；
2. Length/style bias：冗长、格式漂亮的答案获得额外偏好；
3. Self preference：judge 偏好与自身分布相似的输出；
4. Contamination：judge 可能见过 benchmark、candidate 或 reference。

随机换位、长度控制、多 judge 与人工抽检只能缓解，不能完全消除。

\teachervoice{00:33:56--00:36:16，Nathan 把 AlpacaEval 视为快速工程信号，但对 AlpacaEval 2 分数的具体含义保持谨慎。评测越容易优化，就越需要检查是否只学会迎合 judge。}

MT-Bench：多轮覆盖与小样本脆弱性

AlpacaEval 使用 pairwise preference 回避绝对评分校准，MT-Bench 则故意换成多轮、分类型的标量打分，以观察模型能否在追问后继续保持质量。本节因此要比较两种误差来源：pairwise judge 的相对偏好，与 1--10 分尺度的漂移。MT-Bench 让 LLM judge 对两轮回答打分，题目覆盖写作、推理、数学、编码等类别；读图时先看第二轮是否真正依赖第一轮，再看类别平均是否掩盖个别失败。多轮结构比单轮 preference 更接近 chat，但题目数量小、judge 评分尺度不稳定，团队也容易针对公开题调参。

\lecturefigure{slide-054.jpg}{MT-Bench：强模型对多轮回答做标量评分}{official deck, p. 54}

\lecturefigure{slide-055.jpg}{MT-Bench 的优点、缺点与可被优化风险}{official deck, p. 55}

读图：标量分数比 pairwise 更难校准

给一个回答打 7 分需要稳定的绝对标准，而判断 A 是否优于 B 只需局部比较。不同 judge 或 prompt wording 会改变 1--10 尺度。报告 MT-Bench 时应保留逐题结果、judge 版本和类别分布，不只给平均分。

\teachervoice{00:36:16--00:37:44，课程指出 MT-Bench 的两轮题很有用，但题量少、judge 有偏差，而且公开后可以被直接优化。一个高分模型可能只是更贴合这 80 道问题。}

Open LLM Leaderboard：工程工具如何被 Goodhart 化

Leaderboard 自动运行多个静态 benchmark，最初是方便比较 base/fine-tuned model 的工程工具。随着排名影响下载量和声誉，训练数据开始混入 benchmark 风格甚至测试题，静态分数逐渐失去区分真实 chat quality 的能力。

\lecturefigure{slide-056.jpg}{Open LLM Leaderboard：自动 benchmark pipeline 与公开排名}{official deck, p. 56}

\lecturefigure{slide-057.jpg}{评测组合：Arena 慢而真实，自动 eval 快而可被投机}{official deck, p. 57}

Goodhart's law 在模型评测中的形式

当 metric 从“测量目标”变成“训练目标”，模型会学习 metric 的可利用部分。解决方案不是寻找永远不会被投机的单一 benchmark，而是建立评测组合：隐藏/动态 prompts、真实用户偏好、能力与安全分层、人工审计，以及定期更换已被饱和的任务。

\teachervoice{00:37:44--00:39:45，Nathan 说 Leaderboard 最初是工程工具，但污染和 gaming 降低了价值；他的组合建议是把 Arena 当长期公开信号，把 AlpacaEval/MT-Bench 当快速开发信号，而不是寻找一个万能分数。}

评测 portfolio 的最小记录结构

evaluation = {
    "prompt_distribution": "real_users | fixed_set | hidden_set",
    "judge": "human | model_name_and_version",
    "baseline": "model_or_none",
    "aggregation": "elo | win_rate | scalar_mean",
    "latency": "minutes | days",
    "known_biases": ["length", "position", "contamination"]
}

本章小结

四套评测分别服务不同时间尺度：Arena 支持发布和公共比较，AlpacaEval/MT-Bench 支持快速迭代，Leaderboard 支持自动能力回归。每套工具都有 prompt、judge、baseline 和 aggregation 假设；开放对齐的成熟不是找到完美分数，而是知道每个分数能回答什么、不能回答什么。

RLHF 目标、Reward Model 与 DPO：公式相近，优化过程不同

有了评测反馈，本章进入偏好训练。RLHF 先用人类比较训练 reward model，再优化 policy；DPO 把同一类偏好信号转成直接分类式损失。两者都试图提高 chosen response 相对 rejected response 的概率，但数据采样、在线 rollout、稳定性和计算成本不同。

RLHF objective：奖励与 KL 约束

本节先读标准目标。若只最大化 learned reward，policy 可能找到 reward model 的漏洞并远离 base behavior；因此加入对 reference model 的 KL divergence，限制分布漂移。PPO 是常见优化器，但目标本身不等于 PPO。

\lecturefigure{slide-059.jpg}{RLHF objective 的符号：policy、reference、prompt、response 与 reward}{official deck, p. 59}

\lecturefigure{slide-060.jpg}{RLHF objective 的第一部分：最大化 reward model 评分}{official deck, p. 60}

\lecturefigure{slide-061.jpg}{RLHF objective 的第二部分：用 KL 防止 policy 远离 reference}{official deck, p. 61}

目标写成

\[ \max_{\theta}\;\mathbb{E}_{x\sim D,\,y\sim\pi_{\theta}(\cdot\mid x)} \left[r_{\phi}(x,y)-\beta\log\frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}\right]. \]

其中 \(x\) 是 prompt，\(y\) 是 policy \(\pi_{\theta}\) 采样的回答，\(r_{\phi}\) 是 reward model，\(\pi_{\mathrm{ref}}\) 是 reference model，\(\beta\) 控制 KL penalty。\(\beta\) 太小会漂移和 reward hacking，太大则难以改变行为。

\teachervoice{00:40:00--00:41:55，讲者把公式拆成“追求 reward”和“不能离 base 太远”两股力，并强调 reference constraint 不是装饰，而是防止 learned reward 被过度利用。}

Preference modeling：为什么用 pairwise comparison

人很难稳定给开放回答打绝对 0--10 分，却更容易判断 A 与 B 哪个更好。Reward model 因此常用 chosen/rejected pairs，学习相对排序。数据质量取决于 prompt、候选生成方式、标注指南和 annotator agreement。

\lecturefigure{slide-062.jpg}{Preference reward modeling：相对比较优于直接监督绝对分数}{official deck, p. 62}

Bradley--Terry 模型写成

\[ P(y_w\succ y_l\mid x)=\sigma\!\left(r_{\phi}(x,y_w)-r_{\phi}(x,y_l)\right), \]

其中 \(y_w\) 是 preferred/chosen response，\(y_l\) 是 rejected response，\(r_{\phi}\) 是标量 reward，\(\sigma\) 是 sigmoid。训练最小化 chosen 没有胜出的负对数概率。

Preference data 不等于客观真理

标注反映具体人群、政策、界面和候选集合。若两个候选都很差，pairwise label 仍会选一个；若候选差异太明显，reward model 学不到细粒度边界。应保留 tie/skip、标注者信息和 disagreement，而不是只保存二元标签。

\teachervoice{00:42:00--00:43:44，Nathan 解释直接监督 scalar reward 的效果不理想，而 pairwise preference 更自然。课程的重点不是人类比较无偏，而是相对判断通常比绝对打分更稳定。}

从“直接 gradient ascent”到 DPO

有了 pairwise reward objective，可以问是否必须显式训练 reward model 再跑 RL。DPO 利用 KL-regularized optimum，把隐式 reward 写成 policy 与 reference 的 log-ratio，直接对 chosen/rejected pair 做 logistic classification。

\lecturefigure{slide-063.jpg}{问题：能否直接对 preference objective 做 gradient ascent}{official deck, p. 63}

\lecturefigure{slide-064.jpg}{答案：Direct Preference Optimization 把目标改写为直接偏好损失}{official deck, p. 64}

DPO loss 为

\[ \mathcal{L}_{\mathrm{DPO}}(\theta)=-\mathbb{E}\log\sigma\!\left( \beta\left[ \log\frac{\pi_{\theta}(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)}- \log\frac{\pi_{\theta}(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)} \right]\right). \]

其中 \(\pi_{\theta}\) 是待训练 policy，\(\pi_{\mathrm{ref}}\) 是 reference，\(y_w,y_l\) 是 chosen/rejected，\(\beta\) 控制偏离 reference 的强度。DPO 提高 chosen 的相对 log-ratio，同时降低 rejected 的相对 log-ratio。

\teachervoice{00:43:44--00:46:20，讲者把 DPO 的吸引力概括为实现极简、不需要显式 RL rollout；但他随后强调 DPO 与 PPO 是非常不同的 optimizer，目标推导相连不等于训练动态相同。}

DPO core facts 与 PPO 差异

本节把实现便利与能力边界分开。DPO 只需离线 preference pairs，训练像 supervised classification；PPO 在线从当前 policy 采样、用 reward 估计 advantage，并通过 clipping/regularization 做多步更新。PPO 更复杂、更贵，也可能从 reward signal 中提取更多。

\lecturefigure{slide-065.jpg}{DPO core facts：实现简单、普及迅速、但仍有假设}{official deck, p. 65}

\lecturefigure{slide-066.jpg}{DPO 与 PPO/REINFORCE 是不同优化器和数据循环}{official deck, p. 66}

术语消化：objective 与 optimizer

对象	含义
Preference objective	希望 chosen 比 rejected 更可能，同时限制离 reference 太远。
DPO	用固定离线 pairs 直接优化 policy/reference log-ratio。
PPO	从当前 policy rollout，基于 reward/advantage 做受约束的 on-policy 更新。
REINFORCE	用采样回报乘 score-function gradient 的经典 policy-gradient estimator。

同一高层目标可由不同 optimizer 逼近，稳定性、样本效率和最终行为不必相同。

\teachervoice{Q&A 的 01:09:02--01:09:40，Nathan 给出经验判断：PPO 若调通，往往能从同一数据中再榨出一点性能；但优势处于 fine margins，代价是大量模型和训练迭代。}

本章小结

RLHF 的核心是 learned reward 与 reference constraint；pairwise preference 是 reward modeling 的常用数据形式；DPO 把隐式 reward 改写为直接偏好分类损失。数学联系不能抹平 optimizer 差异。评价 DPO/PPO 需要看最终 release、数据、计算、稳定性和人类偏好，而不是只看实现长度。

Zephyr、Tulu 2、SteerLM 与 Starling：没有单一赢家

上一章给出公式，本章看模型证据。Zephyr 证明 DPO 能做出出圈开放模型，Tulu 2 把 DPO 扩展到 70B；SteerLM 与 Starling 又证明 PPO/RL 路线仍可能更强。历史结论不是“DPO 取代 PPO”，而是 preference optimization 开始产生可比较的公开 releases。

Zephyr 与 Tulu 2：DPO 从论文变成 release

本节先看两次关键落地。Zephyr 结合 UltraChat 与 UltraFeedback，给 DPO 一个清晰、可复现 recipe；Tulu 2 使用 AI2 数据与训练栈，把方法扩展到 70B。模型发布让社区能检验方法是否跨规模、跨数据保持价值。

\lecturefigure{slide-067.jpg}{Zephyr \(\beta\)：第一批因 DPO 获得广泛关注的开放模型}{official deck, p. 67}

\lecturefigure{slide-068.jpg}{Tulu 2：把 DPO 扩展到 70B 规模}{official deck, p. 68}

读图：recipe 的可迁移部分

比较 release 时要拆成 base model、IFT data、preference data、reference policy、\(\beta\)、sequence length 和 eval。若 Zephyr 与 Tulu 同时换了多个组件，不能把全部提升归因于 DPO；它们的贡献是给出完整 artifact，让后续团队能逐项消融。

\teachervoice{00:46:33--00:48:30，Nathan 把 Zephyr 称为第一个让 DPO 真正“make a splash”的模型，把 Tulu 2 视为规模化里程碑。方法的社会可信度来自模型 release，而不只是论文推导。}

SteerLM 与 Starling：PPO/RL 仍然竞争

DPO 简单并不意味着 on-policy RL 失效。SteerLM 用属性条件化和偏好信号控制输出，Starling 基于 Arena 风格偏好数据运行 PPO，展示更复杂的 pipeline 仍能获得优势。课程特意把这些模型放在 DPO 成功之后，阻止“新方法统一一切”的叙事。

\lecturefigure{slide-069.jpg}{SteerLM 与 Starling：PPO/RL 方法仍能超过 DPO 模型}{official deck, p. 69}

算法榜单常把数据优势伪装成优化器优势

若 PPO 模型使用更新、更大或更真实的 preference data，而 DPO baseline 使用旧数据，结果不能归因于 optimizer。可信比较需要共享 base/IFT checkpoint、共享 pairs 或 reward model、相似计算预算和同一 eval portfolio。

\teachervoice{00:48:45--00:49:35，讲者用 SteerLM 和 Starling 说明“仍有很多模型显示 PPO/RL 优于 DPO”。他的结论是混合证据，而不是为某一阵营站队。}

本章小结

Zephyr 与 Tulu 2 证明 DPO 的实用性和规模化，SteerLM/Starling 保留了 PPO 的竞争力。开放 alignment 的合理实验单位不是算法名字，而是完整 recipe。下一章进入 2024 年生态，讨论更多参与者、Llama 3、开放/闭源差距和真正的瓶颈——高质量 preference data。

现代开放对齐生态：更多玩家，仍然缺数据

前几章按时间追踪模型，本章把 2024 年 4 月视为课堂快照。参与者从大学、非营利机构、Hugging Face 社区扩展到大量公司；模型 recipe 更复杂，评测更快，开放/闭源差距在部分任务缩小。但讲者认为最稳定的限制仍是数据：尤其是合法、开放、多样的人类 preference data。

更多模型、更多数据生成角色

本节展示现代生态的多样性。不同团队专门做 instruction rewriting、preference generation、过滤、chat data、reward model 和训练框架。开放 alignment 不再是单团队端到端工作，而是 artifact supply chain。

\lecturefigure{slide-071.jpg}{现代生态中的数据生成、模型训练与社区角色多样化}{official deck, p. 71}

Artifact supply chain

一个开放 aligned model 可能依赖：第三方 base weights、另一个模型生成的 instructions、公开 chat logs、社区 preference data、开源 trainer、闭源 LLM judge 与公开 leaderboard。每个依赖都会引入许可、污染、风格和可复现性风险，因此 model card 应记录完整 lineage。

Llama 3：更多是 scale story，也是 post-training signal

Llama 3 在课堂前后发布，讲者把它视为“更多关于 scaling”而非单一 alignment breakthrough。Meta 报告使用 IFT、rejection sampling、DPO 和 PPO 等多阶段方法；复杂 pipeline 说明行业愿意叠加方法获得小幅收益，也说明尚未找到统一简单算法。

\lecturefigure{slide-072.jpg}{Llama 3：大规模 pretraining 与多阶段 post-training 的课堂快照}{official deck, p. 72}

Rejection sampling 可概念性写成：从 policy 采样 \(K\) 个候选

\[ y_1,\ldots,y_K\sim\pi(\cdot\mid x), \qquad y^{\star}=\arg\max_{y_i} r(x,y_i), \]

其中 \(r\) 可以是 reward model、规则或 judge。把 \(y^{\star}\) 回灌 IFT 能提升初始化，但也会把 reward/judge 偏差固化进新数据。

\teachervoice{01:02:44--01:03:22，Nathan 对 Llama 3 同时使用 IFT、rejection sampling、DPO 与 PPO 感到配方复杂；他猜测这些阶段在逐步移动能力并为下一阶段初始化，未来可能被蒸馏成更简单算法。}

Current directions：alignment 正在变成 data problem

本节从模型转向研究问题。开放社区只有少量广泛使用的 preference datasets，例如 Anthropic HH、UltraFeedback 和 Nectar；重复使用会导致过拟合、同质化和 contamination。未来需要更多真实人类、多语言、多领域和长期交互数据。

\lecturefigure{slide-073.jpg}{Current directions：开放语言模型对齐的研究前沿}{official deck, p. 73}

\lecturefigure{slide-074.jpg}{开放与闭源 aligned models 的能力差距随任务而变化}{official deck, p. 74}

“Open catches closed” 必须指定任务和日期

某些开放模型在公开 benchmark 上接近闭源模型，不代表工具使用、长上下文、可靠性、安全、延迟和多语言都追平。图是 2024 年 4 月 snapshot；模型版本和 judge 更新后结论会改变。比较必须给出 exact model、date 与 evaluation protocol。

\lecturefigure{slide-075.jpg}{当前方向一：Preference data 严重不足，数据质量限制实验}{official deck, p. 75}

Preference dataset 的覆盖矩阵

高质量数据至少应覆盖：任务域、语言、用户群体、风险级别、回答长度、工具/无工具、多轮状态和 disagreement。只扩大同一 synthetic template 的样本数，会降低方差却不扩大行为边界。

\teachervoice{01:00:00--01:03:48，讲者把 preference data scarcity 作为当前核心瓶颈，并提醒 synthetic data 常重复、分布不稳，因而对 alignment 的泛化提升有限。}

开放对齐发生在哪里

最后一张内容页列出 AI2、HuggingFaceH4、Berkeley、LMSYS、NousResearch 等参与者。名单的意义不是完整排名，而是说明开放进展分散在模型、数据、trainer、evaluation 与社区运营多个节点；健康生态需要这些 artifact 能互相组合并被审计。

\lecturefigure{slide-076.jpg}{开放 alignment 的主要社区、机构与 artifact 类型}{official deck, p. 76}

读图：机构名单背后的分工

AI2 强调 Tulu/OLMo 与数据发布，HuggingFaceH4 快速复现 recipe，LMSYS 提供 Arena 与真实对话数据，Berkeley/社区团队探索 PPO 和评测，其他团队生成 instructions 或 preference data。开放生态的优势是并行探索，弱点是 provenance、许可和评测口径不统一。

\teachervoice{01:04:49--01:05:30 的研究建议是：没人能跟踪所有进展，应该持续构建技能和自己认为重要的东西。对开放生态而言，这意味着贡献高质量数据、评测或工具同样是核心研究，不必只追模型规模。}

Synthetic data 与人类数据的关系

合成数据能绕过部分版权、隐私和标注成本，也能生成更大规模 token；但 teacher model 的偏差、重复模式和缺少真实用户 intent 会限制泛化。更合理的方向是人类 seed、模型扩增、自动过滤和人工审计的混合 pipeline。

设真实数据分布为 \(p_h\)、合成分布为 \(p_s\)，混合训练分布可写成

\[ p_{\lambda}=\lambda p_h+(1-\lambda)p_s, \]

其中 \(\lambda\) 控制人类数据比例。最优 \(\lambda\) 不是固定常数：数据质量、任务域和 teacher strength 改变时，需要通过 held-out human evaluation 重新选择。

\teachervoice{Q&A 的 01:14:38--01:15:29，Nathan 认为 synthetic data 是少数能继续生成更多 token 的路线，也相信模型会持续参与训练其他模型；但他明确说这一方向仍很早。}

本章小结

现代生态的主角从单一模型扩展成 artifact network。Llama 3 展示大规模 base 与多阶段 post-training 的组合；开放/闭源差距依任务变化；高质量 preference data 和可信评测仍是稀缺资源。未来进展可能来自更简单的统一算法，也可能来自更好的数据与反馈基础设施。

总结与延伸

这堂课最重要的贡献不是给 DPO、PPO 或 QLoRA 排名，而是提供一段可解释的开放对齐系统史：每次模型跃迁都同时依赖 base model、数据分布、训练可访问性、评测反馈和发布 artifact。理解这条链，才能判断一个新方法究竟解决了哪个瓶颈。

十四条核心结论

本节把课程压缩成可复用结论，每条都保留条件和证据等级。

1. RLHF 对 ChatGPT-like behavior 很重要，但不是完整产品的充分条件。
2. Base model 是能力底座，alignment 主要重新排序和塑造交互分布。
3. IFT、SFT、RLHF 与 DPO 必须按数据和损失区分。
4. Alpaca 证明 synthetic instruction data 可快速适配接口。
5. Vicuna/ShareGPT 证明真实用户 prompt distribution 极有价值。
6. OpenAssistant 说明开放人类数据具有长期复用价值。
7. QLoRA 扩大参与者范围，但没有自动解决 RLHF 稳定性。
8. Safety 与 uncensored 争论本质上是拒答边界和用户控制的选择。
9. Arena、AlpacaEval、MT-Bench 与 Leaderboard 服务不同反馈时长。
10. LLM-as-a-judge 快但有 length、position、self-preference 和 contamination bias。
11. RLHF 目标结合 reward 与 KL constraint；PPO 只是实现路线之一。
12. DPO 简单且有效，但与 PPO 的训练动态和数据利用不同。
13. Zephyr/Tulu 证明 DPO 可落地，SteerLM/Starling 证明 RL 仍有竞争力。
14. 2024 年开放 alignment 的稳定瓶颈是多样、合法、可发布的 preference data。

一张表串起开放对齐系统

为了避免只记模型名，下面按系统组件总结每一阶段解决的问题与残余风险。

组件	代表 artifact	仍未解决的问题
Base model	LLaMA/Llama 2/Llama 3	能力、许可、数据 provenance 与训练成本
IFT data	Alpaca、ShareGPT、UltraChat	真实 intent、多样性、隐私与模板偏差
Human data	OpenAssistant/Arena logs	成本、一致性、consent 与覆盖
Efficient tuning	LoRA/QLoRA	完整能力保留、RL stability 与 inference 合并
Evaluation	Arena/AlpacaEval/MT-Bench/Leaderboard	judge bias、污染、延迟与 gaming
Preference optimization	PPO/DPO/SteerLM	数据效率、稳定性、reward hacking 与可解释性
Ecosystem	AI2、HF、LMSYS、community	lineage、可复现性、长期维护与治理

开放对齐的组件、代表 artifact 与残余风险。

实践用 release checklist

课程历史可以转成一个模型发布前 checklist。目标是让“我们用了 DPO”不再替代完整证据。

Open aligned model release checklist

record_base_model_and_license()
publish_chat_template_and_training_objective()
document_instruction_and_preference_data_provenance()
report_compute_memory_and_random_seeds()
run_capability_safety_and_human_preference_evals()
disclose_judge_models_baselines_and_known_biases()
release_failure_examples_and_model_card()

判断新 alignment 方法的五道门

1. 是否在共享 base/data/eval 下超过强 baseline？
2. 是否产生可下载、可复现的竞争模型，而不只是训练曲线？
3. 是否保持 base capabilities，并降低真实 failure rate？
4. 是否在多个 judge 和人类偏好上成立，而非单一 leaderboard？
5. 收益是否值得额外数据、rollout、显存与工程复杂度？

自测问题

以下问题用于检查是否掌握系统因果，而不是只记 release 时间线。

1. 为什么 RLHF 对 ChatGPT 重要，却仍不是充分条件？
2. IFT 与 SFT 在目标、数据和接口上如何区分？
3. ShareGPT 为什么可能比更多 synthetic prompts 更有价值？
4. Weight differences 与 LoRA update 有什么本质差异？
5. QLoRA 节省了哪些内存，又没有节省哪些 RLHF 成本？
6. Arena、AlpacaEval、MT-Bench 和 Leaderboard 分别适合什么决策？
7. KL penalty 在 RLHF objective 中防止什么？
8. DPO loss 中 policy/reference log-ratio 表示什么？
9. 为什么 Zephyr/Tulu 不能单独证明 DPO 总是优于 PPO？
10. 合成 preference data 为什么可能扩大规模却缩小分布？

拓展阅读

• Ouyang et al., Training language models to follow instructions with human feedback：InstructGPT 与 RLHF pipeline。
• Taori et al., Stanford Alpaca；Wang et al., Self-Instruct：早期 synthetic instruction data。
• Dettmers et al., QLoRA：量化 base model 与低秩 fine-tuning。
• Rafailov et al., Direct Preference Optimization：DPO 推导与实验。
• Bai et al., Constitutional AI；Köpf et al., OpenAssistant Conversations：偏好与开放人类数据。
• Zheng et al., Chatbot Arena：人类 pairwise evaluation 与开放模型生态。