Lecture16

LaTeX 源码

\makecscover

来源审计与课程主问题

这讲课的中心问题不是“参数量是否重要”，而是：当一个语言模型能够流畅生成答案时，我们还需要哪些机制，才能把它变成更可靠的推理器、知识模型或伦理判断组件？Yejin Choi 用 Maieutic Prompting、Symbolic Knowledge Distillation 和 Delphi 三项研究回答这个问题。三者共同依赖大型语言模型，却都在模型外增加结构、数据、critic 或约束，因此不能被压缩成一句“小模型打败大模型”。

本讲如何重建

课程官网列出录像与三篇指定论文，但没有公开独立 slide deck。本讲以 Stanford Online 1080p 官方录像为视觉母版：每两秒采样得到 2,253 帧，稳定帧工具产生 207 个高召回候选，再人工去重为 56 个独立教学状态。最终图像均从 1920x1080 全宽画面提取；52:40 之后的问答大量回翻旧页，因此重复图不再插入，口头解释则通过官方 en-US 人工字幕保留。

证据层	本地材料	在讲义中的职责
官方录像	1:15:05 视频与 56 张 teaching states	决定课堂顺序、公式页、结果表、公开演示、争议回应与 hybrid 架构
官方人工字幕	lecture16.en.srt 与 timed transcript	恢复讲者的动机、比较 caveat、数据偏差、系统成本和 Q\	A
指定论文	Maieutic、Symbolic KD、Delphi	核对算法、公式、实验范围、数据构成与限制
背景论文	COMET、COMET-ATOMIC 2020	解释 symbolic graph 与 neural knowledge model 的关系
审计文件	manifest、coverage、ledger、blueprint	证明视觉和 teacher voice 节点都有明确教学去向

历史边界：2023 年 2 月 14 日

本讲讨论的是 ChatGPT 刚公开数月时的系统与争论。后来的 reasoning models、post-training 方法和 machine ethics 产品不能倒灌为课堂证据。尤其是 Delphi hybrid 在课上仍是 work in progress，不能写成已经成熟部署的系统。

David 与 Goliath：标题不是反 Scaling 宣言

标题页把极大模型比作 Goliath，把更小但结构化的系统比作 David。读这张图时要先保留限定词：讲者承认大模型在许多任务上更强，只是反对从少数流畅例子推导出“常识已经解决”。本讲要找的是另一条增益路径：更真实的 evaluation、更针对性的 task、更高质量的数据，以及能检查语言模型输出的算法。

\lecturefigure{slide-01-title-david-vs-goliath.jpg}{David vs. Goliath：极大语言模型时代的排行榜艺术}{官方录像恢复幻灯片 V001；Stanford CS25 Lecture 16}

下一张 slide 借《孙子兵法》把研究方法拆成三步：先认识失败分布，再选择真正有区分度的战场，最后设计新的武器。它不是文学装饰，而是整堂课的 evidence discipline：如果 benchmark 只奖励 dataset artifact，再高的分数也不能证明模型掌握了 underlying task。

\lecturefigure{slide-02-art-of-war-lessons.jpg}{Know your enemy、choose your battles、innovate your weapons}{官方录像恢复幻灯片 V002；Stanford CS25 Lecture 16}

\teachervoice{讲者用“existential crisis”自嘲 ChatGPT 带来的冲击，但随即把问题改写为 hasty generalization：一次答对 Winograd 题不等于拥有稳定物理常识。她反复强调的不是“规模无用”，而是“smaller can be better”与“knowledge is power”。}

术语表：先把相近术语分开

后文会密集出现 language model、knowledge model、commonsense graph、critic、descriptive morality 与 normative ethics。若不先区分对象，读者很容易把“生成一句合理文本”“拥有可复用知识”“做出伦理判断”混成同一种能力。下面的表给出本讲使用的工作定义。

术语	解决的问题	核心机制与课程关系
Language model	下一个 token 如何分布	从文本统计学习 \(p(x_t x_<t)\)；流畅性与世界知识可能相关，但不等价
Knowledge model	某个实体、事件或关系能推出什么	以 typed relation、检索接口或专门生成目标保存可复用知识
Commonsense	日常情境中广泛共享的实用知识与推理	包含物理、社会、因果、意图与反应；并非所有文化都完全一致
Symbolic graph	如何显式表示节点和关系	ATOMIC 用事件节点与 relation type 形成可检查的知识结构
Critic	哪些机器生成内容应被保留	学习质量判别并过滤 teacher samples；critic 本身仍会犯错
Descriptive ethics	人们通常会怎样判断	Delphi 预测 sampled human judgments，不宣称给出终极正确答案
Normative ethics	人们应该怎样判断	需要原则、论证与制度参与，不能由多数标签自动推出
Reflective equilibrium	如何协调案例直觉与抽象原则	在 bottom-up judgment 与 top-down constraint 之间反复修正
Adversarial test	系统在反常、组合或蓄意构造输入下是否稳定	用来暴露 dataset success 与 task understanding 的差距

四个贯穿全讲的问题

阅读后续三套系统时，应持续追问四件事。第一，base LM 提供的是 fluent generation、latent knowledge 还是 calibrated truth？第二，系统把什么结构放到模型外：logic、knowledge graph、critic 还是 moral principle？第三，结果究竟测 accuracy、consistency、human plausibility 还是 deployment safety？第四，失败能否被定位并修复，还是只得到另一个不可解释的总分？

本讲的共同 Recipe

先让大模型产生候选，再用显式结构或专用模型缩小候选空间，最后把结果训练进更小、更专门的系统。Maieutic 用 logic 约束 explanations，Symbolic KD 用 critic 约束 knowledge corpus，Delphi / hybrid 用 commonsense data 与 moral constraints 约束 judgment。

本章小结

来源审计表明，这是一讲关于系统分工与证据边界的课程。David-versus-Goliath 不是否定规模，而是要求把语言模型放进可检查的 pipeline；后续每一章都要说明候选从哪里来、约束由谁施加、指标证明了什么，以及指标没有证明什么。

Maieutic Prompting：从解释生成到全局一致性

第一项研究从一个常见错觉开始：模型能给出解释，所以它似乎“知道”答案。但同一模型可能在下一句否定自己刚刚给出的理由。Maieutic Prompting 不直接相信第一条 chain，而是递归探索支持与反对解释，再用 logic 选择内部更一致的赋值。

Language Models 只是 Sometimes Amazing

第一个例子让 GPT-3 解释“从美国西海岸一直向西走，最终能否到达东海岸”。模型用地球是圆的给出正确解释；这个成功展示了语言模型能组合隐含知识，却不能告诉我们它在邻近问题上是否稳定。看图时应把“答对”理解为一个 sample，而不是关于模型知识边界的完整测量。

\lecturefigure{slide-03-language-models-sometimes-amazing.jpg}{语言模型有时能生成连贯且正确的常识解释}{官方录像恢复幻灯片 V003；Stanford CS25 Lecture 16}

下一页把同类 true/false 问题并排，模型会在“蝴蝶是否有三只翅膀”等例子中先说四只翅膀、随后又给出与自身解释冲突的真假判断。重点不是某个常识事实难，而是输出之间缺少 consistency contract：每次生成都像局部文本补全，没有被迫维护一个共享 belief state。

\lecturefigure{slide-04-language-models-reasoning-failures.jpg}{邻近问题暴露 explanation 与 final answer 的自相矛盾}{官方录像恢复幻灯片 V004；Stanford CS25 Lecture 16}

解释不自动等于 Faithful Reasoning

语言模型给出的 explanation 可能只是与答案共同生成的文本。即使解释语法正确，也可能与其他解释冲突、引用错误事实，或在 prompt 改写后翻转。Maieutic 首先改善的是内部逻辑一致性，不是对世界真值的完全校验。

\teachervoice{讲者把语言模型比作“lemons”，又说只挑成功例子时它会像“cherries”。这个玩笑提醒我们：demo selection 本身就是 evaluation bias。真正的问题不是能否找到一个漂亮回答，而是错误是否具有可预测结构。}

递归构建 Explanation Tree

Maieutic 方法对原命题 \(q\) 与否定命题 \(\neg q\) 都要求模型生成解释，并继续询问每条解释为什么成立或不成立。这样得到的不是一条 chain-of-thought，而是一张局部 argument graph。读图时先找根节点，再比较支持、反对与互相冲突的分支；搜索深度越大，候选更多，计算和噪声也随之增长。

\lecturefigure{slide-05-maieutic-logic-tree-example.jpg}{Maieutic tree：同时展开命题、否定命题与递归解释}{官方录像恢复幻灯片 V005；Jung et al., 2022}

下一张 slide 展示 abductive generation：给定结论，模型提出可能使它成立或不成立的原因。这一步利用 LM 的生成广度，不要求模型立刻提交唯一答案。系统先把语言空间展开为候选 explanation nodes，再在后续阶段判断哪些组合能共同成立。

\lecturefigure{slide-06-maieutic-abductive-generation.jpg}{Abductive generation：为正反命题生成可检验解释}{官方录像恢复幻灯片 V006；Jung et al., 2022}

设命题节点为 \(v_i\)，布尔赋值 \(z_i\in\{0,1\}\) 表示系统最终是否接受它。若 explanation \(e_j\) 支持 claim \(c_j\)，可以写成蕴含约束

\[ \begin{equation} z_{e_j}\Rightarrow z_{c_j}, \end{equation} \]

而命题与显式否定应满足

\[ \begin{equation} z_q+z_{\neg q}=1. \end{equation} \]

这里的 \(z_q\) 不是概率，而是全局求解后的逻辑选择；概率只用于给约束加权。

Maieutic Prompting 的递归解释与全局一致性伪代码

def maieutic_reason(question, depth, language_model):
    graph = expand_both(question, negate(question), depth, language_model)
    clauses = []
    for explanation, claim, confidence in graph.edges:
        clauses.append(weighted_implication(explanation, claim, confidence))
    clauses.append(exactly_one(question, negate(question)))
    assignment = weighted_maxsat(clauses)
    return assignment[question], graph, assignment

从 Local Confidence 到 Weighted MaxSAT

递归树仍可能包含互相冲突的分支，因此需要一个 global inference step。Weighted MaxSAT（加权最大可满足性）是在一组布尔 clauses 中寻找满足总权重最大的赋值；它不是让所有句子都成立，而是在冲突不可避免时保留更可信、更相容的集合。

\lecturefigure{slide-07-maieutic-inference-objective.jpg}{Maieutic inference：把 explanation graph 转成加权逻辑优化}{官方录像恢复幻灯片 V007；Jung et al., 2022}

若第 \(j\) 个 clause 为 \(C_j(z)\)，置信权重为 \(w_j\)，求解目标可写为

\[ \begin{equation} z^*=\arg\max_{z\in\{0,1\}^{|V|}} \sum_j w_j\,\mathbf{1}\!\left[C_j(z)=\mathrm{true}\right]. \end{equation} \]

常见做法把模型置信度 \(p_j\) 转为 log-odds，\(w_j=\log\frac{p_j}{1-p_j}\)。\(V\) 是 explanation graph 的节点集合，\(\mathbf{1}[\cdot]\) 是指示函数。优化保证的是给定 clauses 下的相对一致性；若所有候选都建立在错误常识上，MaxSAT 仍可能稳定地选错。

Neural 与 Symbolic 各负责什么

LM 负责开放式生成，覆盖模型可能知道的解释；symbolic solver 负责跨分支维护约束。前者解决 recall，后者改善 consistency。若只用 solver，没有候选知识；若只用 LM，没有全局一致性。

结果：读柱状图时要看 Dataset 也要看 Task

结果 slide 比较 CSQA 2.0、CREAK 与 Com2Sense 等 true/false benchmarks。Maieutic 在多个数据集上优于 direct prompting 与若干 self-consistency baseline，说明递归解释加全局约束可以把 latent knowledge 更稳定地转成答案。读图时先比较同一数据集内的方法差异，再看不同数据集的 absolute level；不同 benchmark 的采样和 difficulty 不可直接横比。

\lecturefigure{slide-08-maieutic-results.jpg}{Maieutic Prompting 在多个常识真假判断数据集上的结果}{官方录像恢复幻灯片 V008；Jung et al., 2022}

这张图没有证明什么

它没有证明生成解释是 faithful，也没有证明模型拥有完整世界模型；它只证明在这些任务与 prompt 设置下，搜索更多解释并加入逻辑一致性能够提高最终判断。部署还要计算 latency、token cost、solver cost 与 adversarial robustness。

本章小结

Maieutic Prompting 把单次回答改造成 candidate generation 加 global consistency。它保留 LM 的生成能力，又承认局部输出会冲突。最重要的教学结论是：逻辑结构能够改善模型使用已有知识的方式，却不能凭空补上缺失或错误的世界知识。

Leaderboard Success 为什么不等于 Commonsense

Maieutic 的提升仍发生在 benchmark 内部，因此讲者下一步重新审视 benchmark 本身。如果数据集存在固定 artifact，模型可能学会“如何拿分”而没有学会目标能力；这就是 dataset solving 与 task solving 的差别。

高分与脆弱性可以同时存在

slide 将 object recognition、question answering 和 captioning 的高分结果，与 adversarial 或 out-of-domain 失败放在一起。横向比较不是为了否定进展，而是指出评价分布通常比真实使用窄。底部结论“只解决 dataset，而未解决 underlying task”要求研究者报告 perturbation、domain shift 与 failure category，而不是只报 leaderboard rank。

\lecturefigure{slide-09-brittle-leaderboards-dataset-task.jpg}{Superhuman leaderboard performance 与 adversarial brittleness 并存}{官方录像恢复幻灯片 V009；Stanford CS25 Lecture 16}

\teachervoice{讲者的“choose your battles”在这里落地：如果 benchmark 无法区分 surface pattern 与 conceptual understanding，继续堆分只是在错误战场获胜。新的 task 设计本身就是算法研究的一部分。}

Human 与 AI 之间缺的不是更多句子

桥接图把人类日常生活、语言与社会经验放在左侧，把多彩但不稳定的机器输出放在右侧。中间的 gap 指向 practical knowledge：知道冰箱门通常应关闭、知道一句话在特定关系中为何冒犯、知道动作可能造成什么物理后果。模型需要的不只是更多 text tokens，而是可组合、可检验的情境知识。

\lecturefigure{slide-10-commonsense-gap.jpg}{Commonsense gap：从表面语言到日常世界理解}{官方录像恢复幻灯片 V010；Stanford CS25 Lecture 16}

本讲采用的 Operational Definition

定义 slide 把 commonsense 限定为 practical knowledge and reasoning，关注 everyday situations and events，并且通常由大多数人共享。三个限定都重要：它不是百科知识全集，不只是一组 fact，也不是绝对跨文化一致。读图时要把“commonly shared”理解为经验性范围，而非道德真理或 universal law。

\lecturefigure{slide-11-definition-of-commonsense.jpg}{本讲的常识定义：日常、实用、广泛共享的知识与推理}{官方录像恢复幻灯片 V011；Stanford CS25 Lecture 16}

下一张 slide 进一步区分人类和机器的用途。对人类，常识支持共处与安全；对 AI，常识帮助理解用户需求、行动后果与隐含条件。冰箱门例子表明同一句“保持门打开”在不同情境下可能合理或危险，因此常识不是固定 phrase lookup，而是 context-conditioned inference。

\lecturefigure{slide-12-human-ai-commonsense-importance.jpg}{常识为何同时对人类协调和 AI 行动理解重要}{官方录像恢复幻灯片 V012；Stanford CS25 Lecture 16}

Dataset、Task 与 Capability 三层

Dataset 是有限样本；task 是希望系统完成的映射；capability 是跨分布复用的稳定能力。测试集高分最多直接证明 dataset-level performance。要主张 commonsense capability，还需要多样改写、组合变化、反事实、跨域和 failure analysis。

本章小结

常识研究的第一项难题是定义评价对象。排行榜并非无用，但必须与 adversarial 和 out-of-domain evidence 配对。后续 ATOMIC、COMET 与 Delphi 的意义，正是把“模型也许隐含知道”转化成更明确的数据、关系和任务接口。

ATOMIC 与 COMET：Language Model 不等于 Knowledge Model

这一章从评价转向表示。通用语言模型优化连续文本，而 commonsense system 往往需要回答 typed question：某个事件的原因是什么、参与者想要什么、接下来会发生什么。ATOMIC 用 symbolic relation 定义问题空间，COMET 用 neural generation 扩展答案。

Symbolic Graph 与 Neural Model 的分工

slide 把 ATOMIC 和 COMET 并排：前者由人类 crowdsourcing 写成 symbolic commonsense knowledge graph，后者在这些 relation-conditioned triples 上训练成为 neural commonsense model。二者不是竞争关系；graph 提供 schema 与监督，model 提供泛化和生成。

\lecturefigure{slide-13-language-models-not-knowledge-models.jpg}{Language model 与 knowledge model 的目标不相同}{官方录像恢复幻灯片 V013；Stanford CS25 Lecture 16}

下一页加入 COMET-ATOMIC 2020，强调 machine-readable graph 与 generative model 的循环：人类先定义 relation ontology 与 seed knowledge，模型学习 \(p(t\mid h,r)\)，再为新事件生成 tail inference。这里 \(h\) 是 head event，\(r\) 是关系类型，\(t\) 是生成的 commonsense conclusion。

\lecturefigure{slide-14-atomic-comet-human-symbolic-neural.jpg}{ATOMIC、COMET 与 COMET-ATOMIC 2020 的 symbolic-neural 关系}{官方录像恢复幻灯片 V014；Hwang et al., 2021}

形式上，COMET 的训练目标可写为

\[ \begin{equation} \mathcal{L}_{\mathrm{COMET}}(\theta) =-\mathbb{E}_{(h,r,t)\sim\mathcal{D}} \log p_{\theta}(t\mid h,r). \end{equation} \]

\(\mathcal{D}\) 是知识三元组数据，\(h\) 与 \(r\) 明确限定要生成哪类推断。与 unrestricted continuation 相比，这个 interface 更接近“查询知识模型”。

Relation Types 是知识的坐标系

完整 ATOMIC 图把 social interaction、physical entity、event-centered 等 relation types 展开。读图时不要逐节点背诵，而要看颜色和边的语义：同一事件可以连接 agent intent、agent reaction、other reaction、precondition 与 effect。relation type 让“可能的推断”变成可分解任务，也让 evaluator 能分别检查不同能力。

\lecturefigure{slide-15-atomic2020-full-graph.jpg}{ATOMIC 2020：事件节点与 23 类常识关系的知识图谱}{官方录像恢复幻灯片 V015；Hwang et al., 2021}

Typed Relation 为什么重要

若只让模型自由续写，“合理”可以有无数方向。指定 xIntent、xEffect、oReact 或 physical relation 后，数据收集、训练与错误分析都获得坐标。代价是 ontology 本身决定系统能表达什么，未建模的关系不会自动出现。

COMET、GPT-3 与 GPT-2 的比较边界

比较 slide 给出 human-judged commonsense quality：COMET-BART、few-shot GPT-3 与 zero-shot GPT-2 的设置不同。最先应读的是方法标签而不是数字高低；COMET 使用专门数据与监督，GPT-3 依赖 few-shot prompting，GPT-2 更小且 zero-shot。结果支持“专门知识模型可以更小、更好用”，但不能推出 architecture 单因素的因果结论。

\lecturefigure{slide-16-comet-vs-gpt3-gpt2.jpg}{COMET 与通用语言模型的 human-judged commonsense 对比}{官方录像恢复幻灯片 V016；Stanford CS25 Lecture 16}

\teachervoice{讲者主动说这不是 apple-to-apple comparison。她同时承认从 GPT-2 到 GPT-3 的 scale jump 很有趣，又指出 GPT-3 对许多工程师和研究者太大。课堂的重点是 system utility：一个更小、可查询、能嵌入下游系统的模型可能更有价值。}

Knowledge Backbone 的复用价值

最后一页把 COMET / ATOMIC 放在中心，周围连接 persona-aware conversation、figurative language、storytelling、fantasy games 与 interactive learning。它展示的不是所有应用都被“解决”，而是统一 relation interface 降低了重复构建常识组件的成本。应用性能仍受 coverage、quality 与 cultural scope 限制。

\lecturefigure{slide-17-commonsense-backbone-applications.jpg}{ATOMIC / COMET 作为多个下游任务的 commonsense backbone}{官方录像恢复幻灯片 V017；Stanford CS25 Lecture 16}

本章小结

ATOMIC 把常识问题写成 typed symbolic queries，COMET 把图谱监督压进 generative model。语言模型与知识模型的差别不在是否使用 Transformer，而在训练目标、接口和验收方式。下一章进一步问：如果人工写知识图谱太慢，能否让大模型生产语料，再用 critic 把它蒸馏成更小模型？

Symbolic Knowledge Distillation

人工 crowdsourcing 提供高质量 schema 和 seed knowledge，却难以覆盖长尾。直接让 GPT-3 大量生成又会得到巨量噪声。Symbolic Knowledge Distillation 把这两个事实组合成 pipeline：general LM 负责规模，critic 负责选择，symbolic corpus 负责可审计中间层，student model 负责低成本使用。

Smaller and Better 为什么不是普通 Distillation

问题 slide 用漏斗问：能否把 GPT-3 变小，同时比 teacher 更好？普通 knowledge distillation 通常让 student 逼近 teacher distribution，因此容量下降往往伴随质量下降。这里的突破口不是更精确复制全部 teacher，而是只蒸馏一个 aspect——causal commonsense——并丢弃 teacher 的低质量样本。

\lecturefigure{slide-18-symbolic-distillation-smaller-better-question.jpg}{Symbolic KD 的反直觉目标：student 更小也更好}{官方录像恢复幻灯片 V018；West et al., 2022}

完整 pipeline 把 GPT-3 samples 送入 critic，筛选后形成约 6.5M 高质量 knowledge graph，再训练 student commonsense model。图中的黄色回路意味着数据可以被保存、检查和复用；知识不只以 neural weights 存在。这也是“symbolic”一词的关键，而不是说生成过程完全由手写规则完成。

\lecturefigure{slide-19-symbolic-kd-pipeline.jpg}{Symbolic Knowledge Distillation：teacher、critic、knowledge graph 与 student}{官方录像恢复幻灯片 V019；West et al., 2022}

三种资源要分开核算

Teacher compute 决定候选生成成本；critic labels 决定过滤质量；student training 决定部署成本。只报告 student 参数量会隐藏前期 teacher 调用和人工 critic supervision。系统更便宜，通常指重复 inference 更便宜，不代表整个知识生产过程零成本。

从 Distribution Matching 到 Symbolic Samples

经典蒸馏让 student distribution \(P_S\) 匹配 teacher \(P_T\)：

\[ \begin{equation} H(P_T,P_S)=-\sum_{y\in\mathcal{Y}}P_T(y)\log P_S(y). \end{equation} \]

分类任务的 \(\mathcal{Y}\) 可枚举；句子空间却指数巨大。Symbolic KD 用 teacher samples 近似期望，同时把 sampled strings 组织成知识三元组，因此 sample 既是优化近似，也是可发布 corpus。

\lecturefigure{slide-20-knowledge-distillation-formula-symbolic-output.jpg}{Sequence-level distillation：采样近似与 symbolic corpus 副产物}{官方录像恢复幻灯片 V020；West et al., 2022}

若 \(y^{(k)}\sim P_T(\cdot\mid x)\)，可用 Monte Carlo 近似

\[ \begin{equation} H(P_T,P_S)\approx -\frac{1}{K}\sum_{k=1}^{K} \log P_S\!\left(y^{(k)}\mid x\right). \end{equation} \]

\(K\) 是每个 query 的 teacher samples 数量。仅靠采样会忠实继承 teacher 噪声，因此还需要 critic score \(c_\phi(x,y)\)。

Loose Teacher 与 Critical Teacher

comparison slide 区分 loose teacher 与 critical teacher。loose teacher 保留更多 GPT-3 generations，规模大但噪声多；critical teacher 只保留 critic 认可的 subset，数据少却更准。最关键的比较不是“有无 GPT-3”，而是“teacher sample 是否经过独立质量模型筛选”。

\lecturefigure{slide-21-loose-critical-teacher-comparison.jpg}{Loose teacher 与 critical teacher：数量和质量的交换}{官方录像恢复幻灯片 V021；West et al., 2022}

可把过滤后的 corpus 写为

\[ \begin{equation} \mathcal{D}_{\tau}=\{(x,y):y\sim P_T(\cdot\mid x),\ c_{\phi}(x,y)\ge\tau\}, \end{equation} \]

其中 \(\tau\) 是接受阈值。提高 \(\tau\) 通常减少数据量、提高 precision，却可能丢失稀有但正确的知识。critic 由约一万条 moderate-size human labels 训练，它不是 truth oracle，而是显式、可测量的 quality gate。

Symbolic Knowledge Distillation 的数据与训练流程

def symbolic_distill(queries, teacher, critic, threshold):
    accepted = []
    for query in queries:
        for candidate in teacher.sample(query, many=True):
            if critic.score(query, candidate) >= threshold:
                accepted.append(to_typed_triple(query, candidate))
    knowledge_graph = deduplicate_and_validate(accepted)
    student = train_commonsense_model(knowledge_graph)
    return knowledge_graph, student

结果：Student 为什么可能超过 Teacher

结果 slide 的左侧比较 human-authored、GPT-3 loose teacher 与 critical teacher；右侧比较对应 students。读图时先观察绿色 good knowledge 占比，再看 student bar。critical teacher 虽然数据较少，却让 student 获得更高 human-judged accuracy，说明 filtering 改变了训练分布，而不是简单压缩 teacher 行为。

\lecturefigure{slide-22-critic-student-results.jpg}{Critical teacher 产生更高质量知识和更强 student}{官方录像恢复幻灯片 V022；West et al., 2022}

下一页在 accuracy、scale、value 与 diversity 四个轴上比较 human-authored ATOMIC 2020 与 machine-authored ATOMIC10x。绿色柱整体更高，支持自动蒸馏在指定关系类型上的规模与质量增益。底部限定非常重要：实验聚焦七类 causal commonsense relation，不能外推成“机器生成知识在所有领域都优于人类”。

\lecturefigure{slide-23-atomic10x-human-vs-machine.jpg}{ATOMIC10x 与人工 ATOMIC 的 accuracy、scale、value、diversity 对比}{官方录像恢复幻灯片 V023；West et al., 2022}

Critic 会把偏差变成 Corpus Policy

critic 的训练标签、阈值和负例定义决定哪些知识被保留。若 critic 偏好常见表达、主流文化或短句，filtered corpus 会系统性丢失少数观点。可审计的 symbolic layer 让问题更容易发现，但不会自动消失。

本章小结

Symbolic KD 的核心不是“大模型教小模型”这句泛化口号，而是 teacher generation、critic filtering、symbolic corpus 与 student deployment 的四段式资源设计。student 超过 teacher 的原因在于任务专门化与数据选择，而不是参数量本身创造了额外知识。

Delphi：机器究竟在预测什么伦理对象

第三项研究把 commonsense 扩展到 morally salient situations。这里风险显著上升：把多数人的描述性判断误写成“正确道德”会把 dataset bias 包装成权威。因此必须先定义 prediction target，再谈 accuracy。

Machine Ethics 不是未来问题

Delphi paper title slide 把系统定义为 experiment。紧接着的 slide 说神经语言模型大规模部署要求 machine ethics，并引用“机器人第一定律只是稻草人”式警告：真实系统不会遇到一个统一、可枚举的道德规则表，而是在内容过滤、排序、建议与交互中不断做隐含选择。

\lecturefigure{slide-24-delphi-paper.jpg}{Can Machines Learn Morality? The Delphi Experiment}{官方录像恢复幻灯片 V024；Jiang et al., 2021}

\lecturefigure{slide-25-machine-ethics-deployment.jpg}{广泛部署的 neural systems 使 machine ethics 成为现实约束}{官方录像恢复幻灯片 V025；Stanford CS25 Lecture 16}

\teachervoice{讲者不是因为 Delphi 完美才研究 machine ethics。她的论证恰好相反：当前系统已经在做带伦理后果的决定，如果研究者以“道德太难”为由退出，默认规则和既有偏差仍会继续运行。}

Ask Delphi 的三种 Query Interface

公开 demo slide 显示 free-form 输入、系统回答与显著 disclaimer。界面提醒“research prototype, still work in progress”，这是系统定义的一部分，不是法律页脚。它告诉使用者输出来自模型预测，不能作为真实行动、惩罚或裁决的唯一依据。

\lecturefigure{slide-26-ask-delphi-demo-disclaimer.jpg}{Ask Delphi demo 与研究原型免责声明}{官方录像恢复幻灯片 V026；Stanford CS25 Lecture 16}

下一页并排 free-form QA、relative QA 与 yes/no QA。free-form 评价单个情境，relative 比较两个行为，yes/no 回答特定判断。任务形式改变 label space，也改变攻击面：relative mode 很容易被构造为荒谬两害比较，课堂说明该功能在公开后数小时内就被下线。

\lecturefigure{slide-27-delphi-freeform-relative-yesno.jpg}{Delphi 的 free-form、relative 与 yes/no 判断接口}{官方录像恢复幻灯片 V027；Jiang et al., 2021}

Descriptive Prediction，不是 Normative Proof

Delphi 学习的是“在训练数据覆盖的人群与情境中，人们通常如何评价”，可写成 \(p(y\mid s,q)\)。这不是从伦理公理推出 \(y\)，也不保证 minority view、公正原则或新文化情境被正确表达。

Compositional Situations 为什么更难

组合 slide 从“在草坪上割草”逐步加入时间、地点、关系与例外条件。单个动作常有默认评价，但 context modifier 会翻转 judgment。读图时应比较同一 action 在不同 clause 下的变化；系统若只记住关键词，会忽略“半夜”“朋友工作时间”“紧急情况”等决定性条件。

\lecturefigure{slide-28-delphi-compositional-situations.jpg}{Delphi 对组合情境与上下文修饰的鲁棒性测试}{官方录像恢复幻灯片 V028；Jiang et al., 2021}

接着的 pair 展示 conventional scientific knowledge 与 common life know-how。模型知道“漂白剂与氨混合很危险”，却可能错误判断 lactose intolerance 的生活建议。这个对比说明百科事实、医学事实和 everyday norm 来自不同数据分布；一个总分会掩盖能力类型之间的差异。

\lecturefigure{slide-29-conventional-vs-common-life-knowledge.jpg}{Conventional scientific knowledge 与 common life know-how 的差别}{官方录像恢复幻灯片 V029；Stanford CS25 Lecture 16}

Evaluation：先看 Task Family 再看总分

结果图按 free-form、yes/no 与 relative QA 比较 GPT-3 zero-shot、few-shot、30-shot 与 Delphi。Delphi 在课堂展示的任务上更高，但这些结果依赖专门训练数据与 label definition。读图时不能把 supervised specialist 与 generic few-shot model 当成 architecture-only comparison；更合理的结论是 targeted moral data 明显改变了 judgment behavior。

\lecturefigure{slide-30-delphi-results-vs-gpt3.jpg}{Delphi 与 GPT-3 prompting baselines 的任务结果}{官方录像恢复幻灯片 V030；Jiang et al., 2021}

若 situation 为 \(s\)、query format 为 \(q\)、judgment label 为 \(y\)，训练目标可写为

\[ \begin{equation} \mathcal{L}_{\mathrm{Delphi}}(\theta) =-\mathbb{E}_{(s,q,y)\sim\mathcal{D}_{\mathrm{norm}}} \log p_{\theta}(y\mid s,q). \end{equation} \]

\(\mathcal{D}_{\mathrm{norm}}\) 是规范判断数据集合；这个公式直接说明模型学到什么取决于谁被采样、如何提问和怎样合并标签。

本章小结

Delphi 的 task definition 是描述性伦理判断。它在专门数据上比 generic prompting 更稳定，但 evaluation 不能把 accuracy 升格为 moral correctness。下一章必须打开数据与 backbone，理解这些 judgment 来自哪里。

COMMONSENSE NORM BANK 与 Delphi Architecture

一个伦理判断模型的最重要“参数”可能不是 hidden size，而是 dataset composition。本章把论文、crowd judgments、rules of thumb 与 UNICORN backbone 拆开，说明 Delphi 的能力和偏差如何沿数据供应链进入系统。

Norm Bank 是多个数据制度的汇流

source slide 列出 Social Chemistry、ETHICS、Moral Stories、Scruples 等数据集，并汇入 COMMONSENSE NORM BANK。右侧写出约 1.7M people's ethical judgments on everyday situations。这个数字表示 annotation volume，不表示 1.7M 个独立文化或均衡群体；不同数据集的收集目的和 label schema 也并不相同。

\lecturefigure{slide-31-commonsense-norm-bank-sources.jpg}{COMMONSENSE NORM BANK 的多数据集来源与 1.7M 判断}{官方录像恢复幻灯片 V031；Jiang et al., 2021}

Dataset Aggregation 不是价值中和

合并数据能扩大 coverage，却不会自动消除 sampling bias。若多个来源都偏向英语、美国网络用户或某种政治语境，数量相加只会更精确地估计该分布。高质量审计应报告来源、时间、人口属性、冲突 label 与 abstention policy。

会背原则，不等于会应用原则

GPT-3 morality slide 对比 declarative 与 imperative。模型可以说“把邻居扔进搅拌机是坏事”，却在改写成命令或复杂语境后给出不稳定响应。蓝色 callout 强调 teaching AI with principles 很重要，同时也有 dual-use 与 robustness 问题。读图时应把 failure 定位到 principle application，而不是简单说模型“不知道这条原则”。

\lecturefigure{slide-32-gpt3-morality-declarative-imperative.jpg}{GPT-3 能复述道德原则，却可能无法稳定应用}{官方录像恢复幻灯片 V032；Stanford CS25 Lecture 16}

Rules of Thumb 如何连接 Situation 与 Judgment

规则页先给 situation，再让 annotator 写 rule of thumb，并标注 legality、social norm、moral foundation 等 attributes。完整 slide 写出约 300,000 rules of thumb、104k real-life situations 与 12 structured attributes。结构化属性帮助模型区分“违法”“不礼貌”“伤害”等不同理由，却也把 annotation ontology 变成能力边界。

\lecturefigure{slide-33-rules-of-thumb-300k.jpg}{Rules of Thumb：把现实情境、判断理由与结构属性连接起来}{官方录像恢复幻灯片 V033；Stanford CS25 Lecture 16}

UNICORN Backbone 与多能力组合

架构 slide 将 norm bank 与 UNICORN commonsense model 相加，得到 Delphi。这里的加号不是数学相加，而是 pretraining / fine-tuning pipeline：UNICORN 提供统一 commonsense QA 表示，norm bank 提供 morally salient supervision。系统需要同时处理 language understanding、commonsense inference 和 norm classification。

\lecturefigure{slide-34-delphi-unicorn-architecture.jpg}{COMMONSENSE NORM BANK + UNICORN 形成 Delphi}{官方录像恢复幻灯片 V034；Jiang et al., 2021}

下一页直接回答“Why Delphi is built on top of Unicorn?”：moral reasoning 需要 language、commonsense 与 norms 同时工作。右侧例子把点汉堡、医学建议等情境放在一起，说明伦理判断不是独立 label head，而是依赖世界事实和行为后果。

\lecturefigure{slide-35-why-unicorn.jpg}{为什么 moral reasoning 需要 language、commonsense 与 norms}{官方录像恢复幻灯片 V035；Stanford CS25 Lecture 16}

Backbone 不能修复 Label Semantics

更强 encoder 可以提高分布内 generalization，却不会决定“多数票是否公正”“冲突文化如何表达”或“模型何时应拒答”。这些属于 data governance、task design 与 deployment policy，而不是 representation capacity 自动解决的问题。

本章小结

Delphi 的行为来自三层：多来源 norm data、结构化 rules of thumb 与 commonsense backbone。理解这条链后，系统的高分和偏差都不再神秘。下一章转向公开发布后的 adversarial pressure，检验 dataset 内表现能否承受真实用户。

Adversarial Pressure、Bias 与 Non-Authority

真实用户不会像 benchmark annotator 那样配合任务定义。公开 demo 一上线，用户会寻找边界、制造两害比较、替换身份词并故意组合罕见情境。本章把这些攻击视为 evidence，而不是 PR 插曲。

Exposed Socket：正确例子也要解释为什么

新闻页描述 Alexa 让儿童触碰插座硬币挑战，右侧 Delphi 判断“让孩子碰裸露插座是危险的”。这个例子展示系统可以连接自然语言与物理后果，但它只是一个成功案例。真正的 evaluation 需要改写动作主体、时间、否定和 hypothetical context，并检查模型是否仍保持 danger concept。

\lecturefigure{slide-36-alexa-socket-delphi.jpg}{Alexa 暴露插座事件与 Delphi 的危险判断}{官方录像恢复幻灯片 V036；Stanford CS25 Lecture 16}

上线几小时后，任务定义被用户重写

backlash slide 记录 10 月 15 日公开后的变化：relative comparison mode 在数小时内被移除，一个周末收到约 25,000 个 adversarial examples，随后野生查询达到数百万。读图时应把这些数字理解为 attack-surface evidence；它们不等于均匀测试集，却揭示了 benchmark 很难预先枚举的组合空间。

\lecturefigure{slide-37-delphi-backlash-scale.jpg}{Delphi 上线后的快速下线、25k adversarial examples 与野生流量}{官方录像恢复幻灯片 V037；Stanford CS25 Lecture 16}

下一页展示研究者和公众故意构造反常句子来“折磨”模型。此类例子常缺少现实语境，却非常擅长暴露 lexical shortcut。评价时不应在“题目荒谬所以失败不算”和“一个失败所以系统完全无用”之间二选一，而应建立 failure taxonomy：negation、role reversal、rare composition、identity substitution 与 nonsensical premise。

\lecturefigure{slide-38-adversarial-twitter-example.jpg}{社交媒体上的 contrived adversarial prompt}{官方录像恢复幻灯片 V038；Stanford CS25 Lecture 16}

Public Critique 不是可以忽略的噪声

《纽约时报》“Can a Machine Learn Morality?”与龙形插画把争议推向公共领域。下一页列出 concerned voices，并回到论文题目。两页共同说明 machine ethics 的评价者不只包括 ML reviewer，还包括伦理学者、记者、被模型影响的群体和普通用户；系统文档必须让这些人看见训练目标与限制。

\lecturefigure{slide-39-can-machine-learn-morality-nyt.jpg}{媒体追问：机器能否学习道德}{官方录像恢复幻灯片 V039；Stanford CS25 Lecture 16}

\lecturefigure{slide-40-concerned-voices.jpg}{对 Delphi 的公共担忧与研究反思}{官方录像恢复幻灯片 V040；Stanford CS25 Lecture 16}

Delphi 不是 Moral Authority

non-authority slide 明确写出：研究团队不支持用 AI 给出 moral advice，Delphi 不会替代法庭中的 human judges；下方引用说明项目目标是理解 imperfect humans 如何作伦理判断，而不是让机器成为终极道德权威。这个边界应进入任何下游使用许可和 UI，而不是只留在论文 discussion。

\lecturefigure{slide-41-no-ai-moral-authority.jpg}{明确边界：Delphi 不提供 moral advice，也不替代人类法官}{官方录像恢复幻灯片 V041；Stanford CS25 Lecture 16}

Capability Claim 与 Authority Claim 必须分开

模型能预测一部分人类判断，是 capability claim；模型应据此决定惩罚、医疗、招聘或司法结果，是 authority claim。前者即使成立，也不能自动推出后者。权限需要制度、责任、申诉和审计设计。

“不做研究”也有 Normative Consequence

下一页先承认 moral models 太困难、准确率有限，随后指出当前 AI 系统已经在做隐含伦理决定。最后的 callout 主张投资研究并形成 human-centered、unbiased、robust 的社会规范。读图时应看两侧风险：部署 imperfect moral model 会伤害人，完全不研究也可能把未经审计的默认规则留在系统中。

\lecturefigure{slide-42-ethics-investment-needed.jpg}{困难不等于可以忽略：现有系统已在做带伦理后果的决定}{官方录像恢复幻灯片 V042；Stanford CS25 Lecture 16}

“Delphi will empower powerful people and harm marginalized people”是反方担忧；后续 build 指出现有系统已经可能 reinforce unjust status quo。关键不是哪一条气泡胜出，而是部署评估必须比较 intervention 与 baseline：新系统造成的增量伤害是什么，现有流程又在伤害谁？

\lecturefigure{slide-43-reinforce-status-quo.jpg}{Intervention risk 与 status-quo risk 的双向比较}{官方录像恢复幻灯片 V043；Stanford CS25 Lecture 16}

Bias Acknowledgement 要具体到 Data 与 Use

bias slide 明确写出 norm bank 反映 2020--2021 annotation data 的 ideologies，judgments 由美国 crowdworkers 提供并偏向 Western-centric viewpoints，定制 Delphi 到其他文化或 moral frameworks 是开放方向。左侧新闻标题“Delphi leans left”提醒政治倾向也会被测量与传播。

\lecturefigure{slide-44-delphi-bias-acknowledgement.jpg}{Delphi 的数据、政治与文化偏差声明}{官方录像恢复幻灯片 V044；Stanford CS25 Lecture 16}

\teachervoice{讲者没有把 bias acknowledgement 当成免罪声明。她说 Delphi 的确 left-leaning、Western-centric，随后把问题转向更广泛参与和数据共享。承认偏差是审计起点，不是部署许可。}

本章小结

公开 demo 把 Delphi 从静态 benchmark 推入 adversarial、政治与制度环境。最重要的课堂边界是 non-authority：预测描述性判断不授予决策权。可靠评估必须同时记录模型失败、用户攻击、数据群体与 status-quo baseline。

从 Blocklist 到 Neurosymbolic Hybrid

最后一组 slides 不只是列 follow-up papers，而是在回答“一个 imperfect judgment model 能否作为系统组件”。应用价值取决于把 Delphi 放在哪里、它能否被 override、怎样表达 identity 与 cultural variation，以及 top-down principle 如何约束 bottom-up predictions。

Keyword Blocklist 为什么不够

Alexa Prize slide 先庆祝冠军，随后回顾 2017 年的安全做法：用一组 sensitive keywords 阻止系统讨论性、同性恋、种族等话题。blocklist 易实现，却把复杂 context 简化为词表；它会同时漏掉不含关键词的伤害表达，也会误伤正常、求助或教育性讨论。

\lecturefigure{slide-45-alexa-prize-sensitive-keywords.jpg}{Alexa Prize 的 sensitive-keyword blocklist 与其局限}{官方录像恢复幻灯片 V045；Stanford CS25 Lecture 16}

\teachervoice{讲者把 blocklist 称为当年的 status quo，并问 2021 年是否还只能这样做。她没有主张 Delphi 可以直接替代 safety policy，而是主张系统至少需要理解“相同词汇在不同情境中为何不同”。}

Identity-Specific Judgment：Context 增加，风险也增加

identity slide 比较同一关系或行为在不同 gender / sexuality 描述下的判断。引入 identity 可以纠正“一刀切”模型，也可能放大 stereotype。读图时应检查 model 是否真正使用 relevant context，还是把 identity token 当作 shortcut；评价需要 counterfactual pairs 与 group-level error analysis。

\lecturefigure{slide-46-identity-specific-moral-judgments.jpg}{Delphi 是否能做 identity-specific moral judgment}{官方录像恢复幻灯片 V046；Stanford CS25 Lecture 16}

Controllable Generation 与 Social Norm Alignment

follow-up slide 左侧展示 controllable text generation：给定 persona、norm 或 constraint，引导系统生成更合适的故事或对话；右侧文字明确指出现有 dialogue systems 对冒犯内容可能盲目同意，目标是让 agent 学习 human moral preference。功能越强，越需要报告 preference 来自谁。

\lecturefigure{slide-47-controllable-generation-bias.jpg}{用 Delphi 作为 controllable generation 的 commonsense / norm component}{官方录像恢复幻灯片 V047；Stanford CS25 Lecture 16}

下一页展示 social norms 与 values 在 interactive narratives 中的对齐，并引用游戏 agent 研究。图中的流程把 narrative state、value model 与 action choice连接起来。它支持“judgment model 可作为 reward / filter”这一系统角色，却不能保证 long-horizon agent 不会通过 proxy optimization 绕过约束。

\lecturefigure{slide-48-align-social-norms-interactive-narratives.jpg}{在互动叙事中对齐 social norms 与 values}{官方录像恢复幻灯片 V048；Stanford CS25 Lecture 16}

研究议程：Ethically、Socially、Culturally Aware

路线图把 ethically-informed、socially-aware、culturally-inclusive 三个要求放在同一条道路上，并把 interpretability 与 diverse viewpoints 的 dynamic customization 作为 next priority。三个词不是同义反复：伦理关注 harm 与 principle，社会关注关系与制度，文化关注分布差异和谁被代表。

\lecturefigure{slide-49-ethical-social-cultural-ai.jpg}{Machine ethics 的下一阶段：可解释、动态、文化多元}{官方录像恢复幻灯片 V049；Stanford CS25 Lecture 16}

Delphi Hybrid：为什么要回到 Neurosymbolic

hybrid title slide 宣布“Demonstrative Neuro-symbolic Hybrid Moral Reasoning System”。回到整堂课的结构，neural component 提供 language 与 commonsense generation，symbolic / principle component 提供 top-down constraints。它不是把规则盖在模型输出上，而是尝试让案例直觉和原则互相校验。

\lecturefigure{slide-50-hybrid-moral-reasoning.jpg}{Delphi Hybrid：示范性的 neuro-symbolic moral reasoning system}{官方录像恢复幻灯片 V050；Stanford CS25 Lecture 16}

原始 Delphi failures slide 写出两类缺陷：lack of commonsense knowledge 与 lack of interpretability。一个例子中模型对“genocide if it creates jobs”给出错误判断，表明 surface association 会压过原则；缺乏 explanation 又使错误难以定位。hybrid 的目标是同时增加 knowledge path 与 constraint path。

\lecturefigure{slide-51-original-delphi-failures.jpg}{原始 Delphi 的常识缺口与不可解释性}{官方录像恢复幻灯片 V051；Stanford CS25 Lecture 16}

Bottom-Up 与 Top-Down 的理论框架

理论 slide 引用 John Rawls 的 reflective equilibrium：bottom-up human judgments 提供案例直觉，top-down constraints 提供原则，两端需要反复修正。Delphi 原系统主要位于 bottom-up 一侧；hybrid 要问的是如何把 moral principle 编码成可参与 inference 的 symbolic constraints。

\lecturefigure{slide-52-theoretical-framework.jpg}{Reflective equilibrium：bottom-up intuition 与 top-down constraints}{官方录像恢复幻灯片 V052；Stanford CS25 Lecture 16}

下一页用 Bernard Gert 的 common morality 与十条 moral rules 作为 top-down 候选，例如不要杀人、不要欺骗、遵守承诺等。规则表看似清晰，却仍需要 context、exception 与 conflict resolution。图的教学价值在于提供可显式审计的 principle vocabulary，而不是宣称十条规则能机械解决所有伦理问题。

\lecturefigure{slide-53-top-down-common-morality.jpg}{Top-down moral principles：common morality 与十条规则}{官方录像恢复幻灯片 V053；Stanford CS25 Lecture 16}

Hybrid Architecture 与约束求解

详细架构 slide 把 situation 输入、rule retrieval、commonsense generation、Maieutic graph 与 final judgment 串起来。读图时应沿数据流从左到右：先生成 candidate reasons，再检索或激活原则，随后用图结构检查 contradiction，最终输出 judgment 与 rationale。任一模块错误都会传播，因此系统需要 module-level evaluation。

\lecturefigure{slide-54-hybrid-architecture-detail.jpg}{Delphi Hybrid 的 retrieval、generation、graph 与 judgment pipeline}{官方录像恢复幻灯片 V054；Stanford CS25 Lecture 16}

可以用一个简化目标表示 hybrid inference：

\[ \begin{equation} z^*=\arg\max_z \left[ \sum_i \alpha_i s_i^{\mathrm{neural}}(z) +\sum_j \beta_j\mathbf{1}[C_j(z)] \right], \end{equation} \]

其中 \(s_i^{\mathrm{neural}}\) 是 commonsense / norm model 的证据分数，\(C_j\) 是 top-down moral constraints，\(\alpha_i\) 与 \(\beta_j\) 控制两类证据权重。公式只是教学抽象；真实系统还要处理规则冲突、检索失败和 uncertain abstention。

Neuro-symbolic moral reasoning 的模块化循环

def hybrid_judgment(situation):
    candidate_reasons = commonsense_model.generate(situation)
    principles = retrieve_moral_rules(situation, candidate_reasons)
    graph = build_argument_graph(situation, candidate_reasons, principles)
    judgment, rationale = constrained_inference(graph)
    if low_confidence(judgment) or unresolved_conflict(graph):
        return abstain_with_audit_trace(graph)
    return judgment, rationale

Hybrid 的结果与限制

“Where does the original Delphi fail?”页把 Maieutic graph 与 architecture 缺口标回原系统，说明改进点对应已知 failure，而不是随意增加模块。它要求 evaluator 分别测 commonsense retrieval、principle coverage、graph consistency 与 final judgment，避免一个总分掩盖 pipeline bottleneck。

\lecturefigure{slide-55-where-delphi-fails.jpg}{把 hybrid 模块映射回原始 Delphi failure modes}{官方录像恢复幻灯片 V055；Stanford CS25 Lecture 16}

最后的 adversarial result bars 比较 Delphi 与 Delphi-hybrid 在 overall、certain、ambiguous queries 上的表现。hybrid 在课堂展示中更高，旁边注明将 keywords 与 interpretable hybrid moral reasoning 配对。读图时要注意 test set 仍有限，提升不能证明 top-down rules 已覆盖开放世界，也不能忽略额外 inference latency。

\lecturefigure{slide-56-adversarial-results-hybrid.jpg}{Delphi-hybrid 在 adversarial open-ended moral queries 上的结果}{官方录像恢复幻灯片 V056；Stanford CS25 Lecture 16}

Hybrid 不是“神经 + 符号 = 自动安全”

模块化提高可检查性，也增加错误接口。retriever 可能选错规则，generator 可能编造理由，solver 可能在错误 clauses 上得到一致答案。安全收益来自可观测、可分解、可拒答和可人工复核，而不是 architecture 标签本身。

本章小结

从 keyword blocklist 到 hybrid，系统逐步增加 context、identity、norm 与 principle。更强的伦理组件必须同时增加审计能力：记录数据来源、显示 rationale provenance、允许 abstention、支持 override，并把 authority 留在制度与人类责任链中。

Q&A：成本、目标函数与价值多元

准备好的 slides 在 52:40 左右结束，后续问答反复回到早先图表，却加入了课堂最重要的限制条件。本章只保留新增 spoken evidence，不重复插图。

Descriptive Morality 与 Prescription 再次分开

学生追问 Delphi 是否把现有判断当成应该遵守的道德。讲者回答，研究目标首先是建模 descriptive judgments，并承认其中包含 bias；normative endorsement 需要额外原则和社会程序。她还把 ChatGPT 描述为更强的 generation model，而不是已经完成的 knowledge model。

\teachervoice{Q&A 中的关键澄清是：能预测“人们会怎么说”不等于知道“应该怎么做”。即使 prediction accuracy 很高，系统仍需展示数据群体、分歧分布与拒答条件。}

Culture、Dataset 与 Distribution of Opinions

道德数据来自不同年代、国家、平台和 annotation instruction。讲者指出 Delphi 有 Western bias，也提到不同 moral datasets 的规模与覆盖不等。更合理的目标不是在所有争议问题上输出单一答案，而是区分 unacceptable harm 与 legitimate disagreement，并表示 opinion distribution。

Pluralism 的机器学习表示

单标签 classification 会把分歧压成多数票。更完整的输出可以包含 label distribution、群体条件、confidence、rationale clusters 与 contested flag。这样仍不能解决规范冲突，但至少不会把 disagreement 隐藏成确定性。

Complexity：Maieutic 与 Hybrid 都很慢

递归 explanation expansion 会多次调用 LM，weighted MaxSAT 需要在图上求解，hybrid 还加入 retrieval 和 principle checking。讲者直接承认 Maieutic prompting 与 Delphi hybrid 都慢。系统验收因此必须报告 token calls、tree width/depth、solver time 与 end-to-end latency，而不能只报 accuracy。

COMET 与 GPT-3 的比较不是 Architecture Ablation

问答再次确认 COMET 使用专门 ATOMIC 监督，GPT-3 使用 few-shot prompt，critical teacher 又经过 critic filtering。结果可以支持“任务专门化与数据质量有价值”，却不能单独估计 parameter count、pretraining corpus 或 architecture 的因果贡献。

为什么人类也需要 Critic

讲者用学习过程解释 critic：人类并不是第一次想到什么就永远相信什么，而会通过反馈、反思和社会纠正形成 internal critic。这个类比提供设计直觉，但机器 critic 的训练分布仍需显式审计，不能因为“像人”就获得可信度。

Refusal 不能取代 Context Understanding

有学生问系统是否应完全回避 moral / ethical questions。讲者认为直接 moral advice 可以限制，但系统仍必须识别骚扰、危险、仇恨或求助语境；否则只靠拒答会让安全组件看不见真正的 harmful context。工程上需要 answer policy 与 understanding model 分离。

Abstention 也是一项需要训练和评估的能力

好的拒答不是遇到关键词就停止，而是能说明不确定性、识别高风险、提供安全替代、记录触发原因，并把需要权威判断的问题升级给人类。abstention 应报告 false refusal 与 unsafe answer 两类错误。

Next-Token、Preference 与 Knowledge 是不同目标

问答末尾回到本讲最深的主张：next-token prediction 学语言延续，RLHF / preference tuning 学人类偏好，knowledge model 学世界关系与可查询推断。三者会共享表示并互相促进，却不是同一个 objective。commonsense 可能从 LM 中 emerge，但 emerge 不等于稳定、可校准或可审计。

\teachervoice{讲者说 adversarial commonsense 的空间几乎无限，人类面对第一次听见的荒谬组合也能依靠 conceptual understanding 判断，而 Transformer 更偏向预测接下来哪个词。这是她坚持“language model 不等于 knowledge model”的最终理由。}

Humanities 不是 External Reviewer，而是共同设计者

最后的 value pluralism 问题把责任扩展到 humanities at large。哪些差异属于可接受分歧、哪些伤害应被拒绝，不能只由 AI researchers 决定。讲者用法律作为类比：规则是社会协商形成的人类 artifact，模型可以辅助表示和检查，但合法性来自制度参与。

本章小结

Q&A 把 prepared talk 的技术方案重新放回资源、目标和治理。Maieutic / hybrid 有明显计算成本；specialist 与 generalist comparison 有混杂因素；拒答不等于理解；价值多元需要分布式表示与跨学科制度参与。

总结与延伸

一张表回收三套系统

下面的表按候选来源、外部约束、中间 artifact 与主要 failure mode 对齐三项研究。这样比记住论文名更有用，因为后续任何“让大模型更可靠”的系统都可以用同一组问题审计。

系统	候选来源	外部约束	可审计 artifact	主要失败模式
Maieutic	LM 正反 explanations	逻辑 clauses、Weighted MaxSAT	explanation graph、assignment	候选知识错误、搜索成本、解释不 faithful
Symbolic KD	GPT-3 knowledge generations	RoBERTa critic、threshold、relation schema	filtered graph、student corpus	critic bias、稀有知识丢失、teacher cost
Delphi	norm data 与 commonsense backbone	task label、data policy、免责声明	judgment、dataset provenance	文化偏差、adversarial prompt、authority misuse
Delphi Hybrid	reasons、retrieved rules、norm scores	top-down principles、graph consistency	argument graph、audit trace	rule conflict、retrieval error、latency

最终结论

第一，语言流畅性、知识质量、逻辑一致性与伦理判断必须分开验收。第二，结构化中间层的价值不仅是提高 accuracy，还包括让数据、理由、约束和失败可见。第三，“smaller and better”通常来自任务专门化、筛选与接口设计，不是参数减少本身。第四，machine ethics 的最高风险不是单个错误答案，而是把 prediction 偷换成 authority。第五，价值多元与制度责任不能被一个 aggregate label 取代。

最值得带走的一句话

大语言模型可以是候选知识与候选理由的强大生成器，但可靠系统必须另外回答：谁来筛选、依据什么约束、保存什么证据、怎样拒答，以及谁拥有最终决策权。

拓展阅读

建议按课堂依赖顺序阅读。先读 Maieutic Prompting，理解 explanation graph 与 consistency；再读 Symbolic Knowledge Distillation，理解 critic 如何把大模型输出变成 corpus；最后读 Delphi，重点阅读 data、limitations、social justice 与 counterarguments，而不是只看主结果表。

• Jung et al., Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations。
• West et al., Symbolic Knowledge Distillation: from General Language Models to Commonsense Models。
• Jiang et al., Can Machines Learn Morality? The Delphi Experiment。
• Bosselut et al., COMET: Commonsense Transformers for Automatic Knowledge Graph Construction。
• Hwang et al., COMET-ATOMIC 2020。

课后自检

十二个检查问题

1. 为什么一个 Winograd 题答对不能证明 commonsense 已解决？
2. Maieutic tree 为什么同时展开命题与否定命题？
3. Weighted MaxSAT 改善 consistency，却为什么不能保证 truth？
4. dataset solving、task solving 与 capability 有何差别？
5. ATOMIC 的 relation types 如何改变数据收集和评估？
6. COMET 与 GPT-3 的比较为什么不是 apple-to-apple？
7. Symbolic KD 中 teacher、critic、corpus、student 各自承担什么资源成本？
8. critical teacher 为什么可能让 student 超过 loose teacher？
9. Delphi 的 descriptive judgment 与 normative ethics 有何区别？
10. COMMONSENSE NORM BANK 的规模为什么不能证明文化中立？
11. neuro-symbolic hybrid 增加了哪些可审计接口，也增加了哪些失败点？
12. 为什么 value pluralism 需要 humanities 和制度参与，而不只是更大模型？