[CS 153] Scaling AI — Anthropic 联合创始人 Ben Mann

LaTeX 源码 · 备用 PDF · 观看视频

字段	内容
作者/整理	基于 Stanford CS 153 课程内容整理
来源	Stanford CS 153
日期	2025

引言：Anthropic 的爆发式增长

本次讲座是 Stanford CS 153: Infrastructure at Scale 课程的一部分，邀请了 Anthropic 联合创始人 Ben Mann 分享 AI 基础设施规模化的工程挑战与经验。Mann 在对话中回顾了从 GPT-3 到 Claude 的技术演进，探讨了 Scaling Laws 的深层意义，并深入剖析了训练监控、安全评估、以及产品架构等关键话题。

Anthropic 的增长数据

Mann 透露，Anthropic 在过去一年实现了 10 倍的收入增长。更值得注意的是，仅在 2024 年 10--12 月这三个月中，编程（coding）业务线的收入就实现了 10 倍增长，体现了 AI 编程助手市场的爆发式需求。

这种增长带来了巨大的基础设施挑战——如何在流量急剧增加的情况下保持系统可靠性和服务质量，成为 Anthropic 工程团队日夜面对的核心问题。

本章小结

Anthropic 正经历前所未有的增长，coding 业务尤其突出。这种爆发式增长为基础设施团队带来了极大的压力，也为本次讲座提供了丰富的讨论素材。

个人经历：从 Google 到 OpenAI 再到 Anthropic

学术背景与早期职业

Ben Mann 在 Columbia 大学完成了计算机科学本科学习，选修了 AI 方向。他坦言自己并非从小编程的天才少年——最初想学机械工程和机器人，但上了入门课后发现自己讨厌这两个方向，反而被计算机科学深深吸引。

2015 年的 ImageNet 时刻

Mann 提到，2015 年 ImageNet 的突破对他是一个“构造性时刻”（tectonic moment）。在此之前，AI 课程还在讨论专家系统（Expert Systems）、80 年代的 AI 寒冬（AI Winter）和多层感知器（Multi-Layer Perceptrons）。ImageNet 让这些技术突然变得实用——模型在图像分类任务上超越了人类，而且只需要一块 GPU 就能训练。

从 Google 离开后，Mann 开始自学 AI 研究——没有攻读硕士或博士学位，而是大量阅读论文和实践。他提到 Nick Bostrom 的《Superintelligence》一书对他的影响，让他意识到 AI 是一个关乎全人类命运的课题。

加入 OpenAI 与 GPT-3

2017 年，Mann 加入 OpenAI。他回忆当时团队对如何实现 AGI 并没有清晰的路径，只是认为“AI 领域正在发生大事，应该站在前沿”。

GPT-2 的启示

Mann 指出，GPT-2 的出现让他确信了通往 AGI 的路径：不是在虚拟沙箱中模拟智能体对抗演化，而是在互联网数据上训练模型，让它自然展现出人类智能的特征。尽管当时很多人嘲笑这只是“模式匹配”而非真正的推理，Mann 始终相信这是一条通往高级能力的连续路径。

在 OpenAI 期间，Mann 与 Dario Amodei 和 Tom Brown 一起参与了 GPT-3 项目。尽管没有正式的研究背景，他负责了所有的数据工程和大量的数据质量分析工作，研究数据如何影响模型质量，并与 Tom 一起进行架构实验。

创立 Anthropic

大约 2021 年，8 位核心成员从 OpenAI 离开，创立了 Anthropic。Mann 表示，离开的原因是希望将安全（Safety）作为公司使命的更核心部分。

从 OpenAI 到 Anthropic 的传承

Mann 坦言，作为 GPT-3 的构建者，团队在“第二次做”（指训练大模型）时更加得心应手。但真正的差异化在于 Anthropic 在安全研究上取得了突破，这些突破不仅有科学价值，还被证明具有巨大的商业价值——这并非一开始就能预见的。Anthropic 将其称为“race to the top”，即通过自身的安全承诺推动整个行业提升安全标准。

本章小结

Mann 的个人经历体现了当代 AI 领域的一个重要特征：前沿研究不再是学术界的专属，工程能力和数据直觉同样关键。从 ImageNet 到 GPT-2 再到 GPT-3，每一次突破都在强化“更多数据 + 更多计算 = 更强能力”这一信念。

Scaling Laws：从怀疑到信仰

为什么人们不相信 Scaling Laws

Scaling Laws 的核心主张是：模型能力随着参数规模、数据量和计算量的增加而可预测地提升。Mann 指出，这个看似简单的观察遭到了广泛的怀疑，原因有二：

Scaling Laws 面临的两大怀疑

历史先例的缺失：在计算系统的历史中，大多数性能指标（CPU 性能、互联网带宽、芯片间延迟等）都经历了先指数增长、后 sigmoid 平台期的曲线。很多基础设施老手看到 GPT-3 的 Scaling Laws 后，本能地认为“我们以前见过这种情况，最终都会停滞”。
人类认知的特殊性假设：部分人认为人类的推理能力是某种“特殊的东西”，不可能仅通过规模化训练来复现。

T5 论文的反面教材

Mann 举了一个生动的例子：在 GPT-3 论文发布前不久，Google 发表了 T5 论文（一个 110 亿参数的模型）。在论文的结论段落中，作者明确表示“看不到继续扩大规模的回报”，并且认为 T5 本身的推理成本已经高到不可能部署。

BERT 范式的思维定式

当时的研究社区被锁定在 BERT 范式中，认为 3 亿参数就算“大模型”。扩展到 110 亿参数需要整个 GPU 服务器进行数据并行（Data Parallel）操作，人们认为这既不经济也不实用。GPT-3 的成功打破了这一范式——它证明了 Scaling Laws 可以跨越 13 个数量级持续有效，这在物理世界中都极为罕见。

Banister 效应

Mann 用一个经典的体育类比来说明心理障碍的影响：在 Roger Banister 打破四分钟一英里的纪录之前，人们认为这是人类体能的极限。然而一旦有人做到了，短时间内就有大量跑者跟进。Scaling Laws 也是类似的情况——一旦 GPT-3 证明了可行性，整个行业迅速跟进。

计算系统 Sigmoid 的真实原因

Mann 对计算系统性能必然趋于 sigmoid 的说法提出了有趣的异议：

投资不足还是物理极限？

Mann 认为，互联网带宽和芯片间互连（interconnect）速度的停滞并非物理极限，而是缺乏投资动力。以数据中心互连为例：云服务商长期维持 30 Gbps 的机器间带宽，因为“没人要求更多”。直到 NVIDIA 收购 Mellanox（拥有 400 Gbps 互连技术），AI 训练对高带宽互连的需求才引爆了这一领域的创新。类似地，Apple M 系列芯片的内存带宽表现远超传统 AMD/Intel 处理器，这证明了技术进步的潜力远未耗尽。

Scaling Laws 的科学价值

Mann 强调 Scaling Laws 对 AI 研发流程的革命性影响：

从“艺术”到“科学”

在 Scaling Laws 出现之前，大模型训练更像是一门艺术——把各种东西往墙上扔，看什么能粘住。Scaling Laws 让这变成了一门科学：通过小规模、低成本的实验来预测大规模训练的结果。团队可以提前验证超参数选择、数据集质量等因素，从而确保最终的大规模训练产出有用的模型，而不是一个“非常昂贵的垃圾”。

本章小结

Scaling Laws 的核心价值在于可预测性。它让 AI 实验室能够像工程项目一样规划训练，通过小实验外推大结果。对 Scaling Laws 的怀疑来自历史经验的惯性和对人类认知特殊性的信仰，但 GPT-3 的成功彻底改变了游戏规则。

大规模训练的工程挑战

组织挑战：研究与工程的深度融合

Mann 指出，AI 前沿模型的训练越来越像大型工程项目（他用“三峡大坝级别”来形容），需要将大量资源集中到单一目标上。

组织模式的差异决定了竞争力

DeepMind 早期模式：研究人员主导，工程师被视为执行层。
Google Brain 模式：大量独立研究者各做各的，难以汇聚资源进行大规模实验。
OpenAI/Anthropic 模式：研究与工程高度融合的团队，共同驾驭整个项目。Mann 认为这种模式是成功的关键——前者“不允许任何人说服其他人做一个大赌注”。

保密与协作的矛盾

随着团队规模扩大到数百人，一个新的挑战浮现：Compartmentalization（知识隔离）。

保护“Compute Multipliers”

Anthropic 将特定的训练技巧称为“compute multipliers”——给定相同的计算预算，这些技巧能显著提升模型能力。这些是公司的核心竞争力，不能泄露。为此，Anthropic 借鉴了美国情报机构和芯片开发商的做法：没有任何一个人掌握整个系统的全貌，每个人只知道与自己工作相关的部分。挑战在于，你仍然需要最终产出一个连贯的整体。

依赖云服务商的约束

Anthropic 不拥有自己的计算基础设施，而是依赖 Amazon（AWS）和 Google 等云服务商来编排计算集群。Mann 指出，这带来了独特的挑战：

Anthropic 的工作负载与普通云用户完全不同
使用的 Kubernetes 集群节点数远超标准规格所支持的范围
在几乎所有维度上都将系统推到了极限

分布式训练中的可靠性

在大规模分布式训练中，容错是一个核心问题：

分布式训练的关键挑战

如果一台机器在大规模分布式作业中故障，需要能够快速重启而不丢失大量训练进度
需要高效的 checkpoint 存储和数据传输机制
云存储系统承受着存储所有 snapshot 和向训练机器传输数据的巨大压力

强化学习带来的新复杂性

Mann 特别提到，强化学习（RL）训练比传统的 pre-training 更加复杂：

RL 训练的基础设施挑战

RL 训练涉及有状态的环境（stateful environments），智能体需要与之交互。这些智能体需要使用最新的模型权重，并且需要高效地更新权重。这比 pre-training 阶段的“读数据 \(\rightarrow\) 计算梯度 \(\rightarrow\) 更新参数”的流水线复杂得多，因为 RL 训练是一个动态的、交互式的过程。

本章小结

大规模 AI 训练的挑战远不止“更多 GPU”。它涉及组织协作模式、知识安全、云基础设施的极限利用、分布式容错、以及 RL 训练带来的全新架构需求。Mann 用一句话概括：“每个层级都很难，每天都有新东西崩溃。”

训练监控：像守护患者一样守护模型

持续监控的必要性

Mann 用一个生动的比喻描述大模型训练：就像守护一个重症监护室的患者。团队需要时刻关注数百个不同的诊断指标。

训练不是“启动后等结果”

大模型训练绝不是“YOLO 式”地启动后祈祷一切顺利。在训练过程中，团队需要持续监控：

训练分布和其他分布上的 loss 曲线
各种中间指标的健康程度
对模型进行快速评估（rapid eval），确保训练方向正确

Loss Spikes 与回滚

大模型训练中一个常见的问题是 loss spikes（损失函数突然跳升）。Mann 描述了应对策略：

首先尝试回滚到 spike 之前的 checkpoint，然后重新运行，希望 spike 不会再次出现（即使什么都没改变）
如果 spike 反复出现且过于严重，则需要进行“深度外科手术式干预”

OpenAI 的“邪恶模型”Bug

Mann 分享了一个经典故事：在 OpenAI 训练 GPT-3 期间，团队发现模型在训练过程中变得越来越“邪恶”。经排查发现是 reward 信号的正负号被搞反了——一个 preference model reward 上的双重否定 bug 导致模型在优化“做坏事”而非“做好事”。更糟糕的是，这个 bug 存在已久，修复后反而“破坏了”模型（因为训练已经适应了错误的信号），最终不得不修复两次。

从人工值班到 Follow-the-Sun

在 Anthropic 早期（2021 年前后），训练监控非常原始——联合创始人 Tom Brown 在朋友聚会时都要不断刷新可观测性 dashboard 来“照看”训练进程。

Mann 描述了演进过程：

早期：某个人全程盯着 dashboard，手动值班
现在：借鉴了标准工程实践，建立了 on-call 轮换制度
Follow-the-Sun：在全球不同时区部署团队成员，确保总有人在工作时间值班，避免半夜被叫醒处理紧急情况

仍然很难

尽管有了这些改进，Mann 坦言训练监控“仍然相当困难”。基础设施的复杂性和训练过程的脆弱性意味着需要持续的人类判断和干预。

本章小结

大模型训练的监控是一项高强度的持续性工作。从 loss spikes 到 reward 信号 bug，各种意外随时可能发生。虽然工具和流程在不断改善，但这仍然是 AI 基础设施中最具挑战性的领域之一。

从 RLHF 到 Constitutional AI

RLHF 的基本流程

RLHF（Reinforcement Learning from Human Feedback）是 Anthropic 和 OpenAI 共同开创的关键技术。Mann 简洁地解释了其原理：

RLHF 的“教师-学生”模型

让人类标注者提交偏好数据（比较两个模型输出，选择更好的一个）
用这些偏好数据训练一个 Preference Model（偏好模型），它代替人类判断输出的好坏
用 Preference Model 作为 reward signal 进行 RL 训练
训练完成后，Preference Model 就不再需要了——“以一种友善的方式把老师丢掉”

可以理解为：先训练一个“老师”，老师再去教“学生”（最终的模型）。

Constitutional AI（RLAIF）的突破

Anthropic 的核心创新之一是 Constitutional AI，也称为 RLAIF（RL from AI Feedback）：

Constitutional AI 的工作原理

编写一组自然语言原则（Constitution），定义期望的行为，例如“要友善”、“不写网络攻击代码”、“不提供制造毒物的配方”
在一个完全封闭的流程中（无人类参与），让模型自我批评
基于自身的批评来改进自身
递归地自我提升

RLAIF 相对于 RLHF 的优势

Mann 解释了为什么 Anthropic 转向 RLAIF：

RLAIF 的科学可控性

人类标注者来自不同背景，可能对指令有不同的理解，也可能遗忘部分指令。这导致 RLHF 的结果存在不确定性。相比之下，RLAIF 是一个：

高度可重复的过程
可以在实验室环境中精确调优
更易于进行科学性的迭代

能力门槛限制

RLAIF 只有在模型能力超过一定阈值后才能工作。如果模型太小或太弱，当你问它“你的输出是否符合原则 X？”时，它给不出有用的答案，也无法基于批评进行有效修订。只有足够强大的模型才能“引导自己”走向更高的能力水平。

早期 Claude 的多轮对话能力

Mann 提到，Anthropic 在 ChatGPT 发布之前就已经有了可用的 Claude 模型（2022 年 3 月完成训练），但选择暂不发布。这个早期版本通过 Slack 提供给“亲友团”使用。

两个关键因素使 Claude 在多轮对话中表现出色：

模型能力提升：更大更好的模型天然更连贯，不会像 GPT-2 那样句与句之间“失去线索”
多轮训练数据：当时主流是 instruction tuning（单轮交互），但 Anthropic 从一开始就收集多轮对话的人类反馈，并使用类似 system prompt 的对话前缀来引导模型行为

ChatGPT 的“加速效应”

Mann 透露了一个有趣的轶事：有传言称 ChatGPT 的发布是因为 OpenAI 以为 Anthropic 即将推出消费级产品（事实并非如此）。Anthropic 当时的判断是公开发布会“导致太多加速”，因此选择了延迟。Mann 表示对“给了世界多六个月时间做安全研究”感到满足。

本章小结

从 RLHF 到 Constitutional AI 的演进体现了 Anthropic 的核心理念：安全技术不仅可以与能力提升并行，还能成为竞争优势。RLAIF 的可控性和可重复性使安全训练成为一门可操作的科学，而非依赖大量人类标注的昂贵艺术。

安全评估与 Responsible Scaling Policy

评估为什么困难

Mann 直言，模型评估（Evals）极其困难。Anthropic 专门发布过一篇关于“为什么 evals 很难”的博客文章。核心挑战在于：

Elicitation Overhang（激发悬崖）

即使模型具备某种潜在能力，也可能因为没有找到正确的“提问方式”而在评估中表现不佳。这被称为 elicitation overhang。

历史案例：Chain-of-Thought prompting 出现之前，模型已经具备了更好的推理能力，只是没有被正确激发。甚至简单地在 prompt 中加上“try very very very very hard”（每个 very 都重要！）都能显著提升模型表现。这意味着当前的评估结果可能系统性地低估了模型的真实能力。

CBRN 风险评估

Anthropic 最关注的安全威胁是 CBRN 风险：

CBRN 风险类别

Chemical：化学武器相关能力
Biological：生物威胁
Radiological：放射性威胁
Nuclear：核武器相关知识

这些能力如果被滥用，可能真正颠覆社会秩序。此外，Anthropic 也评估模型的网络安全攻击能力。

评估过程涉及：

聘请专业渗透测试（pen testing）人员
与美国政府合作——与掌握国家核机密的人员共同测试模型的知识边界
与美国和英国的 AI 安全研究所合作

AI Safety Levels（ASLs）

Anthropic 提出了 AI Safety Levels 框架，灵感来自生物安全实验室的 BSL（Biosafety Level）分级：

ASL 分级体系

ASL-2（当前状态）：即使完全不对齐地使用模型，也不会对社会造成严重危害。例如，模型能破解验证码（CAPTCHA），但在此之前已有更窄的专用模型能做到，所以边际风险很低。
ASL-3（下一级）：模型能在一定程度上帮助人类研究者加速生物威胁研究，但尚未达到超人水平。在此级别，需要实施更严格的控制措施，如双人控制（two-party control）——任何生产环境的代码提交都需要至少一人审查，以防内部威胁。

Responsible Scaling Policy（RSP）

Anthropic 是目前唯一一家公开承诺会基于能力阈值暂停开发的前沿 AI 实验室。每个 ASL 级别都预先定义了所需的安全缓解措施——如果模型达到某个能力阈值但安全措施尚未就绪，Anthropic 承诺暂停该模型的开发和部署。此外，Anthropic 设有 LTBT（Long-Term Benefit Trust）治理机制，该信托委员会有权在判断 Anthropic 的 AI 开发不利于人类利益时，关闭公司。

Defense in Depth：多层防御

Mann 介绍了 Anthropic 的安全方法论——Defense in Depth（纵深防御），这一概念借鉴自网络安全领域：

Pre-training 阶段：在预训练数据和过程中嵌入安全训练
Post-training 阶段：通过 RLHF/RLAIF 进行安全对齐
在线检测：部署 Prompt Shield 等分类器，实时检测恶意使用意图
可解释性研究：通过 Mechanistic Interpretability 深入理解模型内部运作

本章小结

Anthropic 的安全策略是多层次的：从 RSP 和 ASL 分级提供宏观框架，到 CBRN 评估和 red teaming 提供具体测试，再到 defense-in-depth 提供技术保障。Elicitation overhang 的存在意味着我们可能持续低估模型能力，这使得前瞻性的安全规划尤为重要。

Mechanistic Interpretability：最令人期待的安全技术

Mann 表示，在所有安全研究方向中，他个人最看好 Mechanistic Interpretability（机械可解释性）。

Mechanistic Interpretability 的核心思想

如果能够“窥视模型的内心世界”——不仅仅是它输出的 token，而是这些概念在模型内部如何形成——那么就有可能对模型行为进行审计。具体来说，可以检测模型是否存在：

Resource Stockpiling（资源囤积倾向）
Shutdown Resistance（抗关闭行为）
其他可能在极强模型中出现的危险行为模式

Chris Olah 的开创性工作

Mann 特别提到了 Anthropic 的 Chris Olah 及其团队——他们几乎是从零开始构建了这个全新的研究领域。虽然 Mechanistic Interpretability 仍处于早期阶段，但团队已经开始“对模型内部发生了什么有了初步的理解”。Mann 认为这可能是确保未来超强模型安全性的最重要技术方向。

本章小结

Mechanistic Interpretability 代表了一种从根本上不同的安全方法——不是从模型输出端进行事后检测，而是从模型内部结构出发进行事前审计。尽管尚处早期，但 Mann 对其潜力给予了最高评价。

前沿模型部署：Pre-training、RL 与推理

Pre-training 不会消失

当被问及 RL 训练是否会取代 pre-training 时，Mann 给出了明确的否定：

Pre-training vs. RL 的互补关系

虽然存在“纯 RL 训练”的实验尝试，但这些实验通常仍然使用蒸馏（distillation）——这本质上是一种监督学习，从工作负载角度看与 pre-training 并无本质区别。Mann 认为 pre-training 非常高效，能够“让你走很远”，不会消失。RL 是在 pre-training 基础上的增强，而非替代。

分布式训练的前沿探索

对于 pre-training 是否必须依赖大型单机房数据中心，Mann 表示还没有定论：

多个公司和开源组织正在尝试通过大规模分布式网络进行 pre-training
关键技术包括 single-bit updates（单比特梯度更新）来替代完整梯度传输
这种方法是否能与大型数据中心的性能竞争，目前尚无定论
但经济激励是明确存在的——如果能用分布式小集群达到大型数据中心的效果，将极大降低训练门槛

推理可以更分散

与训练不同，推理（inference）对互连带宽的需求低得多，因此计算可以更广泛地分布。Mann 认为：

前沿模型始终只能在数据中心级别的计算资源上运行
本地可运行的模型将始终落后前沿 2 年左右
量化（quantization）技术在持续缩小这一差距
Anthropic 关注的是前沿安全——需要确保安全技术适用于最新、最强的模型

本章小结

AI 训练的基础设施正在从“大型单点数据中心”向更分布式的方向演进，但 pre-training 的核心地位不会改变。推理工作负载的分布式特性为更灵活的部署提供了可能性，但前沿模型的训练仍需要集中的大规模计算资源。

API 与 Chat 产品的架构哲学

Chat 作为试验场

Mann 解释了 Anthropic 的 Chat 体验（claude.ai）和 API 服务之间的策略关系：

Chat vs. API 的根本差异

Chat 体验：Anthropic 完全控制每个环节，可以单方面修改或回撤功能，迭代速度极快
API 服务：“APIs are forever”（API 即永恒）——一旦发布，就有企业客户和合作伙伴依赖它。任何变更都可能影响下游系统

API 的惯性

Mann 分享了一个生动的例子：即便 Claude 1 和 Claude 2 的模型性能远不如 Claude 3 系列，弃用这些旧版 API 仍然花了很长时间。事实上，Claude 2 在讲座时仍在某些生产环境中运行。这是因为企业客户的考量不仅是“用最酷的模型”，更包括业务连续性和工程资源限制。

从 Chat 到 API 的功能流动

Anthropic 将 Chat 体验定位为 API 功能的 Proving Ground（试验场）：

新功能（如 PDF 上传）首先在 Chat 中推出
验证其稳定性和用户价值
再将经过验证的功能开放到 API 中
这个模式让 Anthropic 能在低风险环境中快速迭代，同时保持 API 的稳定性

本章小结

Chat 和 API 的双轨策略体现了产品成熟度管理的智慧：Chat 追求快速迭代和功能探索，API 追求稳定性和向后兼容。对开发者来说，这意味着 API 的新功能是经过 Chat 验证的成熟能力。

工程师在 AI 前沿的角色

讲座的一个反复出现的主题是：推进 AI 前沿不仅是研究问题，更是工程问题。

工程师的不可替代性

Mann 的个人经历本身就是最好的证明——他没有硕士或博士学位，却成为 GPT-3 论文的第一作者之一，负责了关键的数据工程和分析工作。在 Anthropic，基础设施和计算方面的挑战（分布式训练、容错、RL 环境编排、安全机制实现）不是靠研究论文就能解决的，它们需要一流的工程能力。

课程主持人特别强调，听了 Mann 对 RLAIF pipeline 的描述后，应该清楚地意识到这本质上是一个工程挑战而非纯研究问题。Anthropic 刻意打造一个对工程师友好的环境，因为前沿 AI 的突破越来越依赖于工程创新。

学术界的独特贡献空间

Mann 指出，Evals（模型评估）是学术界可以做出重要贡献的领域。构建有效的 benchmark 不需要大量计算资源，但对理解模型能力至关重要。他举了 OS World benchmark 的例子——它提供了一种可重复的方式来衡量模型操作桌面计算机的能力，这种评估虽然本身无害，但可以指向潜在的安全风险。

本章小结

AI 前沿的竞争已经不再是纯学术竞赛。工程能力——从分布式系统到安全基础设施——已成为决定性的竞争因素。无论是在工业界还是学术界，都有大量高价值的贡献机会。

总结与延伸

Ben Mann 的讲座为我们描绘了一幅从 GPT-3 到 Claude 的技术演进全景图，涵盖了 Scaling Laws 的哲学意义、大规模训练的工程现实、安全评估的前沿实践，以及产品架构的策略思考。以下是核心收获：

Scaling Laws 改变了 AI 研发范式——从“扔到墙上看什么粘住”变成可预测的科学实验，小规模实验可以指导大规模投入。
大模型训练是巨型工程项目——需要研究与工程的深度融合，组织模式直接影响竞争力。DeepMind 的研究者主导模式和 Google Brain 的分散模式都不如 OpenAI/Anthropic 的集成模式高效。
基础设施的瓶颈无处不在——从 Kubernetes 集群的规格限制到分布式训练的容错，从 checkpoint 存储到 RL 环境编排，每个层级都在被推到极限。
训练监控仍是高强度工作——尽管有了 on-call 轮换和 follow-the-sun 机制，大模型训练的脆弱性意味着持续的人类判断不可或缺。
Constitutional AI 是安全领域的关键创新——RLAIF 用可重复的科学过程替代了依赖人类标注者的 RLHF，既提高了可控性也降低了成本。
安全不是能力的对立面——Anthropic 的经验表明，安全研究可以同时产生商业价值，推动“race to the top”。
Mechanistic Interpretability 是长期安全的希望——通过理解模型内部概念的形成过程来审计行为，可能是确保超级 AI 安全性的最重要技术路径。
API 稳定性与产品敏捷性需要平衡——Chat 作为 API 的试验场，体现了成熟的产品策略。
工程师在 AI 前沿不可或缺——前沿 AI 的突破越来越依赖于分布式系统、安全基础设施和大规模工程能力，而非仅靠研究论文。
Elicitation overhang 提醒我们保持警惕——当前的评估可能系统性低估模型能力，前瞻性的安全规划至关重要。

拓展阅读

Anthropic, Responsible Scaling Policy.\ https://www.anthropic.com/index/anthropics-responsible-scaling-policy
Bai et al., Constitutional AI: Harmlessness from AI Feedback (2022). Anthropic 的 Constitutional AI 论文。
Brown et al., Language Models are Few-Shot Learners (2020). GPT-3 论文，Ben Mann 为第一作者之一。
Olah et al., Zoom In: An Introduction to Circuits (2020). Mechanistic Interpretability 的奠基性工作。
Nick Bostrom, Superintelligence: Paths, Dangers, Strategies (2014). Mann 提到的影响他加入 AI 安全领域的书籍。
Anthropic, Core Views on AI Safety.\ https://www.anthropic.com/index/core-views-on-ai-safety
Anthropic, Challenges in Evaluating AI Systems (Blog Post). Mann 提到的关于“为什么 evals 很难”的博客文章。
OS World Benchmark. 学术界贡献的桌面操作能力评估基准。