Lecture 01:Frontier Systems 导论——Context、Compute 与基础设施大转型
| 字段 | 内容 |
|---|---|
| 作者/整理 | 基于 Anjney Midha 授课、Stanford Online 官方视频与人工字幕整理 |
| 来源 | Stanford Online / Anjney Midha |
| 日期 | 2026 年春季 |

\makecscover
课程不是名人目录:先建立读课方法
这节开场课没有从 GPU 型号、分布式训练或云计算 API 开始,而是先回答一个更基础的问题:面对一门由大量产业领袖参与的课程,学生应当怎样学习。讲者把自己称为整季演出的 opening act,把后续嘉宾称为 headliners,又主动接住 “AI Coachella” 的调侃。这个开场在提醒读者,阵容本身不是知识;真正有价值的是比较不同角色怎样定义问题、怎样暴露约束,以及他们的利益位置会怎样影响判断。
读图:为什么技术课先讲 “life scaling laws”
这页并不是把人生伪装成可精确预测的训练曲线。讲者强调自己的经验法则来自个人观察:认真投入工作,同时保留乐趣,并和愿意长期相处的人建立关系。关键词是 \term{empirical},也就是经验上有效,但不保证对每个人、每个阶段都成立。把这层限制说清楚,反而为后面讨论 AI scaling 做了铺垫:曲线可以描述已经观察到的规律,不能自动证明未来会无限延伸。
不要把比喻当成定律
“人生像训练任务” 只能帮助整理决策变量,不能给人生成一个可优化的单一 objective。健康、关系、责任与影响力之间没有统一标尺。讲者保留 “have fun with people you enjoy” 这条朴素经验,正是为了避免把所有选择压缩成履历、薪酬或影响力数字。
Preparedness:课程要训练什么
本节接着把学习目标从“听到名人观点”改成 \term{preparedness},即面对真实系统、组织与社会约束时的准备度。准备度不等于记住嘉宾的结论,更接近三项能力:能把一个宏大主张拆成可检查的技术与经济假设;能看见自己所在层级之外的依赖;能在证据不足时保留不确定性。后续十周的嘉宾课因此应当被当作一组立场不同的现场案例,而不是一套统一答案。
这页应当作为观点来源说明来读。讲者的经历覆盖 Stanford 数学、计算科学、经济学与生物信息学训练,也涉及 Discord、Anthropic、Mistral、Black Forest Labs、AMP 与 Periodic Labs 等组织。这样的履历让他更敏感于研究成果如何变成公司、产品和基础设施,同时也意味着他的判断来自投资、创业与部署视角。读者需要吸收实践经验,也要保留对样本偏差和利益位置的审计。
课堂提示:课程目标不是实习优化
讲者明确区分 internship 与 preparedness。前者容易把每一讲压成“这家公司招什么人”;后者要求理解一家组织为什么在某个层级投入、它受哪些上游资源约束、又把哪些成本转嫁给下游。做课程项目时,问题定义、证据链与可验证原型因此比追逐热门名词更重要。
本讲的阅读框架
后文所有案例都用五个问题审计:谁掌握稀缺资源;资源如何进入产品闭环;扩张依赖什么反馈;当前证据能够证明什么;标准、市场或制度由谁协调。这个框架既适用于模型训练,也适用于 GPU 市场、云服务和公共基础设施。
本章小结
开场中的生活经验、讲者背景和嘉宾阵容共同规定了课程方法:重视一手实践,但不崇拜身份;使用经验规律,但不把它们伪装成确定预测;把学习目标从短期机会扩大到跨层系统判断。下面进入本讲真正的技术主线:AI 为什么正在重新打开一套曾经相对稳定的系统栈。
从稳定系统栈到 Great Transition
过去十多年,互联网软件形成了一条相对稳定的生产路径:资本购买土地、电力和数据中心,芯片进入机房,云平台把硬件包装成可调用资源,团队在其上训练模型、构建应用,再用安全、合规与治理机制把系统带入现实世界。生成式 AI 没有简单地在这条栈顶增加一个应用类别;它同时抬高了能耗、互连、芯片、数据、模型、产品和治理层的压力,使旧的责任边界与价格结构重新谈判。
读图:先沿依赖方向,再沿价值方向
从下往上看,资本、土地、电力、芯片和数据中心为计算提供物理条件,cloud/software infrastructure 把异构硬件变成可编排资源,模型与 agent 消耗这些资源形成能力,应用把能力嵌入工作流,治理层处理安全、责任与社会接受度。从上往下看,应用收入和公共价值又决定资本愿意为哪类算力、模型和设施继续投入。两条方向同时存在,所以任何单层“突破”都可能被另一层卡住。
| 层级 | 主要资源或接口 | Frontier Systems 的审计问题 |
|---|---|---|
| 资本与能源 | 融资、土地、电网、长期购电 | 投资周期能否匹配技术与需求的不确定性 |
| 数据中心与芯片 | 机房、加速器、网络、散热 | 哪些硬件真正可互换,哪里存在锁定 |
| 云与软件基础设施 | 调度、虚拟化、存储、可观测性 | 异构资源怎样变成稳定服务接口 |
| 模型与 agent | 权重、数据、环境、反馈 | 能力来自静态参数还是持续闭环 |
| 应用与部署 | 用户、工作流、分发、收入 | 产品怎样获得高质量 context 与验证信号 |
| 安全与治理 | 规范、审计、责任、制度 | 谁定义边界,谁承担失败成本 |
讲者披露与历史位置
为了理解一门产业课程的证据强弱,本节先把讲者的参与时间线放回图中。早期投资、董事会参与、产品合作或公司创建会提供难以从公开材料获得的细节,也可能让某些问题得到更多注意。好的学习方法不是因为存在利益关系就丢弃全部观点,而是区分第一手观察、公司叙事、宏观推断和价值判断,分别寻找可核验的证据。
读图:披露不是装饰性免责声明
时间线告诉读者哪些判断可能来自内部经验,哪些只能是外部类比。比如,一位长期参与模型公司和算力市场的人更容易看见 capital allocation 与 deployment feedback,却未必代表所有研究团队、公共机构或中小开发者。后文引用讲者关于 context wars、GPU 价格和制度安排的观点时,应把它们标成有来源的经验判断,而不是无主体的客观定律。
四类能力约束
有了全栈地图以后,课程把 AI 进展的限制归为四组:context,compute,capital,culture。这个排序值得重视。社会讨论常把 compute 当作唯一稀缺品,但计算只有在接触正确任务、环境和反馈时才会转化为能力;资本决定扩张速度与风险承担;文化则影响团队愿意测试什么、承认什么失败、把哪些价值写入产品和制度。
四类约束如何相互作用
\term{Context} 决定系统看见哪些任务、工具与反馈;\term{compute} 提供训练和推理预算;\term{capital} 把未来收益预期转成机房、芯片与人才投入;\term{culture} 决定组织如何分享错误、处理安全、选择目标并协调合作。某一层暂时充足时,压力会显现在其他层。诊断系统时要找当前边际约束,不能永远复用同一个答案。
术语消化:bottleneck 不是永久标签
这里的 bottleneck 指当前增加一单位资源时,最限制整体产出的环节。它会随规模、任务、地区和时间变化。例如,小团队可能先缺 capital,大实验室可能先缺电力与互连,成熟 coding agent 可能更缺可执行环境和真实用户反馈。课程后面频繁跨层,正是因为约束会移动,也会相互放大。
本章小结
Great Transition 的含义是整条技术—经济栈正在一起变化。全栈地图提供依赖关系,披露时间线帮助判断观点来源,四类约束则提供动态诊断框架。接下来聚焦第一类约束:context 怎样通过环境、反馈和强化学习形成可持续的能力闭环。
RL 与 Context:能力为何来自闭环
如果模型只在静态语料上学习,它能吸收已有模式,却很难直接知道某次行动是否在现实任务中成功。强化学习把模型放入可交互环境,让它尝试行动、观察结果并根据 reward 更新策略。这里的 \term{RL} 是 Reinforcement Learning,中文通常译为强化学习;\term{environment} 是模型可以采取行动并收到状态或结果反馈的任务世界。两者把“更多 token”扩展为“更多经过验证的经验”。
读图:把三类对象分开
图中的 agent 或 policy 是做决策的模型,environment 是会响应行动的外部系统,reward 是对结果的压缩反馈。三者不能互相替代:更大的模型不等于更好的环境,更丰富的环境不等于 reward 正确,reward 可计算也不等于它代表人类真正想要的结果。系统能力来自闭环质量,而不是某个组件的孤立规模。
一个简化的 RL 目标可以写成
其中,\(\pi_\theta\) 表示参数为 \(\theta\) 的策略,\(\tau\) 表示策略与环境交互形成的一条 trajectory,\(r_t\) 是第 \(t\) 步 reward,\(\gamma\) 是对远期回报的折扣因子,\(T\) 是任务终止时刻。公式没有回答 reward 应该怎样设计,也没有保证训练一定稳定;它只把“让高回报轨迹更可能出现”写成了优化对象。
课堂提示:经验 scaling 不等于无限 scaling
讲者反复把 scaling laws 描述成 empirical observations。训练规模扩大后性能曾经持续提升,只能说明在已观察区间内存在规律。RL 也可能因环境质量、验证器漏洞、探索不足、分布偏移或目标错配而平台化。工程规划可以使用曲线外推,但必须同时准备失效条件和替代实验。
Basic AI Scaling Recipe
本节把现代模型能力的生产过程压成四个节点:compute 支撑 research,research 产出 models,models 通过 inference 接触用户与任务,使用过程再产生 context 与反馈。这个图的重点不在箭头数量,而在闭环方向。训练不是一次性把知识封装进权重;部署后的环境、工具调用和成功失败记录会决定下一轮研究与训练能够看见什么。
读图:闭环中最容易被忽略的箭头
从 compute 到 model 的路径容易量化,GPU 数量、训练 FLOPs 和模型规模都有数字。从 inference 回到 context feedback 的路径更难:需要知道用户在什么工作流里使用模型、何时失败、失败是否可验证、数据是否有权回流、反馈能否代表目标人群。讲者把 context 放在首位,是因为这一箭头经常决定后续 compute 有没有高价值用途。
Context 不只是更长的 prompt
这里的 context 范围远大于对话窗口。它包括任务说明、私有文档、代码库、工具权限、执行环境、历史决策、用户行为和可验证结果。一个模型即使拥有相同权重,在能否访问终端、测试、部署日志与组织知识方面不同,也会表现成完全不同的系统。Frontier Systems 因此把 context 看作一种基础设施资产:它需要采集、授权、清洗、连接和持续维护。
读图:三个问题决定 flywheel 是否成立
第一,系统接触的是高价值真实任务,还是只在演示数据上循环;第二,成功与失败能否被可靠验证,还是只能依赖模糊满意度;第三,数据回流是否得到用户授权并保持安全边界。只有使用增长、反馈质量与模型改进互相促进时,flywheel 才成立。单纯增加调用量可能只会放大噪声、隐私风险和错误自动化。
| 术语 | 它解决的问题 | 本讲中的含义 |
|---|---|---|
| Prompt context | 当前请求需要什么信息 | 对话、文档与即时约束 |
| Tool context | 模型能做哪些动作 | API、终端、搜索、数据库与权限 |
| Environment | 动作在哪里执行并产生结果 | 代码仓库、浏览器、实验室或业务系统 |
| Feedback | 怎样判断行动效果 | 测试、用户修改、收入、延迟或安全事件 |
| Flywheel | 改进为何能持续积累 | 使用产生高质量反馈,反馈又改善模型与产品 |
本章小结
RL 提供了策略—环境—反馈的学习闭环,Basic Scaling Recipe 把这个闭环放进 compute、research、model 与 inference 的全栈过程。Context 的关键不在长度,而在任务、工具、环境和验证信号的质量。也正因为高价值 context 稀缺,模型公司与应用公司之间会围绕入口、数据和工作流产生激烈竞争。
Context Loop Wars:入口、工具与数据回流
当 coding agent、办公 agent 或行业 agent 进入真实工作流,掌握用户入口的公司可以观察任务分布,拥有模型的公司可以控制能力与价格,拥有工具和环境的公司则决定行动边界。三种位置不总由同一家公司占据,于是合作关系会迅速转为竞争。本节把讲者选取的 Windsurf、OpenAI、Anthropic 与 Mistral 案例当成系统结构分析,而不是商业八卦。
一次收购争夺暴露了什么
讲者用 2025 年 coding-agent 市场的变化说明 context loop 的价值。Windsurf 位于开发者工作流入口,模型供应商提供底层能力,用户代码与执行反馈构成高价值环境。只要其中一方担心另一方把交互数据、分发或产品关系内化,原本的 API 合作就会出现访问限制、收购谈判和替代模型部署。
读图:不要只盯着收购价格
更重要的是四条流:用户请求从哪里进入,代码和工具在何处执行,哪家模型提供推理,结果与修改回到谁的数据系统。入口公司掌握需求和分发,模型公司掌握能力与供给,云或工具公司掌握执行基础设施。交易只是重新安排这四条流的控制权。理解结构后,即使具体公司变化,分析方法仍然有效。
第二张图把单次交易扩展为生态关系。读图时应比较每个参与者缺少什么:模型实验室可能缺稳定分发与高质量环境,开发工具可能缺自有模型和长期推理成本控制,云平台可能希望把算力需求锁入自身基础设施,人才与研究团队则会随着资本和数据位置迁移。所谓 context war,实质是争夺可持续改进闭环,而不是争夺一批静态聊天记录。
课堂提示:案例说明机制,不保证时间线永远有效
并购状态、API 政策和产品能力都会变化。讲义保留的是讲者在该次课程中用来解释 context 价值的历史案例。阅读者应验证最新事实,再用“入口—环境—模型—反馈—分发”框架判断新局面,不能把课件中的公司连线当作永久产业地图。
Mistral:关键 context 也可以是主权环境
Context 不只属于某个 SaaS 产品。语言、法律、公共部门采购、国家安全要求、数据驻留和本地产业生态也会形成难以跨地区复制的环境。讲者把 Mistral 的创建动机放在欧洲主权与开放权重需求中解释:当关键模型能力完全依赖外部供应商时,本地机构很难控制数据、成本、可审计性与长期议价权。
读图:sovereign AI 的系统含义
Sovereign AI 不只是“训练一个国产模型”。它至少涉及本地语言与文化数据、可接受的模型许可、数据驻留、供应链控制、公共部门部署接口、人才与算力,以及在危机时保持服务的能力。开放权重可以提高可检查性和部署选择,却不会自动解决训练成本、安全责任或生态碎片化。主权诉求最终仍要落到可运行的基础设施与制度安排。
Context 的三种稀缺性
产品 context 稀缺,因为真实工作流和用户信任难以复制;组织 context 稀缺,因为私有知识、权限和历史决策不能公开抓取;主权 context 稀缺,因为语言、法律与公共利益具有地域性。模型能力越接近,谁能安全进入这些环境,谁就更可能获得下一轮高价值反馈。
本章小结
Context loop wars 把抽象的“数据优势”具体化为入口、工具、执行环境、模型供给和反馈回流的控制权。Windsurf 案例展示产品闭环,Mistral 案例展示主权与公共环境。下一节继续追问:即便拥有环境和反馈,RL 是否真的能够持续扩展,还是会遇到可测量与不可测量的边界。
Frontier RL Flywheel 与能力边界
有了真实环境,系统可以生成任务、尝试行动、验证结果,再把成功轨迹用于更新模型。讲者把这一过程称为 recursive self-improvement,但这个词很容易被误读成模型完全脱离人类、无限自主改进。更准确的系统解释是:模型帮助扩大实验与数据生产,人类和基础设施仍负责选择环境、定义验证、控制部署、处理异常并决定哪些改进值得进入下一轮。
读图:递归改进需要外部锚点
左侧是任务、数据或科学假设的生成,中间是模型在环境中执行并得到可验证结果,右侧是把有效经验写回策略、工具或知识库。闭环中的外部锚点包括单元测试、物理实验、用户验收、安全规则与成本上限。若没有可靠锚点,系统可能只是在优化代理指标,形成看似快速、实际偏离目标的自我强化。
边界一:经验上还能扩多久
经验边界关心的是可观察曲线:增加 rollout、环境数量、任务难度和训练算力后,成功率是否继续提升,边际收益何时下降,训练是否出现模式坍缩或 reward hacking。这个问题可以通过实验逐步回答。不同领域的答案也会不同,代码测试、数学答案、材料实验和开放式写作拥有完全不同的验证成本。
读图:两类问题不能用同一条曲线回答
“更多算力后准确率是否继续上升” 是经验问题,可以设计对照实验;“应该优化什么、谁有权定义成功、哪些能力不应部署” 是规范与治理问题。后者不会因为 benchmark 继续上涨而自动消失。把两者混在一起,会让技术曲线替代价值选择,也会让价值争论忽略真实工程证据。
边界二:reward 代表谁的目标
哲学边界最终会变成系统接口。谁选择训练任务,谁编写 verifier,谁能修改 reward,失败由谁承担,用户是否知道系统在优化什么,这些都不是训练结束后的附加问题。RL 的优势是把反馈纳入学习;它的风险也来自同一点:一旦反馈口径偏窄、可被操纵或代表性不足,优化会把偏差放大成稳定行为。
| 边界类型 | 可观察信号 | 应对方式 |
|---|---|---|
| 算力边界 | rollout 吞吐、训练时长、能源与成本 | 系统优化、采样效率、资源预算 |
| 环境边界 | 任务覆盖不足、模拟与现实偏差 | 扩展真实环境、分层验证、人工审计 |
| 验证边界 | reward hacking、测试泄漏、代理指标失真 | 多重 verifier、隐藏测试、失败案例库 |
| 组织边界 | 责任模糊、上线压力覆盖安全信号 | 明确决策权、事故复盘、停止条件 |
| 价值边界 | 不同群体对成功定义冲突 | 参与式设计、制度约束、可申诉机制 |
课堂提示:先亲手跑一次闭环
讲者鼓励学生通过 problem set 理解 RL,不要只从宏观叙事判断。亲手定义环境、写 reward、观察策略钻漏洞,会迅速暴露“目标看起来清楚”和“目标可被可靠计算”之间的距离。这种实践也是 preparedness:知道什么时候该相信曲线,什么时候该检查数据和 verifier。
本章小结
Frontier RL flywheel 可以扩大可验证经验的生产,但每一轮都依赖环境、verifier、人类选择和基础设施。经验边界可以用曲线和实验探索,哲学与治理边界需要明确责任和公共讨论。下面把视角从单个训练闭环拉到宏观市场,观察资本开支、软件采用和算力价格是否支持“大转型”叙事。
宏观 Scaling:从模型曲线到资本与价格信号
AI 扩张常被一张曲线概括,但产业系统至少同时产生四类信号:模型能力随训练资源变化的技术信号,工具使用增长的产品信号,数据中心与芯片投资的资本信号,以及 GPU 租赁价格的供需信号。它们可以相互支持,却不是同一件事。技术进步不保证商业收入,收入增长不保证资本配置有效,资本投入也不保证每一块硬件都能被高效使用。
模型能力的可预测性
Scaling law 的工程价值在于预算和风险管理:团队可以用历史实验估计增加数据、参数或计算后损失会怎样变化,从而决定下一次训练规模。预测区间越远,架构变化、数据质量、后训练和评测漂移带来的误差越大。宏观图表适合展示长期方向,不能替代对单个模型、任务和训练 recipe 的审计。
读图:区分观测点、拟合线与未来假设
观测点来自已经公开或估算的训练项目,拟合线总结过去趋势,向右延伸的部分则包含未来假设。读者应先看纵横轴单位和数据来源,再问模型代际是否可比、后训练是否被计入、评测是否变化。拟合很好只能证明所选数据在该坐标系中规律明显,不能证明下一代系统一定沿同一斜率增长。
产品采用:Claude Code 的增长说明什么
产品信号比 benchmark 更接近真实需求。讲者展示 Claude Code 在十二个月内的日提交增长,用来说明 coding agent 正迅速进入开发流程。这个指标至少意味着用户愿意把模型生成或协助的代码提交到仓库,但它仍不能单独回答代码质量、返工成本、安全事件、付费留存或不同团队的净生产率。
读图:采用量不是生产率结论
提交量可以证明使用强度上升,不能直接证明每次提交都提高净产出。完整评估还需要 merge rate、review time、缺陷率、回滚率、开发者覆盖和长期维护成本。产品增长仍然重要,因为它扩大了 context 与反馈来源;只是这些反馈必须经过质量与权限筛选,才能进入下一轮模型或工具改进。
Great Transition 的资本开支
当应用需求、模型规模和算力预期一起上升,云厂商与基础设施公司会提前采购土地、电力、网络和加速器。\term{Capex} 是 capital expenditure,即用于长期资产的资本开支;它与日常运营费用不同,往往具有建设周期长、回收慢和退出困难的特点。AI 需求预测一旦偏离,过度建设与供应不足都可能持续多年。
读图:capex 是下注,不是已经实现的价值
资本开支曲线表明企业相信未来会有足够的软件收入和战略价值支撑硬件投入。数据中心建成以后,价值还取决于利用率、模型效率、电力价格、互连能力和客户需求。把 capex 当作需求信心的量化表达是合理的;把它当作生产率或社会收益已经兑现的证明,则跨越了尚未验证的链条。
GPU 租赁价格:异构算力市场的温度计
价格把供给、需求、地域、电力、硬件代际和合约期限压成一个数字,因此很有吸引力。讲者展示 AMP 观察到的 GPU 租赁价格变化,用它说明稀缺性并非单调上升:新供应进入、旧卡折价、软件效率改善和需求结构变化都会改变价格。更重要的是,不同 GPU 并不是同一种商品,标题价格必须和显存、互连、可靠性、可用时长及集群规模一起阅读。
读图:每 GPU-hour 仍不是统一商品价格
同样标成一小时,单卡、八卡节点和大规模无阻塞集群的价值完全不同;短租、预留、抢占与长期合同也不可直接比较。训练还依赖网络拓扑、存储吞吐、软件栈与故障恢复。价格图能显示趋势,却不能在缺少规格与服务条件时证明“算力已经便宜”或“某卡一定更划算”。
本章小结
模型曲线、产品采用、资本开支和租赁价格分别回答技术、需求、投资和供需问题。把它们并置可以观察转型是否跨层发生,但不能把四类信号合成一条必然因果链。下一节用历史基础设施周期寻找可复用模式,同时明确类比的边界。
历史基础设施周期:稀缺、过建与标准化
讲者把今天的 compute 放进更长的基础设施史:钢铁、铁路、电力、光纤、半导体材料与能源技术都经历过需求爆发、资本涌入、供给扩张、价格下降、企业整合和标准形成。历史类比的用途是生成问题,比如“哪里会过建”“什么接口会标准化”“谁承担沉没成本”;它不能直接预测时间表,因为每种资源的物理性质、监管结构和创新速度不同。
Gilded Age:基础设施与权力一起扩张
19 世纪末的 Gilded Age 常被用来描述铁路、钢铁和金融快速扩张,同时市场力量集中、劳动冲突和公共监管加剧的阶段。讲者借它提醒学生,通用技术的繁荣不仅带来更多产能,也会重新分配议价权。AI 基础设施的关键问题因此不止是“能建多少”,还包括谁控制接入、谁制定价格、谁能在短缺时继续创新。
读图:历史类比先比较机制
可比较的机制包括高固定成本、网络效应、资源控制、纵向整合、价格歧视与公共监管压力。不可直接类比的部分包括技术更新速度、全球供应链、软件复制成本和现代资本市场。把“今天就是新的 Gilded Age”当结论过于粗糙;把它当成检查市场集中与公共利益的提示,更有教学价值。
钢铁:工艺改进怎样改变资源价格
Bessemer process 等工艺创新显著降低钢铁生产成本,使铁路、建筑和机械能够在更大范围扩张。这个案例对应 AI 中的模型效率、芯片设计和系统优化:需求增长不一定只靠增加原材料供给来满足,生产过程本身也会改变单位成本。价格下降又会释放新需求,使总消费量继续上升。
读图:单位成本下降可能扩大总需求
钢铁更便宜以后,社会没有停止使用钢铁,而是把它带入更多铁路、桥梁和建筑。计算效率也可能产生类似的 rebound effect:每次推理更便宜,会催生更多 agent、更长任务和更高频交互。判断能源与算力总需求时,不能只看单次任务成本下降,还要估计新用途带来的需求弹性。
光纤:过度建设也可能留下公共能力
互联网泡沫时期铺设的大量光纤在短期造成破产与资产折价,却为后续宽带和云服务留下低成本容量。这个故事常被用来为 AI 数据中心扩张辩护,但两者仍有关键差异:光纤暗纤可以长期闲置,GPU 折旧更快,芯片代际更新、封装和软件兼容都会缩短有效寿命。过建是否有长期公共价值,取决于资产能否被重新利用。
读图:“先过建再说” 不是无条件策略
资产寿命、维护成本、标准兼容和再分配难度决定过建能否转化为公共能力。数据中心若绑定单一电网、封闭互连或快速过时的芯片,剩余价值可能很低。基础设施规划应当同时考虑 modularity、可升级性和开放接口,而不是只比较峰值建设规模。
DRAM:半导体供给为何呈周期性
\term{DRAM} 是 Dynamic Random-Access Memory,中文常译为动态随机存取存储器。它以电容保存 bit,需要周期刷新,广泛用作服务器和个人计算机主存。晶圆厂投资周期长、固定成本高,而需求又会随设备与数据中心景气变化,因此价格常在短缺与过剩之间摆动。AI 加速器所用显存与先进封装也受到类似产能规划约束。
读图:供给滞后怎样制造周期
需求上升时价格先涨,厂商据此扩产;新产能经过建设和爬坡后集中进入,市场可能转为过剩,价格下跌又迫使企业削减投资。等需求恢复时,上一轮削减导致供给再次紧张。GPU、HBM 和先进封装并不与 DRAM 完全相同,但都需要把长建设周期和短需求预测放在同一模型中分析。
铀与能源:政策、许可和地缘因素改变曲线
算力扩张最终落到能源,因此本节从芯片与机房继续追到发电、燃料和电网。铀市场说明,资源价格不仅受矿山供给与需求影响,也受核电政策、许可周期、库存、地缘政治和公众接受度影响。即使一种能源在技术上适合稳定供电,它能否及时进入数据中心仍取决于电网互连、融资、建设和监管协调。读图时要把矿产价格、可投运电力与特定园区真正可获得的容量分开,三者之间存在多年建设与审批滞后。
读图:价格不是纯粹的物理稀缺度
矿藏数量只决定供给的一部分,开采许可、转化与浓缩能力、长期合同、战略库存和核电建设计划都会改变可用供给。AI 能源讨论也要避免把 GW 数字当作随时可调用的电力:地点、时间、稳定性、输电容量和碳约束决定它能否服务具体集群。
Alternative assets:同一种波形背后可能是不同机制
讲者把多类 alternative assets 的价格周期放在一起,试图寻找从稀缺、追捧、扩产到回落的共同时间结构。这种比较可以帮助投资与建设团队建立情景范围,却也容易产生“所有周期都一样”的错觉。曲线相似可能来自不同原因,持续时间也受资产寿命、监管和替代品影响。
读图:形状相似不等于因果相同
价格先涨后跌可能来自扩产、需求崩塌、政策变化、技术替代或金融去杠杆。若只做视觉匹配,就会忽略每种资产的交付周期、质量差异和网络效应。使用历史类比时,应先写出机制,再检查当前 compute 市场是否满足同样条件。
| 案例 | 可迁移机制 | 对 compute 的启发 | 不能直接类比之处 |
|---|---|---|---|
| 钢铁 | 工艺创新降低单位成本 | 软件与芯片效率改变可及性 | 数字需求增长更快 |
| 光纤 | 过建后资产折价再利用 | 预建容量可能支持后续应用 | GPU 折旧和代际更快 |
| DRAM | 长扩产周期与短需求周期错配 | 芯片、封装与库存会波动 | 产品异构和供应链更复杂 |
| 铀 | 政策、许可与地缘因素塑造供给 | 电力不是抽象无限资源 | 能源与计算的交付接口不同 |
| Gilded Age | 网络基础设施带来市场集中 | 接入与公共利益需要制度关注 | 当代全球监管结构不同 |
本章小结
历史周期提供了五类提醒:工艺创新会降低单位成本,需求反弹会扩大总用量,建设滞后会制造价格周期,过建价值取决于资产可复用性,市场集中会推动标准与公共监管。下一节把这些提醒用于一个具体判断:今天的 compute 还不能像电力那样被当作可替代商品。
Compute 为什么尚未成为 Fungible Commodity
在经济学和市场设计中,\term{fungibility} 指同一类别的一单位商品可以被另一单位替代,交易双方不必关心它来自哪个具体供应者。电网中的标准化电能接近这种体验,现代 AI compute 则高度异构:芯片架构、显存容量、互连、集群规模、软件版本、故障率、地域和合同条件都会影响任务能否运行。把所有资源折成 “GPU-hour”,会隐藏大量不可替代性。
一块 GPU 不是一度电
训练任务需要一组同时满足的资源,而不是孤立芯片。可以把一份算力供给简化为资源向量
其中 \(n\) 表示可同时使用的加速器数量,\(m\) 表示单卡可用显存,\(b\) 表示互连带宽,\(l\) 表示通信延迟,\(s\) 表示软件与驱动兼容性,\(a\) 表示可用性和故障恢复能力。只有当任务需求向量被整体满足时,这份供给才有实际价值;某一维度很高不能补偿另一维度完全不合格。
读图:先问任务约束,再比较价格
小模型推理可能在多种 GPU 上运行,大模型训练却要求大量同代卡、稳定高速互连、足够显存和长时间连续可用。图上的价格点若没有绑定这些属性,就无法说明哪种供给更便宜。对买方而言,不可替代性会抬高迁移成本;对卖方而言,异构规格又让统一市场、清算和容量规划更困难。
首次使用提醒:HBM 与普通主存不是同一资源
HBM 是 High Bandwidth Memory,高带宽存储器,通常与加速器通过先进封装紧密连接,为矩阵计算提供高带宽显存。服务器 DRAM 则主要作为 CPU 主存,容量、带宽和访问路径不同。即使两台机器都写着相同“内存总量”,训练中可用显存和通信拓扑仍可能完全不同。
Commodity 的五个工程条件
讲者把可替代商品拆成五个条件:共同计量单位、标准交付接口、互连与池化、计量控制与结算、供应商之间可替换。这些条件不是经济学抽象名词,它们分别对应协议、调度器、资源描述、可靠性承诺和市场规则。Compute 若要从稀缺专用资产变成广泛可访问基础设施,五项能力需要一起成熟。
读图:五项条件对应什么系统能力
共同单位要求资源规格可比较;标准交付接口要求任务能跨供应商提交;interconnection/pooling 要求分散容量能被组合;metering、control 与 settlement 要求准确记录使用、执行配额并完成结算;供应商可替换要求迁移不会重写全部软件。任何一项缺失,都可能让市场看起来有大量 GPU,实际却无法把容量交给需要它的任务。
| 条件 | 计算基础设施中的实现 | 当前难点 |
|---|---|---|
| Common unit | 标准化性能、显存、互连和可用性描述 | 单一 FLOPs 或 GPU-hour 隐藏任务差异 |
| Delivery interface | 可移植 job spec、镜像、身份与数据接口 | 驱动、编译器、网络和权限碎片化 |
| Interconnection / pooling | 跨节点调度、容量池与故障迁移 | 延迟、地域、数据合规和拓扑约束 |
| Metering / control / settlement | 可信计量、配额、SLA、账单与清算 | 多租户隔离、性能抖动和责任归属 |
| Supplier substitution | 工作负载可跨云、跨芯片迁移 | 专有内核、服务 API 和数据重力 |
标准为什么必须和制度一起出现
技术标准规定资源怎样表示和连接,institutions 则负责协调采用、解决争议、执行承诺和保护公共利益。这里的 institution 可以是标准组织、行业联盟、市场运营者、监管机构或公共采购体系。只有文档没有执行,优势供应者可能拒绝互操作;只有强制命令没有可行接口,又会让规则停留在纸面。
读图:标准解决接口,制度解决协调
AC/DC、电网调度、TCP/IP、电话互联或航空规则都不只是技术格式。它们需要测试、认证、争议处理、投资回收和公共责任安排。Compute 标准化同样会触及谁公开性能、谁承担中断、怎样跨境移动数据、如何避免市场操纵。讲者的核心主张是,fungibility 不能只靠更好的调度软件,还需要能够约束参与者并维护共同规则的机构。
公共池化不等于忽略产权与安全
把闲置容量纳入更大资源池,需要明确授权、隔离、计量、赔偿和退出机制。未经同意的强制共享会破坏投资激励与数据安全;完全不协调则可能让稀缺资源长期闲置或被少数主体囤积。制度设计的任务是把公共收益、供应可靠性和参与者权利写进可执行规则。
本章小结
Compute 的不可替代性来自多维硬件、拓扑、软件和合同约束。Commodity 化需要共同单位、标准接口、池化、计量结算和供应商替换能力;这些技术能力又需要制度来推动采用、执行承诺和处理公共利益。至此,本讲从模型闭环走到了基础设施治理,也解释了课程为什么会同时邀请芯片、云、模型、应用与政策层的讲者。
总结与延伸
本讲的主线可以压缩成一句话:AI 能力增长不是单一模型曲线,而是一条由 context、compute、capital 与 culture 共同推动的全栈转型。Context 决定系统接触什么真实任务和反馈,compute 决定可承受的实验规模,capital 决定基础设施以多快速度建设,culture 与 institutions 决定目标、责任和资源分配。任何一层被忽略,另一层的扩张都可能变成浪费或风险。
读图:结尾不是旁观式预测题
第一问要求把“和平转型”拆成可及性、互操作、市场集中、能源、跨境供应链、安全与公共利益;第二问要求学生提出自己能验证的行动,例如定义资源标准、做可移植 workload、公开 benchmark 方法、研究调度与结算、参与标准组织或解释政策后果。课程项目的价值不只在展示一个模型,而在让学生进入真实基础设施对话。
课堂提示:把自己当成 active participant
讲者最后强调,学生不必等到成为 CEO、研究主管或监管者才有资格参与。清楚写出接口痛点、公开可复现实验、记录迁移失败、提出标准草案、向行业讲者追问证据,都可能改变讨论。Preparedness 的终点不是更会预测谁会赢,而是能够在不确定时期提出更好的问题并建设可检查的系统。
八条可迁移结论
- 先画全栈依赖,再讨论单层突破;模型、产品和算力都嵌在更大的资源系统中。
- 把 scaling law 当经验模型,明确观测区间、外推假设和失效条件。
- 把 context 拆成任务、工具、环境、权限与反馈,不要只理解为长 prompt。
- 审计 RL 时同时检查 environment、reward、verifier 和责任边界。
- 阅读产业案例时跟踪入口、模型、执行环境、数据回流与分发控制权。
- 对宏观图表区分技术、采用、资本和价格信号,不用一类证据替代另一类结论。
- 使用历史类比时迁移机制,不迁移确定时间表;特别检查资产寿命和标准化条件。
- Compute 要成为广泛可访问基础设施,需要技术标准与执行制度共同成熟。
拓展阅读
继续学习时,建议从三条可复现路径展开。第一,访问 Stanford CS153 课程官网与 Stanford Online 官方视频,对照后续嘉宾怎样修改本讲的四约束框架。第二,选择一个 coding agent 或训练任务,画出其 context flow、执行环境、验证信号与数据授权。第三,比较两个云或 GPU 市场的 job specification、SLA 和计费口径,实际检查 workload 能否迁移,而不是只比较标价。
讲义提醒:后续课程怎样使用本讲
每听一位嘉宾,至少记录四件事:他所在的系统层级、他认为最稀缺的资源、他展示的证据类型、他希望由市场还是制度解决的问题。十周结束后,把这些答案放在同一张表里,冲突之处往往比共识更有学习价值。
实践作业:审计一条真实 Compute 路径
为了把本讲的宏观框架变成系统能力,可以选择自己实际使用的一项 AI 服务,从一次请求出发追踪到计算资源。作业重点不是猜测供应商的全部内部架构,而是明确哪些事实可观察、哪些来自公开文档、哪些仍是推断。最终交付应让另一位读者能够复查资源接口、context 回流与责任边界。
- 画出请求从客户端、应用服务、模型 API 到推理集群的路径,标出身份、数据和工具权限在哪一层生效。
- 选择一次可重复任务,记录延迟、失败类型、输出质量与重试行为;说明 reward 或成功条件能否被自动验证。
- 比较两个供应渠道的规格、价格和迁移步骤,检查 “GPU-hour”、token price 或 API 名称是否掩盖不可替代性。
- 提出一个最小标准改进,例如可移植 job spec、统一故障码、性能披露或数据删除证明,并说明由什么机构推动采用。
验收标准
一份合格作业应包含来源链接、可复现实验步骤、至少一个失败案例、事实与推断的明确分栏,以及对安全和公共利益的影响说明。若结论只能写成“某公司更强”或“需要更多算力”,说明分析还没有进入 Frontier Systems 所要求的接口、机制与制度层。