Lecture06
\makecscover
来源审计:这不是项目清单,而是国家级系统设计课
这场访谈由沙特阿拉伯通信与信息技术部长 Abdullah Alswaha 主讲。公开视频在 2026 年 8 月 11 日核验时已经变为 private;仓库仍保存 1266 条时间戳字幕和官方封面,因此本讲以字幕恢复课堂论证,以 Saudi Digital Government Authority、KFSHRC、Groq/Aramco Digital 和技术论文校验关键机制。对 gigawatt、市场规模、成本、节省和生产率等数字,若没有一手文件给出同一口径,本文统一写成讲者估计,不把现场表达升级成审计事实。
全讲的三层因果链
- 硬件层:semiconductor、memory、interconnect、cooling 决定 useful compute per watt;
- 扩散层:compute capacity 只有经过调度、低成本 inference 和行业 workflow 才转化为应用;
- 治理层:data、process、human accountability 和 public value 决定 agent 能否从 demo 进入公共服务。
三类证据必须分开
课堂原话用于还原动机和判断;官方材料用于确认组织、项目或现行机制;工程分析用于解释代价、边界与可迁移结论。三者可以互相支撑,但不能互相替代。尤其是国家项目的计划容量、经济影响和未来市场,只能按其证据等级表述。
Technocrat 与 signal-to-noise ratio
课程把 Alswaha 描述为 \term{technocrat}(技术官僚):并非“工程师天然更适合治理”,而是强调基础设施领导者需要理解系统约束、测量、故障和长期投资。讲者用 \term{signal-to-noise ratio}(SNR,信噪比)概括判断方法。若以 \(P_s\) 表示目标相关证据的强度、\(P_n\) 表示干扰与不确定性,可写成
这里的公式只是决策类比:提高 SNR 不是忽略异议,而是先明确目标函数、数据质量、可逆性和失败成本,再从宣传、短期波动与未经验证的数字中提取稳定信号。
\teachervoice{Alswaha 用 learn--earn--return 描述职业路径,并把“回到 Stanford”视为向下一代传递问题的机会。真正值得保留的课堂语气不是个人成功叙事,而是:技术人才应把能力投向有长期公共价值、同时又能被工程验证的问题。}
本章小结
本讲的核心不是评价某个国家战略,而是学习国家级 AI 系统怎样拆成可验证的硬件、应用与治理问题。后文所有案例都回到同一标准:输入是什么、瓶颈在哪里、结果怎样测量、谁承担失败。
从互联网浪潮到 AI 浪潮:基础设施只是必要条件
讲者把今天的 AI 与早期互联网作类比:初期资本和注意力集中在路由器、交换机、accelerator 与数据中心;真正改变生产率的阶段,则发生在 telemedicine、education、GovTech 和企业流程开始重构之后。本节因此不问“算力是否重要”,而问“算力怎样穿过组织边界,变成稳定服务和可测结果”。
四步扩散链:capacity、application、organization、outcome
本节把上一段历史类比转换成可验收的系统链。基础设施扩散可以分为四步:第一步提供技术容量;第二步出现具体行业 application trigger;第三步组织修改数据流、权限和工作方式;第四步才产生服务质量、生产率或福利结果。读图时先找每一步的 owner、输入和指标;任一步断裂,硬件投资都可能停留在低利用率、演示项目或不可持续补贴。
\lecturefigure{01-infrastructure-diffusion.png}{基础设施只有经过应用触发和组织重构,才形成可测量结果。}{本地字幕 03:40--06:20;概念重绘。}
读图:先找断点,不要直接连 GDP
读图时从右向左问:目标 outcome 用什么指标衡量?哪个 workflow 真正改变?应用依赖什么数据、人才和采购?最后才问需要多少 accelerator。若一份方案只描述左侧 capacity,却没有右侧的 adoption、feedback 和 retirement rule,它仍是资源计划,不是转型计划。
基础设施扩散的最小验收式
可把项目价值粗略拆为
其中 \(C\) 是可用 capacity,\(U\) 是有效利用率,\(A\) 是 adoption,\(Q\) 是单位使用带来的质量或生产率改进。任何一项接近零,单纯扩大 \(C\) 都难以创造结果。该式不用于精确估值,而用于迫使方案补齐中间环节。
历史类比不能替代当代约束
互联网和 AI 都经历 infrastructure-first 阶段,但 AI 还受到训练数据、模型更新、推理成本、内容安全、自动化权限和 human accountability 的约束。类比的价值在于提醒“应用扩散晚于硬件热潮”,不能据此推出两条产业曲线会以相同速度或相同赢家重演。
本章小结
国家级 AI 不能只用购置量、MW 或模型参数衡量。可迁移的方法是建立从 capacity 到 outcome 的完整链路,并为 utilization、adoption、quality 与退出机制分别设置指标。
能效问题栈:FLOPS 之外还有三堵墙
从应用扩散回到底层,首先遇到的是能效。讲者列出 semiconductor、memory、interconnect 与 cooling 四个方向,实际想表达的是:AI system 的吞吐受最慢资源限制,峰值 FLOPS 只是一个上界。本节用 roofline 式思维把这些约束统一起来,避免把所有瓶颈都叫“缺 GPU”。
Von Neumann bottleneck 与 data movement
\term{von Neumann bottleneck}(冯·诺依曼瓶颈)指处理器执行单元与存储分离,数据和指令必须在 memory hierarchy 与 compute 之间移动。许多 AI kernel 的能量和时间并不消耗在乘加本身,而消耗在读取 weights、KV cache、activations 和跨设备交换。对一个 workload,可写出简化下界
其中 \(F\) 是所需运算量,\(C\) 是有效计算吞吐;\(B_m\) 与 \(BW_m\) 分别是 memory traffic 和 memory bandwidth;\(B_n\) 与 \(BW_n\) 是 network traffic 与 interconnect bandwidth。公式说明:只提高 \(C\),另外两项仍可能主导时间。
\lecturefigure{02-efficiency-stack.png}{AI 能效需要同时检查 semiconductor、memory、interconnect 和 facility。}{本地字幕 06:20--12:00;概念重绘。}
读图:四层不是四个独立项目
新 semiconductor 可能提高 rack density,进而改变 cooling 和供电;更大 \term{High Bandwidth Memory}(HBM,高带宽堆叠 DRAM)可能减少跨卡通信,却提高封装成本;optical interconnect 可能降低长距离传输损失,却引入新器件和软件栈。正确问题是端到端 workload 获得多少 SLO-compliant tokens per watt,而不是某个器件的峰值指标是否更漂亮。
Compound semiconductor 解决什么,不解决什么
\term{compound semiconductor}(化合物半导体)由两种或多种元素组成,例如 GaN(gallium nitride,氮化镓)或 SiC(silicon carbide,碳化硅)。它们在高电压、高频和功率转换中可提供更好的击穿场强或效率,因此适合电源、射频和光电器件;但“从 silicon 全面迁移”不是一个单一开关。逻辑芯片、memory、power electronics 与 photonics 对材料、制造良率和成本的要求不同。
课堂中的器件比喻不能当产品路线图
字幕把 switching voltage、leakage 和 compound materials 混在一个快速回答里。讲义保留“器件层仍有能效空间”的判断,但不把某个材料直接宣称为通用 GPU 替代品。技术可行性还取决于 process integration、yield、packaging、toolchain 与规模经济。
本章小结
AI 基础设施的能效是端到端系统属性。算术、memory、network 和 facility 任何一层不足,都可能让昂贵 accelerator 等待;研究与采购都应以真实 workload 的 useful output 为共同指标。
Memory Wall:模型增长快于数据供给能力
上一章给出资源下界,本章聚焦课堂反复强调的 memory wall。Gholami 等人在 AI and Memory Wall 中讨论了模型规模、memory capacity、bandwidth 与通信增长不匹配的问题。对 LLM 来说,training 需要参数、optimizer state、gradient 与 activation;inference 还要管理 KV cache。模型“放得下”与模型“喂得饱”是两个不同条件。
容量墙、带宽墙与通信墙
本节进一步把“memory wall”拆成三个可测问题:模型和运行状态能否放下、单位时间能否被送到 compute、扩展到多卡后能否高效同步。读下面的图时不要把右侧统称为“memory 不够”,而要分别记录 capacity、bandwidth 和 communication 的证据,因为三类问题需要不同的硬件和软件修复。
\lecturefigure{03-memory-wall.png}{Memory wall 的本质是 compute throughput 与 data supply 的速率失配。}{本地字幕 08:20--10:30;Gholami et al., AI and Memory Wall。}
读图:先区分三种 wall
Capacity wall 问参数、KV cache 和 activation 是否能放入 memory;bandwidth wall 问单位时间能否把数据送到 compute;communication wall 问多设备间同步和重分布是否吞掉扩展收益。三者可能同时存在,解决其中一个会把瓶颈暴露到下一层。
Arithmetic intensity 决定“算力还是带宽”
定义 arithmetic intensity
即每搬运一个 byte 完成多少次运算。若 \(I\) 很低,即使 accelerator 峰值吞吐很高,kernel 也更可能受 memory bandwidth 限制;fusion、tiling、quantization 和 cache reuse 的价值,都可以理解为提高有效 \(I\) 或减少 \(B_m\)。
术语消化:SRAM、DRAM、HBM 与 storage
这组词经常被字幕和市场材料混为“memory”。读者应先掌握它们在 hierarchy 中的角色,再理解 Groq、NPU、GPU 或新架构的差异。
背景概念:四类存储层
| 术语 | 主要特征 | 在 AI 系统中的角色与限制 |
|---|---|---|
| SRAM | Static Random-Access Memory,片上高速缓存,低延迟但面积昂贵 | 适合小而热的数据和确定性访问;容量小,不等于通用模型存储。 |
| DRAM | Dynamic Random-Access Memory,需要刷新,容量较大 | 主存或 accelerator 外部 memory;延迟和带宽受接口、封装与并发访问影响。 |
| HBM | High Bandwidth Memory,高带宽堆叠 DRAM | 通过宽接口提供高吞吐;容量、封装供给、成本和功耗仍是约束。 |
| SSD | 持久存储,容量大但延迟远高于 memory | 保存 checkpoint、模型 artifact 与冷数据;通常需要 staging,不能直接替代 HBM。 |
\lecturefigure{04-memory-hierarchy.png}{不同 memory tier 在 latency、bandwidth、capacity 和 energy 上交换。}{本地字幕 09:00--11:10;概念重绘。}
读图:模型 serving 要按“温度”放数据
最热的 kernel state 和小型 buffer 留在 on-chip SRAM;活跃 weights 与 KV cache 争夺 HBM;更大的 host memory 承担 staging;SSD 保存冷模型和 checkpoint。若 routing 频繁切换模型,冷启动和搬运会成为主要成本,因此 model portfolio 设计必须与 memory placement 联动。
“某芯片只适合文本”不是稳定结论
课堂用具体公司快速说明 SRAM/DRAM/HBM 取舍,但产品能力会随 compiler、model support、memory topology 和 serving software 演化。讲义保留 hierarchy 原理,不把 2025 年现场判断当作永久产品分类。
本章小结
Memory wall 不是单一器件短缺,而是 capacity、bandwidth、communication 与 software locality 的组合问题。选择芯片之前,应先量化模型的 working set、bytes per token、KV cache 增长与跨设备 traffic。
数据中心经济学:从 grid MW 到 useful tokens
有了芯片并不等于拥有可用算力。电网输入要经过供配电、UPS、cooling、network、storage、CPU 和 accelerator,最终只有一部分变成满足质量与延迟目标的 useful work。本节把讲者的 gigawatt 和 facility-cost 讨论转成资源会计框架,不复述未经审计的绝对数字。
PUE、利用率与 workload efficiency
\term{PUE}(Power Usage Effectiveness)定义为
其中 \(P_{facility}\) 是数据中心总功率,\(P_{IT}\) 是服务器、network 和 storage 等 IT load。PUE 越接近 1,facility overhead 越低;但它不说明 accelerator 是否被充分利用,也不说明模型是否以最低成本满足 SLO。
\lecturefigure{05-power-budget.png}{Facility power 经过 overhead 与 IT load 后,才产生 useful accelerator work。}{本地字幕 10:30--14:50;概念重绘。}
读图:三个效率指标缺一不可
Facility efficiency 看 PUE;hardware utilization 看 accelerator busy time、memory 和 network stall;workload efficiency 看 tokens、samples 或 training progress 相对于资源。低 PUE 的空闲集群仍然浪费,高利用率但生成失败结果的系统也没有价值。
Useful compute per grid watt
可用一个诊断式表达
其中 \(U\) 是 IT 资源有效利用率,\(\eta_{workload}\) 是单位 IT power 产生的合格工作量。提高 \(U\) 可能依靠 batching、scheduling 与 demand aggregation;提高 \(\eta_{workload}\) 可能依靠更好的 kernel、model routing、quantization 和 cache。
规划时钟:电力、建筑、芯片、模型并不同步
国家级项目最危险的并非“预测不准”,而是把不同寿命的决策锁在一起。grid 与 site 可能按十年规划;facility shell 需要多年建设;accelerator 与 rack density 快速变化;model demand 又受算法和产品影响。读者需要把不可逆的土建与可替换的 compute module 分层。
\lecturefigure{06-planning-clocks.png}{国家 AI 基础设施同时运行在四个互相冲突的时间尺度上。}{本地字幕 14:45--16:10;概念重绘。}
读图:用 modularity 管理 regret
电力与土地层保留 headroom;facility 支持更高密度 cooling 和 network retrofit;rack 与 accelerator 尽量模块化;software 保持模型和硬件可移植。Modularity 会增加初始成本,却能降低“数据中心上线时已经不适合新一代 rack”的路径依赖。
计划容量不等于在线容量
现场提到的 1.5--2 GW、建设周期和单位成本属于课堂口径。正式评估必须区分 announced、contracted、under construction、energized、installed、available 与 utilized capacity;否则一个数字会混合土地、电力、building shell 和可服务 token 的不同阶段。
\teachervoice{讲者的工程直觉是“尽量把电送到 accelerator”。更完整的讲义版本应再加一句:accelerator 只有被可靠 workload 使用时才是生产资产;capacity planning 必须同时建设 scheduler、software、人才、模型 onboarding 与 demand pipeline。}
本章小结
数据中心经济学必须从 grid watt 一直核算到 useful outcome。PUE、utilization、workload efficiency 和 planning clocks 共同决定总成本,单独展示任何一个指标都可能误导。
三类 AI frontier:生成、行动与物理控制
底层资源会进入不同应用形态。课堂把重点分成 generative、agentic 与 physical AI,这个分类的教学价值在于:三者的 failure mode 和 evidence 完全不同。生成内容可以离线评测;agent 会改变 workflow state;physical system 直接影响人和设备,因此验证、权限和恢复要求逐级上升。
从输出质量到行动安全
上一节已经说明三类 AI 系统拥有不同的行动半径;本节把这个差异转成验证要求。读图时沿着 generative、agentic、physical 的顺序观察:系统从“生成候选”扩展到“修改数字状态”,再扩展到“控制物理世界”,每一步都会增加权限、影响、发现延迟和恢复成本,因此不能沿用同一套 benchmark。
\lecturefigure{07-three-ai-frontiers.png}{Generative、agentic 与 physical AI 需要逐级增强的证据和问责。}{本地字幕 16:10--20:20;概念重绘。}
读图:同一个 benchmark 不能验证三层系统
Generative AI 可看 factuality、utility 与 diversity;agentic AI 还要看 tool correctness、state transition、retry 和 exception handling;physical AI 必须加入 sensor failure、control stability、safe stop、human override 与现场法规。模型得分只是系统证据的一部分。
行动半径越大,验证成本越高
可把风险粗略理解为
其中 \(P(failure)\) 是失败概率,\(I(impact)\) 是影响,\(D_{detect}\) 是发现和纠正延迟。Agent 获得更多权限时,即便模型错误率不变,影响和恢复延迟也可能放大,因此要增加权限最小化、simulation、approval gate 与 rollback。
医疗:搜索加速不等于治理消失
课堂以药物配方和机器人心脏移植说明 AI 进入医疗。KFSHRC 官方材料确认 2024 年完成 fully robotic heart transplant;这里的“fully robotic”描述手术路径和 robotic system 使用,不应改写成没有医生负责的 autonomous surgery。类似地,AI 可以缩短 candidate generation 和 formulation search,clinical trial、regulatory review 与长期安全证据仍然存在。
\lecturefigure{08-healthcare-boundaries.png}{医疗 AI 可压缩研究搜索,但不能跳过临床证据与责任边界。}{本地字幕 16:40--18:20;KFSHRC 官方全机器人心脏移植资料。}
读图:两条时间线不要相加
左侧是 research loop:生成候选、预测性质、安排实验;右侧是 care delivery:患者选择、手术计划、医生控制、术后监测。AI 可以改善两条链的部分步骤,但每条链有不同数据、伦理、监管和责任主体。
“十年变两年”应理解为课堂案例
字幕中的周期数字没有足够材料确认其起点、终点和疾病项目。讲义只保留可迁移结论:AI 可能缩短配方与实验搜索,但不能据此声称完整 drug development 或 approval 周期按相同比例压缩。
能源:Agent 必须进入闭环,而不是生成建议
能源行业拥有 sensor、maintenance、geology 和 operational history,也有高安全成本。讲者提到 corrosion 与 drilling,真正的系统问题是:模型建议怎样进入 work order、由谁批准、结果怎样回流、异常怎样停机。没有 outcome capture 的 agent 只能生成分析,无法形成可持续的 operational learning。
\lecturefigure{09-energy-agent-loop.png}{垂直 Agent 需要数据、建议、人工决策和结果反馈构成闭环。}{本地字幕 18:20--20:20;概念重绘。}
读图:为什么 domain data 仍然不够
历史数据可能反映旧设备、旧策略与 selection bias;传感器缺失会制造 false confidence;成功 operation 往往没有详细标签。Agent 因此需要 uncertainty、operator rationale、counterfactual 和 incident review,而不是把 proprietary data 直接丢给通用模型。
\teachervoice{课堂把国家的既有行业能力视为 AI use case 起点:能源国家不必只训练“大而全”的模型,可以先在高价值、高数据密度、可反馈的 workflow 建立优势。这比“先有模型,再找问题”更接近系统工程。}
本章小结
三类 AI frontier 的共同底座是模型与算力,真正差异却在行动半径、数据闭环和责任结构。越接近公共服务与物理世界,越不能用单一 benchmark 代表系统成熟度。
Model Agnostic:没有模型宗教,但要有评测纪律
从行业案例继续向上,讲者提出 model agnostic:不因 open/closed、small/large 或某个 vendor 建立身份认同,而按生命、效率和生产率目标选择模型。这个立场不是“模型都一样”,而是要求建立更严格的 task contract、evaluation、routing、fallback 和 version governance。
Portfolio selection 而非一次性 winner
本节把“no model religion”落实成持续选择流程,而不是一句供应商中立口号。读图时先从 task contract 出发,再比较候选、证据和 routing policy;这样即使模型能力和价格快速变化,系统仍能解释为什么某类请求使用某个模型、何时 fallback、怎样回滚,以及哪些治理约束不可被性能提升覆盖。
\lecturefigure{10-model-agnostic.png}{Model-agnostic 策略以任务、候选组合、证据和 routing policy 为主线。}{本地字幕 20:20--23:40;概念重绘。}
读图:四步避免 model religion
先定义任务质量、latency、privacy、language 和 cost;再建立 open/closed、small/large、general/specialist 候选;随后运行 offline/online eval 与 red-team;最后把选择写成可审计 routing policy。新模型进入时重新比较,而不是自动替换所有路径。
模型选择是约束优化
可写为
其中 \(Q\) 是任务质量,\(L\) 是 latency,\(C\) 是成本,\(G\) 表示治理、数据和部署约束是否满足。若任务分布不同,最优解可以是 routing 或 ensemble,而不是单个模型。
Model agnostic 不等于供应链无关
模型可以替换,tokenizer、tool schema、safety policy、observability、fine-tuning data 和 evaluation history 却未必可移植。真正的 portability 需要 versioned interface、prompt contract、data export、fallback 和 rollback,而不是在 UI 中增加一个下拉菜单。
\teachervoice{讲者用“no technology religion”延伸出“no model religion”。这句话的工程版本是:对架构保持可证伪,对供应商保持可替换,对每次迁移保留可比较证据。}
本章小结
Model agnostic 是 evaluation-driven portfolio,而非“任何模型都行”。任务契约、约束、版本和 routing 共同决定选择;越频繁更换模型,越需要稳定的系统接口和回归测试。
算力扩散:Capacity、Inference 与数字鸿沟
模型组合最终仍要落在基础设施上。课堂把大规模投资称为 no-regret,但系统上只有在 capacity 被利用、inference 可负担、应用可进入、收益可反馈时,这个判断才成立。本节用 flywheel 分析“买算力”怎样成功,也解释为什么它可能放大而非缩小数字鸿沟。
Utilization flywheel 与 token economics
上一节解决“选什么模型”,本节回答“怎样让国家级 capacity 真的被使用”。读图时需要区分 installed capacity、available service、实际 utilization 和 application demand:只有调度、模型 onboarding、可靠性和用户采用共同改善,unit cost 才可能下降,并反过来吸引更多有效 workload;单纯增加 rack 不会自动启动飞轮。
\lecturefigure{11-infrastructure-flywheel.png}{Capacity 通过 utilization、unit cost 与 application demand 才形成正反馈。}{本地字幕 27:10--32:20、42:30--45:10;Groq/Aramco Digital 官方背景。}
读图:最低 token price 不是唯一目标
低价格可以扩大 experimentation,但用户还需要 model availability、Arabic/vertical quality、latency、data protection、reliability 和 support。若 workload 不稳定或软件栈难用,capacity 会变成补贴;若应用需求增长而 power 与 network 没有余量,低价承诺又可能损害 SLO。
课堂时点与后续公告要分开
访谈讨论的是 2025 年 3 月可见的 Groq/Aramco Digital 推理合作;之后的 LEAP 2025 扩展公告可用于说明演化,但不能倒写成课堂已经交付的容量。讲义因此只把“快速 onboarding 多模型、降低 inference 门槛”作为机制结论。
Training 与 inference 是两种基础设施形状
\term{training}(训练)通常以大规模同步作业更新参数,追求吞吐和 time-to-train;\term{inference}(推理)用已训练模型响应请求,受 latency、availability、batching、KV cache、地域和持续成本约束。二者共享 accelerator,却不共享完全相同的 topology、scheduler 或 business demand。
\lecturefigure{12-training-inference.png}{Training 更集中和同步,inference 更分布且受 SLO 约束。}{本地字幕 32:20--36:50;概念重绘。}
读图:不要固定一个永久比例
课堂对 training/inference 比例的判断是时点观察。模型研发、fine-tuning、synthetic data、test-time compute、agent loop 与用户增长都会改变 workload mix。Capacity plan 应用 scenario range 和 modular pool,而不是把当前比例外推到设施寿命末期。
数字鸿沟的资源版与能力版
资源版鸿沟是 access price、network 和 accelerator availability;能力版鸿沟是数据、人才、workflow redesign、evaluation 和 procurement。只降低 token price 可能改善前者,却不自动改善后者。公共计划需要把 adoption support 和 outcome measurement 纳入基础设施预算。
本章小结
算力投资只有进入 utilization flywheel 才是 productive asset。Training 与 inference 的资源形状不同,数字普惠也不只是低价 token;software、skills、data 和 organizational adoption 同样是基础设施的一部分。
数据主权与 Data Embassy:位置、控制和恢复是不同问题
国家级系统会遇到 data sovereignty。课堂提到 data embassy 和虚拟化,但这类概念很容易被简化成“数据放在国内/国外”。本节只讨论架构维度,不从访谈推导具体法律结论:location、control、jurisdiction、portability 与 continuity 必须分别设计,并通过合同、技术控制和演练共同验证。
五个问题替代一个 location checkbox
\term{data sovereignty}(数据主权)描述数据受哪些国家法律、控制权与政策约束;\term{data residency}(数据驻留)更窄,关注数据物理或逻辑存放位置;\term{data embassy}(数据使馆)通常指通过特殊法律安排和跨境基础设施,为关键数字资产提供主权保护与连续性。它不是普遍标准产品,必须阅读具体条约和法律文本。
\lecturefigure{13-data-sovereignty.png}{数据主权需要同时设计 location、control、jurisdiction 与 continuity。}{本地字幕 32:20--36:50;Saudi DGA cloud-governance 资料背景。}
读图:架构评审的五个问题
数据在哪里静态存储和处理?谁持有 keys 与 privileged identity?哪个司法辖区可以提出 disclosure?数据和模型能否 portable export?在 provider、region 或国家级网络故障下如何恢复?只有五个问题都有明确 owner 和 test,sovereignty 才从口号变成控制系统。
位置不会自动带来安全或可用性
单一区域本地化可能增加 correlated failure;多区域复制又可能引入跨境和一致性问题。Encryption、key custody、identity、logging、supply-chain assurance、backup integrity 与 restore drill 必须与 location policy 一起设计。
\teachervoice{课堂的价值在于把国家韧性视为 infrastructure requirement,而不是事后合规。讲义进一步补充:任何“数字使馆”方案都必须把法律承诺翻译成 key ownership、replication topology、failover authority 和定期演练。}
本章小结
Data sovereignty 是多维架构问题。Residency 只是其中一个输入;控制权、司法辖区、portability、恢复和审计决定系统在危机时是否真正可用。
AI × Space 与新市场:从传感器到资源决策
访谈的 space 讨论横跨 communication、Earth observation、navigation、农业、水与 lunar robotics。若只把这些项目并列,会变成宣传目录;更有教学价值的结构是 sensing-to-decision chain:space infrastructure 产生数据,AI 解释数据,政府或企业修改 physical action,再用结果校准模型。
Communication、observation 与 harsh environment
本节把课堂的 space 项目重新排列成一条 sensing-to-decision pipeline。读图时先区分 orbit 和 sensor 提供的原始能力,再追踪 imagery、positioning 与 connectivity 怎样进入 AI interpretation,最后检查 farming、water allocation 或 rover action 是否有地面反馈。只有最后一步闭环,space data 才从信息产品转化为资源治理能力。
\lecturefigure{14-ai-space-stack.png}{AI 与 space 的系统链从感知基础设施延伸到资源和物理决策。}{本地字幕 24:00--27:10、48:50--49:20;概念重绘。}
读图:Earth observation 的难点在 label 和 intervention
卫星影像可以识别 land use、植被或水 stress,但模型输出只有进入 inspection、permit、irrigation 或 enforcement workflow 才改变结果。若地面 truth 稀缺、云层和季节变化大、政策干预没有记录,模型精度与真实节水效果之间会断裂。
课堂中的节水和经济比例是讲者口径
字幕给出 desertification、water saving、navigation 和 space-economy 的多个比例,但缺少统一方法和基线。本文不把这些数字作为定量结论,只保留“geospatial sensing + AI + policy action”需要闭环验证的系统模式。
NEOM 与 testbed:新市场不能免除证据要求
新城市或大型项目可以减少 legacy integration,提供统一 identity、sensor 和 infrastructure 标准,因此适合 testbed;但“greenfield”也会放大 scope、capital、governance 和 adoption risk。系统验收仍要从小范围 service SLO、unit economics、safety incident 和 resident outcome 开始,而不是用项目愿景替代运行数据。
Testbed 的四级证据
- prototype 能运行;
- pilot 在受控人群与环境中稳定;
- production 在真实负载、故障和组织约束下持续;
- transfer 能在不同城市、法规和供应商条件下复现。
只有达到后两级,才说明平台能力具有可迁移性。
本章小结
AI × space 的关键不在卫星或 rover 名单,而在 sensing、interpretation、decision 和 outcome 是否闭环。Greenfield testbed 可以加速实验,却不能降低对生产证据和迁移能力的要求。
新计算范式:把 compute 推向 data
课堂后半段回到 hardware research,讨论 in-memory、near-memory、photonics 和 compound semiconductor。它们的共同目标不是简单增加 peak FLOPS,而是减少 data movement、electrical/optical conversion 和 synchronization。读者应把这些方向看成 workload-specific design space,而不是下一代通用架构的确定名单。
In-memory 与 near-memory computing
\term{in-memory computing}(存内计算)让 memory device 在存储数据的位置执行部分运算;\term{near-memory computing}(近存计算)把 compute 放在 memory stack 或附近,以缩短传输路径。二者都试图缓解 von Neumann data movement,但会面对 precision、device variation、endurance、programming model 和 workload mapping 限制。
\lecturefigure{15-compute-near-memory.png}{近存/存内计算通过减少数据搬运交换能效与通用性。}{本地字幕 45:10--47:20;Sebastian et al. 2020。}
读图:为什么“少搬数据”不等于自动省一半电
收益取决于运算是否能映射到 memory primitive、转换精度是否足够、外围 ADC/DAC 与 control 是否昂贵、数据是否需要跨层移动,以及 compiler 能否利用硬件。课堂的百分比应看作研究动机,不是对所有 workload 的保证。
术语消化:Photonic、CXL 与 collectives
三个容易混淆的互连概念
| 术语 | 解决的问题 | 机制与边界 |
|---|---|---|
| Photonic interconnect | 降低长距离高带宽传输的能耗和密度压力 | 用光传输数据,但 electro-optical conversion、laser、packaging 和 control 仍有成本。 |
| CXL | CPU、accelerator 与 memory 的 coherent attachment / pooling | 改善资源组合与共享,不等于消除远端 memory latency 或 contention。 |
| Collectives | 多 GPU 的 all-reduce、all-gather、reduce-scatter、broadcast 等集合通信 | 是 distributed training/serving 的软件语义;性能取决于 topology、message size、overlap 和 library。 |
Architecture religion 与 model religion 同样危险
新架构可能在特定 kernel 上极强,却缺少 compiler、debugger、library、availability 或 multi-tenant isolation。采购和研究都应比较 end-to-end workload、migration cost 与 ecosystem maturity,而不是只依据器件演示或峰值能效。
\teachervoice{讲者向学生发出的邀请很直接:关注 publication、prototype 与 startup signal 的交汇点。讲义把它改写为研究方法——先识别系统瓶颈,再选择可测 workload,最后确认器件收益能穿过 compiler 与 application stack。}
本章小结
新计算范式围绕 data movement 展开。In/near-memory、photonics、CXL 与新材料各自解决不同层次的问题;最终验收仍是端到端 workload 的能效、正确性、可编程性和可靠性。
Robotics:自动化的是任务,不是责任
新硬件和模型进入 physical AI 后,会面对医疗、robotaxi 与 harsh-environment robotics。课堂把它们放在同一问题下,但工程成熟度差异巨大。本节的桥接问题是:系统到底替代了哪个 task、保留了哪个 human role、出现 sensor 或 control failure 时怎样安全退出。
三类 robotics 的不同 safety case
Healthcare robot 可能提高 precision,但 surgeon 和 hospital 承担 clinical responsibility;robotaxi 在开放道路持续感知与控制,需要 operational design domain 和远程支援;lunar/water-scarcity rover 运行在通信延迟和极端环境下,强调 autonomy、fault tolerance 与 energy management。三者不能共享一份泛化“robotics benchmark”。
Physical AI 的最小 safety case
- 定义 operational design domain 与禁止条件;
- 给出 sensor coverage、uncertainty 和 degradation mode;
- 说明 human override、safe stop 与 recovery;
- 记录 action、state、software/model version 和 incident;
- 用真实场景和 rare event 验证,而不仅是平均成功率。
劳动转移不是自动的社会收益
把 repetitive task 交给 robot 可能释放人力,也可能造成技能错配、地区不均与监督劳动增加。系统方案需要同时设计 retraining、transition support、liability 和 service access,不能把“更高价值工作”当作自动发生的结果。
本章小结
Robotics 的成熟度由 task boundary、safety case、human role 和 incident recovery 决定。自动化某个动作不等于转移责任,更不等于整个职业或行业已经被自动化。
Government Agent:从 Task Demo 到 Workflow System
全讲最后一个问题最接近今天的 agent engineering。Alswaha 区分 legacy B2B SaaS 的 AI enhancement 与 AI-native player,并认为难点不只在模型,而在 data、business model 和 human-in-the-loop。更精确地说,task-level success 只有跨过 workflow integration、multi-agent coordination 和 public accountability 三道门,才能成为公共服务系统。
Task、workflow 与 multi-agent 的三次状态扩张
\term{task-level agent} 在局部输入上完成 drafting、classification 或 lookup;\term{workflow-level agent} 跨多个系统、权限和长状态推进 case;\term{multi-agent system} 让多个 agent 分工、共享 memory、协调工具和处理冲突。每次扩张都会增加 state space、failure interaction 与 audit complexity。
\lecturefigure{16-government-agent-maturity.png}{政府 Agent 要依次跨越 task、workflow、multi-agent 和 public accountability。}{本地字幕 49:50--52:17;概念重绘。}
读图:为什么 task demo 最容易成功
Task demo 的输入可人工筛选、状态短、权限少、失败可忽略;真实 workflow 会遇到缺失字段、重复 case、跨部门 ownership、deadline、appeal 和 policy exception。Multi-agent 又引入 shared memory、conflicting plans、deadlock 与 cascading tool error,因此不能用单轮 benchmark 外推生产成功率。
Data layer、human-in-the-loop 与 business model
\term{human-in-the-loop}(人在回路)不是“任何结果都让人点确认”,而是把高风险、低置信、政策例外和申诉路径交给有权限的人,并收集其理由作为改进证据。Data layer 需要 canonical entity、lineage、quality rule、permission 与 retention;business model 则回答谁为部署、错误、人工复核和持续更新付费。
公共服务 Agent 的验收矩阵
| 维度 | 关键问题 | 可测证据 |
|---|---|---|
| 任务质量 | 输出是否正确、完整、可解释? | expert review、error taxonomy、calibration |
| 流程完整性 | 是否正确推进 state 和 exception? | end-to-end case success、rework、deadline miss |
| 公平与权利 | 是否可申诉、是否对群体产生差异影响? | subgroup audit、appeal outcome、override reason |
| 安全与隐私 | 权限、数据和 tool 是否最小化? | access log、red-team、leakage/abuse test |
| 经济性 | 自动化是否真的减少 total cost / cycle time? | compute + integration + human review + incident cost |
“模型不是难点”也不能绝对化
Data 和 workflow 常是主要瓶颈,但 base model 的 language coverage、reasoning、tool reliability、calibration 与 robustness 仍会限制系统。更准确的结论是:模型能力是必要条件,生产成功由 model、data、process、people、policy 和 economics 的乘积决定。
\teachervoice{全讲最值得迁移的 teacher voice 出现在结尾:一些团队把 vertical data 直接接到模型,只得到 task augmentation;真正的 AI-native 系统会重新设计 data creation、human feedback 和 workflow ownership。}
本章小结
Government Agent 的边界不在聊天界面,而在 case state、权限、数据、例外、申诉和责任。Task demo 可以由模型驱动;workflow system 必须由完整的社会技术架构驱动。
总结与延伸
核心结论
十二条可迁移结论
- AI 浪潮只有穿过应用扩散和组织重构,才产生生产率。
- Useful compute 受 semiconductor、memory、interconnect 与 facility 的共同约束。
- Memory wall 包含 capacity、bandwidth 与 communication 三种失配。
- SRAM、DRAM、HBM 与 SSD 必须按 working-set 温度分层使用。
- PUE 只衡量 facility overhead;utilization 与 workload efficiency 同样关键。
- Grid、facility、accelerator 与 model demand 的时钟不同,modularity 用来管理 regret。
- Generative、agentic 与 physical AI 需要不同 evidence 和 accountability。
- 医疗搜索加速不能跳过 clinical governance,机器人手术也不等于 autonomous surgery。
- Model agnostic 是 evaluation-driven portfolio,不是取消标准。
- Capacity 必须进入 utilization--cost--adoption flywheel 才是 productive asset。
- Data sovereignty 要同时设计 location、control、jurisdiction、portability 和 recovery。
- Government Agent 的决定性难点在 workflow、data、human-in-the-loop 与经济责任。
实践作业:设计一个国家级 AI capacity-to-outcome 系统
选择 healthcare、energy、education 或 public administration 之一,完成以下设计:
- 画出 grid power 到 useful outcome 的资源会计链,并定义 PUE、utilization 与 workload efficiency;
- 估算 working set、memory traffic、network traffic 和 latency SLO,判断 compute/memory/network 瓶颈;
- 定义 training 与 inference 的三种 demand scenario,以及设施模块化和采购策略;
- 建立 model-agnostic evaluation 与 routing policy,包含 fallback 和 version rollback;
- 设计 data sovereignty 五维控制,并给出 region/provider failure 演练;
- 把 agent 从 task 扩展到 workflow,列出 state、permission、exception、appeal 和 human gate;
- 定义 adoption、service quality、equity 和 total cost 指标,说明何时停止或缩减项目。
验收标准
高质量方案不会只写“购买 GPU、部署大模型、建设平台”。它应把不可逆的 power/facility 决策与可替换的 hardware/model 分开,把讲者估计与验证事实分开,并给出从 capacity 到 public outcome 的可测中间变量。
拓展阅读
- Gholami et al., AI and Memory Wall。
- Sebastian et al., Memory devices and applications for in-memory computing。
- Saudi Digital Government Authority, Cloud Computing and Digital Transformation。
- KFSHRC, World's first fully robotic heart transplant。
- Groq, Aramco Digital inference partnership 与 later LEAP 2025 expansion。
- Saudi Data and AI Authority, National Strategy for Data & AI。