跳转至

Lecture06

LaTeX 源码

\makecscover

来源审计:这不是项目清单,而是国家级系统设计课

这场访谈由沙特阿拉伯通信与信息技术部长 Abdullah Alswaha 主讲。公开视频在 2026 年 8 月 11 日核验时已经变为 private;仓库仍保存 1266 条时间戳字幕和官方封面,因此本讲以字幕恢复课堂论证,以 Saudi Digital Government Authority、KFSHRC、Groq/Aramco Digital 和技术论文校验关键机制。对 gigawatt、市场规模、成本、节省和生产率等数字,若没有一手文件给出同一口径,本文统一写成讲者估计,不把现场表达升级成审计事实。

全讲的三层因果链

  1. 硬件层:semiconductor、memory、interconnect、cooling 决定 useful compute per watt;
  2. 扩散层:compute capacity 只有经过调度、低成本 inference 和行业 workflow 才转化为应用;
  3. 治理层:data、process、human accountability 和 public value 决定 agent 能否从 demo 进入公共服务。

三类证据必须分开

课堂原话用于还原动机和判断;官方材料用于确认组织、项目或现行机制;工程分析用于解释代价、边界与可迁移结论。三者可以互相支撑,但不能互相替代。尤其是国家项目的计划容量、经济影响和未来市场,只能按其证据等级表述。

Technocrat 与 signal-to-noise ratio

课程把 Alswaha 描述为 \term{technocrat}(技术官僚):并非“工程师天然更适合治理”,而是强调基础设施领导者需要理解系统约束、测量、故障和长期投资。讲者用 \term{signal-to-noise ratio}(SNR,信噪比)概括判断方法。若以 \(P_s\) 表示目标相关证据的强度、\(P_n\) 表示干扰与不确定性,可写成

\[ \mathrm{SNR}=\frac{P_s}{P_n}. \]

这里的公式只是决策类比:提高 SNR 不是忽略异议,而是先明确目标函数、数据质量、可逆性和失败成本,再从宣传、短期波动与未经验证的数字中提取稳定信号。

\teachervoice{Alswaha 用 learn--earn--return 描述职业路径,并把“回到 Stanford”视为向下一代传递问题的机会。真正值得保留的课堂语气不是个人成功叙事,而是:技术人才应把能力投向有长期公共价值、同时又能被工程验证的问题。}

本章小结

本讲的核心不是评价某个国家战略,而是学习国家级 AI 系统怎样拆成可验证的硬件、应用与治理问题。后文所有案例都回到同一标准:输入是什么、瓶颈在哪里、结果怎样测量、谁承担失败。

从互联网浪潮到 AI 浪潮:基础设施只是必要条件

讲者把今天的 AI 与早期互联网作类比:初期资本和注意力集中在路由器、交换机、accelerator 与数据中心;真正改变生产率的阶段,则发生在 telemedicine、education、GovTech 和企业流程开始重构之后。本节因此不问“算力是否重要”,而问“算力怎样穿过组织边界,变成稳定服务和可测结果”。

四步扩散链:capacity、application、organization、outcome

本节把上一段历史类比转换成可验收的系统链。基础设施扩散可以分为四步:第一步提供技术容量;第二步出现具体行业 application trigger;第三步组织修改数据流、权限和工作方式;第四步才产生服务质量、生产率或福利结果。读图时先找每一步的 owner、输入和指标;任一步断裂,硬件投资都可能停留在低利用率、演示项目或不可持续补贴。

\lecturefigure{01-infrastructure-diffusion.png}{基础设施只有经过应用触发和组织重构,才形成可测量结果。}{本地字幕 03:40--06:20;概念重绘。}

读图:先找断点,不要直接连 GDP

读图时从右向左问:目标 outcome 用什么指标衡量?哪个 workflow 真正改变?应用依赖什么数据、人才和采购?最后才问需要多少 accelerator。若一份方案只描述左侧 capacity,却没有右侧的 adoption、feedback 和 retirement rule,它仍是资源计划,不是转型计划。

基础设施扩散的最小验收式

可把项目价值粗略拆为

\[ V \approx C\times U\times A\times Q, \]

其中 \(C\) 是可用 capacity,\(U\) 是有效利用率,\(A\) 是 adoption,\(Q\) 是单位使用带来的质量或生产率改进。任何一项接近零,单纯扩大 \(C\) 都难以创造结果。该式不用于精确估值,而用于迫使方案补齐中间环节。

历史类比不能替代当代约束

互联网和 AI 都经历 infrastructure-first 阶段,但 AI 还受到训练数据、模型更新、推理成本、内容安全、自动化权限和 human accountability 的约束。类比的价值在于提醒“应用扩散晚于硬件热潮”,不能据此推出两条产业曲线会以相同速度或相同赢家重演。

本章小结

国家级 AI 不能只用购置量、MW 或模型参数衡量。可迁移的方法是建立从 capacity 到 outcome 的完整链路,并为 utilization、adoption、quality 与退出机制分别设置指标。

能效问题栈:FLOPS 之外还有三堵墙

从应用扩散回到底层,首先遇到的是能效。讲者列出 semiconductor、memory、interconnect 与 cooling 四个方向,实际想表达的是:AI system 的吞吐受最慢资源限制,峰值 FLOPS 只是一个上界。本节用 roofline 式思维把这些约束统一起来,避免把所有瓶颈都叫“缺 GPU”。

Von Neumann bottleneck 与 data movement

\term{von Neumann bottleneck}(冯·诺依曼瓶颈)指处理器执行单元与存储分离,数据和指令必须在 memory hierarchy 与 compute 之间移动。许多 AI kernel 的能量和时间并不消耗在乘加本身,而消耗在读取 weights、KV cache、activations 和跨设备交换。对一个 workload,可写出简化下界

\[ T_{step}\geq \max\left(\frac{F}{C},\frac{B_m}{BW_m},\frac{B_n}{BW_n}\right), \]

其中 \(F\) 是所需运算量,\(C\) 是有效计算吞吐;\(B_m\)\(BW_m\) 分别是 memory traffic 和 memory bandwidth;\(B_n\)\(BW_n\) 是 network traffic 与 interconnect bandwidth。公式说明:只提高 \(C\),另外两项仍可能主导时间。

\lecturefigure{02-efficiency-stack.png}{AI 能效需要同时检查 semiconductor、memory、interconnect 和 facility。}{本地字幕 06:20--12:00;概念重绘。}

读图:四层不是四个独立项目

新 semiconductor 可能提高 rack density,进而改变 cooling 和供电;更大 \term{High Bandwidth Memory}(HBM,高带宽堆叠 DRAM)可能减少跨卡通信,却提高封装成本;optical interconnect 可能降低长距离传输损失,却引入新器件和软件栈。正确问题是端到端 workload 获得多少 SLO-compliant tokens per watt,而不是某个器件的峰值指标是否更漂亮。

Compound semiconductor 解决什么,不解决什么

\term{compound semiconductor}(化合物半导体)由两种或多种元素组成,例如 GaN(gallium nitride,氮化镓)或 SiC(silicon carbide,碳化硅)。它们在高电压、高频和功率转换中可提供更好的击穿场强或效率,因此适合电源、射频和光电器件;但“从 silicon 全面迁移”不是一个单一开关。逻辑芯片、memory、power electronics 与 photonics 对材料、制造良率和成本的要求不同。

课堂中的器件比喻不能当产品路线图

字幕把 switching voltage、leakage 和 compound materials 混在一个快速回答里。讲义保留“器件层仍有能效空间”的判断,但不把某个材料直接宣称为通用 GPU 替代品。技术可行性还取决于 process integration、yield、packaging、toolchain 与规模经济。

本章小结

AI 基础设施的能效是端到端系统属性。算术、memory、network 和 facility 任何一层不足,都可能让昂贵 accelerator 等待;研究与采购都应以真实 workload 的 useful output 为共同指标。

Memory Wall:模型增长快于数据供给能力

上一章给出资源下界,本章聚焦课堂反复强调的 memory wall。Gholami 等人在 AI and Memory Wall 中讨论了模型规模、memory capacity、bandwidth 与通信增长不匹配的问题。对 LLM 来说,training 需要参数、optimizer state、gradient 与 activation;inference 还要管理 KV cache。模型“放得下”与模型“喂得饱”是两个不同条件。

容量墙、带宽墙与通信墙

本节进一步把“memory wall”拆成三个可测问题:模型和运行状态能否放下、单位时间能否被送到 compute、扩展到多卡后能否高效同步。读下面的图时不要把右侧统称为“memory 不够”,而要分别记录 capacity、bandwidth 和 communication 的证据,因为三类问题需要不同的硬件和软件修复。

\lecturefigure{03-memory-wall.png}{Memory wall 的本质是 compute throughput 与 data supply 的速率失配。}{本地字幕 08:20--10:30;Gholami et al., AI and Memory Wall。}

读图:先区分三种 wall

Capacity wall 问参数、KV cache 和 activation 是否能放入 memory;bandwidth wall 问单位时间能否把数据送到 compute;communication wall 问多设备间同步和重分布是否吞掉扩展收益。三者可能同时存在,解决其中一个会把瓶颈暴露到下一层。

Arithmetic intensity 决定“算力还是带宽”

定义 arithmetic intensity

\[ I=\frac{F}{B_m}, \]

即每搬运一个 byte 完成多少次运算。若 \(I\) 很低,即使 accelerator 峰值吞吐很高,kernel 也更可能受 memory bandwidth 限制;fusion、tiling、quantization 和 cache reuse 的价值,都可以理解为提高有效 \(I\) 或减少 \(B_m\)

术语消化:SRAM、DRAM、HBM 与 storage

这组词经常被字幕和市场材料混为“memory”。读者应先掌握它们在 hierarchy 中的角色,再理解 Groq、NPU、GPU 或新架构的差异。

背景概念:四类存储层

术语 主要特征 在 AI 系统中的角色与限制
SRAM Static Random-Access Memory,片上高速缓存,低延迟但面积昂贵 适合小而热的数据和确定性访问;容量小,不等于通用模型存储。
DRAM Dynamic Random-Access Memory,需要刷新,容量较大 主存或 accelerator 外部 memory;延迟和带宽受接口、封装与并发访问影响。
HBM High Bandwidth Memory,高带宽堆叠 DRAM 通过宽接口提供高吞吐;容量、封装供给、成本和功耗仍是约束。
SSD 持久存储,容量大但延迟远高于 memory 保存 checkpoint、模型 artifact 与冷数据;通常需要 staging,不能直接替代 HBM。

\lecturefigure{04-memory-hierarchy.png}{不同 memory tier 在 latency、bandwidth、capacity 和 energy 上交换。}{本地字幕 09:00--11:10;概念重绘。}

读图:模型 serving 要按“温度”放数据

最热的 kernel state 和小型 buffer 留在 on-chip SRAM;活跃 weights 与 KV cache 争夺 HBM;更大的 host memory 承担 staging;SSD 保存冷模型和 checkpoint。若 routing 频繁切换模型,冷启动和搬运会成为主要成本,因此 model portfolio 设计必须与 memory placement 联动。

“某芯片只适合文本”不是稳定结论

课堂用具体公司快速说明 SRAM/DRAM/HBM 取舍,但产品能力会随 compiler、model support、memory topology 和 serving software 演化。讲义保留 hierarchy 原理,不把 2025 年现场判断当作永久产品分类。

本章小结

Memory wall 不是单一器件短缺,而是 capacity、bandwidth、communication 与 software locality 的组合问题。选择芯片之前,应先量化模型的 working set、bytes per token、KV cache 增长与跨设备 traffic。

数据中心经济学:从 grid MW 到 useful tokens

有了芯片并不等于拥有可用算力。电网输入要经过供配电、UPS、cooling、network、storage、CPU 和 accelerator,最终只有一部分变成满足质量与延迟目标的 useful work。本节把讲者的 gigawatt 和 facility-cost 讨论转成资源会计框架,不复述未经审计的绝对数字。

PUE、利用率与 workload efficiency

\term{PUE}(Power Usage Effectiveness)定义为

\[ \mathrm{PUE}=\frac{P_{facility}}{P_{IT}}, \]

其中 \(P_{facility}\) 是数据中心总功率,\(P_{IT}\) 是服务器、network 和 storage 等 IT load。PUE 越接近 1,facility overhead 越低;但它不说明 accelerator 是否被充分利用,也不说明模型是否以最低成本满足 SLO。

\lecturefigure{05-power-budget.png}{Facility power 经过 overhead 与 IT load 后,才产生 useful accelerator work。}{本地字幕 10:30--14:50;概念重绘。}

读图:三个效率指标缺一不可

Facility efficiency 看 PUE;hardware utilization 看 accelerator busy time、memory 和 network stall;workload efficiency 看 tokens、samples 或 training progress 相对于资源。低 PUE 的空闲集群仍然浪费,高利用率但生成失败结果的系统也没有价值。

Useful compute per grid watt

可用一个诊断式表达

\[ \eta_{grid}=\frac{U\cdot \eta_{workload}}{\mathrm{PUE}}, \]

其中 \(U\) 是 IT 资源有效利用率,\(\eta_{workload}\) 是单位 IT power 产生的合格工作量。提高 \(U\) 可能依靠 batching、scheduling 与 demand aggregation;提高 \(\eta_{workload}\) 可能依靠更好的 kernel、model routing、quantization 和 cache。

规划时钟:电力、建筑、芯片、模型并不同步

国家级项目最危险的并非“预测不准”,而是把不同寿命的决策锁在一起。grid 与 site 可能按十年规划;facility shell 需要多年建设;accelerator 与 rack density 快速变化;model demand 又受算法和产品影响。读者需要把不可逆的土建与可替换的 compute module 分层。

\lecturefigure{06-planning-clocks.png}{国家 AI 基础设施同时运行在四个互相冲突的时间尺度上。}{本地字幕 14:45--16:10;概念重绘。}

读图:用 modularity 管理 regret

电力与土地层保留 headroom;facility 支持更高密度 cooling 和 network retrofit;rack 与 accelerator 尽量模块化;software 保持模型和硬件可移植。Modularity 会增加初始成本,却能降低“数据中心上线时已经不适合新一代 rack”的路径依赖。

计划容量不等于在线容量

现场提到的 1.5--2 GW、建设周期和单位成本属于课堂口径。正式评估必须区分 announced、contracted、under construction、energized、installed、available 与 utilized capacity;否则一个数字会混合土地、电力、building shell 和可服务 token 的不同阶段。

\teachervoice{讲者的工程直觉是“尽量把电送到 accelerator”。更完整的讲义版本应再加一句:accelerator 只有被可靠 workload 使用时才是生产资产;capacity planning 必须同时建设 scheduler、software、人才、模型 onboarding 与 demand pipeline。}

本章小结

数据中心经济学必须从 grid watt 一直核算到 useful outcome。PUE、utilization、workload efficiency 和 planning clocks 共同决定总成本,单独展示任何一个指标都可能误导。

三类 AI frontier:生成、行动与物理控制

底层资源会进入不同应用形态。课堂把重点分成 generative、agentic 与 physical AI,这个分类的教学价值在于:三者的 failure mode 和 evidence 完全不同。生成内容可以离线评测;agent 会改变 workflow state;physical system 直接影响人和设备,因此验证、权限和恢复要求逐级上升。

从输出质量到行动安全

上一节已经说明三类 AI 系统拥有不同的行动半径;本节把这个差异转成验证要求。读图时沿着 generative、agentic、physical 的顺序观察:系统从“生成候选”扩展到“修改数字状态”,再扩展到“控制物理世界”,每一步都会增加权限、影响、发现延迟和恢复成本,因此不能沿用同一套 benchmark。

\lecturefigure{07-three-ai-frontiers.png}{Generative、agentic 与 physical AI 需要逐级增强的证据和问责。}{本地字幕 16:10--20:20;概念重绘。}

读图:同一个 benchmark 不能验证三层系统

Generative AI 可看 factuality、utility 与 diversity;agentic AI 还要看 tool correctness、state transition、retry 和 exception handling;physical AI 必须加入 sensor failure、control stability、safe stop、human override 与现场法规。模型得分只是系统证据的一部分。

行动半径越大,验证成本越高

可把风险粗略理解为

\[ R \propto P(failure)\times I(impact)\times D_{detect}, \]

其中 \(P(failure)\) 是失败概率,\(I(impact)\) 是影响,\(D_{detect}\) 是发现和纠正延迟。Agent 获得更多权限时,即便模型错误率不变,影响和恢复延迟也可能放大,因此要增加权限最小化、simulation、approval gate 与 rollback。

医疗:搜索加速不等于治理消失

课堂以药物配方和机器人心脏移植说明 AI 进入医疗。KFSHRC 官方材料确认 2024 年完成 fully robotic heart transplant;这里的“fully robotic”描述手术路径和 robotic system 使用,不应改写成没有医生负责的 autonomous surgery。类似地,AI 可以缩短 candidate generation 和 formulation search,clinical trial、regulatory review 与长期安全证据仍然存在。

\lecturefigure{08-healthcare-boundaries.png}{医疗 AI 可压缩研究搜索,但不能跳过临床证据与责任边界。}{本地字幕 16:40--18:20;KFSHRC 官方全机器人心脏移植资料。}

读图:两条时间线不要相加

左侧是 research loop:生成候选、预测性质、安排实验;右侧是 care delivery:患者选择、手术计划、医生控制、术后监测。AI 可以改善两条链的部分步骤,但每条链有不同数据、伦理、监管和责任主体。

“十年变两年”应理解为课堂案例

字幕中的周期数字没有足够材料确认其起点、终点和疾病项目。讲义只保留可迁移结论:AI 可能缩短配方与实验搜索,但不能据此声称完整 drug development 或 approval 周期按相同比例压缩。

能源:Agent 必须进入闭环,而不是生成建议

能源行业拥有 sensor、maintenance、geology 和 operational history,也有高安全成本。讲者提到 corrosion 与 drilling,真正的系统问题是:模型建议怎样进入 work order、由谁批准、结果怎样回流、异常怎样停机。没有 outcome capture 的 agent 只能生成分析,无法形成可持续的 operational learning。

\lecturefigure{09-energy-agent-loop.png}{垂直 Agent 需要数据、建议、人工决策和结果反馈构成闭环。}{本地字幕 18:20--20:20;概念重绘。}

读图:为什么 domain data 仍然不够

历史数据可能反映旧设备、旧策略与 selection bias;传感器缺失会制造 false confidence;成功 operation 往往没有详细标签。Agent 因此需要 uncertainty、operator rationale、counterfactual 和 incident review,而不是把 proprietary data 直接丢给通用模型。

\teachervoice{课堂把国家的既有行业能力视为 AI use case 起点:能源国家不必只训练“大而全”的模型,可以先在高价值、高数据密度、可反馈的 workflow 建立优势。这比“先有模型,再找问题”更接近系统工程。}

本章小结

三类 AI frontier 的共同底座是模型与算力,真正差异却在行动半径、数据闭环和责任结构。越接近公共服务与物理世界,越不能用单一 benchmark 代表系统成熟度。

Model Agnostic:没有模型宗教,但要有评测纪律

从行业案例继续向上,讲者提出 model agnostic:不因 open/closed、small/large 或某个 vendor 建立身份认同,而按生命、效率和生产率目标选择模型。这个立场不是“模型都一样”,而是要求建立更严格的 task contract、evaluation、routing、fallback 和 version governance。

Portfolio selection 而非一次性 winner

本节把“no model religion”落实成持续选择流程,而不是一句供应商中立口号。读图时先从 task contract 出发,再比较候选、证据和 routing policy;这样即使模型能力和价格快速变化,系统仍能解释为什么某类请求使用某个模型、何时 fallback、怎样回滚,以及哪些治理约束不可被性能提升覆盖。

\lecturefigure{10-model-agnostic.png}{Model-agnostic 策略以任务、候选组合、证据和 routing policy 为主线。}{本地字幕 20:20--23:40;概念重绘。}

读图:四步避免 model religion

先定义任务质量、latency、privacy、language 和 cost;再建立 open/closed、small/large、general/specialist 候选;随后运行 offline/online eval 与 red-team;最后把选择写成可审计 routing policy。新模型进入时重新比较,而不是自动替换所有路径。

模型选择是约束优化

可写为

\[ m^*=\arg\max_m Q(m)\quad \text{s.t.}\quad L(m)\leq L_{max},\ C(m)\leq C_{max},\ G(m)=1, \]

其中 \(Q\) 是任务质量,\(L\) 是 latency,\(C\) 是成本,\(G\) 表示治理、数据和部署约束是否满足。若任务分布不同,最优解可以是 routing 或 ensemble,而不是单个模型。

Model agnostic 不等于供应链无关

模型可以替换,tokenizer、tool schema、safety policy、observability、fine-tuning data 和 evaluation history 却未必可移植。真正的 portability 需要 versioned interface、prompt contract、data export、fallback 和 rollback,而不是在 UI 中增加一个下拉菜单。

\teachervoice{讲者用“no technology religion”延伸出“no model religion”。这句话的工程版本是:对架构保持可证伪,对供应商保持可替换,对每次迁移保留可比较证据。}

本章小结

Model agnostic 是 evaluation-driven portfolio,而非“任何模型都行”。任务契约、约束、版本和 routing 共同决定选择;越频繁更换模型,越需要稳定的系统接口和回归测试。

算力扩散:Capacity、Inference 与数字鸿沟

模型组合最终仍要落在基础设施上。课堂把大规模投资称为 no-regret,但系统上只有在 capacity 被利用、inference 可负担、应用可进入、收益可反馈时,这个判断才成立。本节用 flywheel 分析“买算力”怎样成功,也解释为什么它可能放大而非缩小数字鸿沟。

Utilization flywheel 与 token economics

上一节解决“选什么模型”,本节回答“怎样让国家级 capacity 真的被使用”。读图时需要区分 installed capacity、available service、实际 utilization 和 application demand:只有调度、模型 onboarding、可靠性和用户采用共同改善,unit cost 才可能下降,并反过来吸引更多有效 workload;单纯增加 rack 不会自动启动飞轮。

\lecturefigure{11-infrastructure-flywheel.png}{Capacity 通过 utilization、unit cost 与 application demand 才形成正反馈。}{本地字幕 27:10--32:20、42:30--45:10;Groq/Aramco Digital 官方背景。}

读图:最低 token price 不是唯一目标

低价格可以扩大 experimentation,但用户还需要 model availability、Arabic/vertical quality、latency、data protection、reliability 和 support。若 workload 不稳定或软件栈难用,capacity 会变成补贴;若应用需求增长而 power 与 network 没有余量,低价承诺又可能损害 SLO。

课堂时点与后续公告要分开

访谈讨论的是 2025 年 3 月可见的 Groq/Aramco Digital 推理合作;之后的 LEAP 2025 扩展公告可用于说明演化,但不能倒写成课堂已经交付的容量。讲义因此只把“快速 onboarding 多模型、降低 inference 门槛”作为机制结论。

Training 与 inference 是两种基础设施形状

\term{training}(训练)通常以大规模同步作业更新参数,追求吞吐和 time-to-train;\term{inference}(推理)用已训练模型响应请求,受 latency、availability、batching、KV cache、地域和持续成本约束。二者共享 accelerator,却不共享完全相同的 topology、scheduler 或 business demand。

\lecturefigure{12-training-inference.png}{Training 更集中和同步,inference 更分布且受 SLO 约束。}{本地字幕 32:20--36:50;概念重绘。}

读图:不要固定一个永久比例

课堂对 training/inference 比例的判断是时点观察。模型研发、fine-tuning、synthetic data、test-time compute、agent loop 与用户增长都会改变 workload mix。Capacity plan 应用 scenario range 和 modular pool,而不是把当前比例外推到设施寿命末期。

数字鸿沟的资源版与能力版

资源版鸿沟是 access price、network 和 accelerator availability;能力版鸿沟是数据、人才、workflow redesign、evaluation 和 procurement。只降低 token price 可能改善前者,却不自动改善后者。公共计划需要把 adoption support 和 outcome measurement 纳入基础设施预算。

本章小结

算力投资只有进入 utilization flywheel 才是 productive asset。Training 与 inference 的资源形状不同,数字普惠也不只是低价 token;software、skills、data 和 organizational adoption 同样是基础设施的一部分。

数据主权与 Data Embassy:位置、控制和恢复是不同问题

国家级系统会遇到 data sovereignty。课堂提到 data embassy 和虚拟化,但这类概念很容易被简化成“数据放在国内/国外”。本节只讨论架构维度,不从访谈推导具体法律结论:location、control、jurisdiction、portability 与 continuity 必须分别设计,并通过合同、技术控制和演练共同验证。

五个问题替代一个 location checkbox

\term{data sovereignty}(数据主权)描述数据受哪些国家法律、控制权与政策约束;\term{data residency}(数据驻留)更窄,关注数据物理或逻辑存放位置;\term{data embassy}(数据使馆)通常指通过特殊法律安排和跨境基础设施,为关键数字资产提供主权保护与连续性。它不是普遍标准产品,必须阅读具体条约和法律文本。

\lecturefigure{13-data-sovereignty.png}{数据主权需要同时设计 location、control、jurisdiction 与 continuity。}{本地字幕 32:20--36:50;Saudi DGA cloud-governance 资料背景。}

读图:架构评审的五个问题

数据在哪里静态存储和处理?谁持有 keys 与 privileged identity?哪个司法辖区可以提出 disclosure?数据和模型能否 portable export?在 provider、region 或国家级网络故障下如何恢复?只有五个问题都有明确 owner 和 test,sovereignty 才从口号变成控制系统。

位置不会自动带来安全或可用性

单一区域本地化可能增加 correlated failure;多区域复制又可能引入跨境和一致性问题。Encryption、key custody、identity、logging、supply-chain assurance、backup integrity 与 restore drill 必须与 location policy 一起设计。

\teachervoice{课堂的价值在于把国家韧性视为 infrastructure requirement,而不是事后合规。讲义进一步补充:任何“数字使馆”方案都必须把法律承诺翻译成 key ownership、replication topology、failover authority 和定期演练。}

本章小结

Data sovereignty 是多维架构问题。Residency 只是其中一个输入;控制权、司法辖区、portability、恢复和审计决定系统在危机时是否真正可用。

AI × Space 与新市场:从传感器到资源决策

访谈的 space 讨论横跨 communication、Earth observation、navigation、农业、水与 lunar robotics。若只把这些项目并列,会变成宣传目录;更有教学价值的结构是 sensing-to-decision chain:space infrastructure 产生数据,AI 解释数据,政府或企业修改 physical action,再用结果校准模型。

Communication、observation 与 harsh environment

本节把课堂的 space 项目重新排列成一条 sensing-to-decision pipeline。读图时先区分 orbit 和 sensor 提供的原始能力,再追踪 imagery、positioning 与 connectivity 怎样进入 AI interpretation,最后检查 farming、water allocation 或 rover action 是否有地面反馈。只有最后一步闭环,space data 才从信息产品转化为资源治理能力。

\lecturefigure{14-ai-space-stack.png}{AI 与 space 的系统链从感知基础设施延伸到资源和物理决策。}{本地字幕 24:00--27:10、48:50--49:20;概念重绘。}

读图:Earth observation 的难点在 label 和 intervention

卫星影像可以识别 land use、植被或水 stress,但模型输出只有进入 inspection、permit、irrigation 或 enforcement workflow 才改变结果。若地面 truth 稀缺、云层和季节变化大、政策干预没有记录,模型精度与真实节水效果之间会断裂。

课堂中的节水和经济比例是讲者口径

字幕给出 desertification、water saving、navigation 和 space-economy 的多个比例,但缺少统一方法和基线。本文不把这些数字作为定量结论,只保留“geospatial sensing + AI + policy action”需要闭环验证的系统模式。

NEOM 与 testbed:新市场不能免除证据要求

新城市或大型项目可以减少 legacy integration,提供统一 identity、sensor 和 infrastructure 标准,因此适合 testbed;但“greenfield”也会放大 scope、capital、governance 和 adoption risk。系统验收仍要从小范围 service SLO、unit economics、safety incident 和 resident outcome 开始,而不是用项目愿景替代运行数据。

Testbed 的四级证据

  1. prototype 能运行;
  2. pilot 在受控人群与环境中稳定;
  3. production 在真实负载、故障和组织约束下持续;
  4. transfer 能在不同城市、法规和供应商条件下复现。

只有达到后两级,才说明平台能力具有可迁移性。

本章小结

AI × space 的关键不在卫星或 rover 名单,而在 sensing、interpretation、decision 和 outcome 是否闭环。Greenfield testbed 可以加速实验,却不能降低对生产证据和迁移能力的要求。

新计算范式:把 compute 推向 data

课堂后半段回到 hardware research,讨论 in-memory、near-memory、photonics 和 compound semiconductor。它们的共同目标不是简单增加 peak FLOPS,而是减少 data movement、electrical/optical conversion 和 synchronization。读者应把这些方向看成 workload-specific design space,而不是下一代通用架构的确定名单。

In-memory 与 near-memory computing

\term{in-memory computing}(存内计算)让 memory device 在存储数据的位置执行部分运算;\term{near-memory computing}(近存计算)把 compute 放在 memory stack 或附近,以缩短传输路径。二者都试图缓解 von Neumann data movement,但会面对 precision、device variation、endurance、programming model 和 workload mapping 限制。

\lecturefigure{15-compute-near-memory.png}{近存/存内计算通过减少数据搬运交换能效与通用性。}{本地字幕 45:10--47:20;Sebastian et al. 2020。}

读图:为什么“少搬数据”不等于自动省一半电

收益取决于运算是否能映射到 memory primitive、转换精度是否足够、外围 ADC/DAC 与 control 是否昂贵、数据是否需要跨层移动,以及 compiler 能否利用硬件。课堂的百分比应看作研究动机,不是对所有 workload 的保证。

术语消化:Photonic、CXL 与 collectives

三个容易混淆的互连概念

术语 解决的问题 机制与边界
Photonic interconnect 降低长距离高带宽传输的能耗和密度压力 用光传输数据,但 electro-optical conversion、laser、packaging 和 control 仍有成本。
CXL CPU、accelerator 与 memory 的 coherent attachment / pooling 改善资源组合与共享,不等于消除远端 memory latency 或 contention。
Collectives 多 GPU 的 all-reduce、all-gather、reduce-scatter、broadcast 等集合通信 是 distributed training/serving 的软件语义;性能取决于 topology、message size、overlap 和 library。

Architecture religion 与 model religion 同样危险

新架构可能在特定 kernel 上极强,却缺少 compiler、debugger、library、availability 或 multi-tenant isolation。采购和研究都应比较 end-to-end workload、migration cost 与 ecosystem maturity,而不是只依据器件演示或峰值能效。

\teachervoice{讲者向学生发出的邀请很直接:关注 publication、prototype 与 startup signal 的交汇点。讲义把它改写为研究方法——先识别系统瓶颈,再选择可测 workload,最后确认器件收益能穿过 compiler 与 application stack。}

本章小结

新计算范式围绕 data movement 展开。In/near-memory、photonics、CXL 与新材料各自解决不同层次的问题;最终验收仍是端到端 workload 的能效、正确性、可编程性和可靠性。

Robotics:自动化的是任务,不是责任

新硬件和模型进入 physical AI 后,会面对医疗、robotaxi 与 harsh-environment robotics。课堂把它们放在同一问题下,但工程成熟度差异巨大。本节的桥接问题是:系统到底替代了哪个 task、保留了哪个 human role、出现 sensor 或 control failure 时怎样安全退出。

三类 robotics 的不同 safety case

Healthcare robot 可能提高 precision,但 surgeon 和 hospital 承担 clinical responsibility;robotaxi 在开放道路持续感知与控制,需要 operational design domain 和远程支援;lunar/water-scarcity rover 运行在通信延迟和极端环境下,强调 autonomy、fault tolerance 与 energy management。三者不能共享一份泛化“robotics benchmark”。

Physical AI 的最小 safety case

  1. 定义 operational design domain 与禁止条件;
  2. 给出 sensor coverage、uncertainty 和 degradation mode;
  3. 说明 human override、safe stop 与 recovery;
  4. 记录 action、state、software/model version 和 incident;
  5. 用真实场景和 rare event 验证,而不仅是平均成功率。

劳动转移不是自动的社会收益

把 repetitive task 交给 robot 可能释放人力,也可能造成技能错配、地区不均与监督劳动增加。系统方案需要同时设计 retraining、transition support、liability 和 service access,不能把“更高价值工作”当作自动发生的结果。

本章小结

Robotics 的成熟度由 task boundary、safety case、human role 和 incident recovery 决定。自动化某个动作不等于转移责任,更不等于整个职业或行业已经被自动化。

Government Agent:从 Task Demo 到 Workflow System

全讲最后一个问题最接近今天的 agent engineering。Alswaha 区分 legacy B2B SaaS 的 AI enhancement 与 AI-native player,并认为难点不只在模型,而在 data、business model 和 human-in-the-loop。更精确地说,task-level success 只有跨过 workflow integration、multi-agent coordination 和 public accountability 三道门,才能成为公共服务系统。

Task、workflow 与 multi-agent 的三次状态扩张

\term{task-level agent} 在局部输入上完成 drafting、classification 或 lookup;\term{workflow-level agent} 跨多个系统、权限和长状态推进 case;\term{multi-agent system} 让多个 agent 分工、共享 memory、协调工具和处理冲突。每次扩张都会增加 state space、failure interaction 与 audit complexity。

\lecturefigure{16-government-agent-maturity.png}{政府 Agent 要依次跨越 task、workflow、multi-agent 和 public accountability。}{本地字幕 49:50--52:17;概念重绘。}

读图:为什么 task demo 最容易成功

Task demo 的输入可人工筛选、状态短、权限少、失败可忽略;真实 workflow 会遇到缺失字段、重复 case、跨部门 ownership、deadline、appeal 和 policy exception。Multi-agent 又引入 shared memory、conflicting plans、deadlock 与 cascading tool error,因此不能用单轮 benchmark 外推生产成功率。

Data layer、human-in-the-loop 与 business model

\term{human-in-the-loop}(人在回路)不是“任何结果都让人点确认”,而是把高风险、低置信、政策例外和申诉路径交给有权限的人,并收集其理由作为改进证据。Data layer 需要 canonical entity、lineage、quality rule、permission 与 retention;business model 则回答谁为部署、错误、人工复核和持续更新付费。

公共服务 Agent 的验收矩阵

维度 关键问题 可测证据
任务质量 输出是否正确、完整、可解释? expert review、error taxonomy、calibration
流程完整性 是否正确推进 state 和 exception? end-to-end case success、rework、deadline miss
公平与权利 是否可申诉、是否对群体产生差异影响? subgroup audit、appeal outcome、override reason
安全与隐私 权限、数据和 tool 是否最小化? access log、red-team、leakage/abuse test
经济性 自动化是否真的减少 total cost / cycle time? compute + integration + human review + incident cost

“模型不是难点”也不能绝对化

Data 和 workflow 常是主要瓶颈,但 base model 的 language coverage、reasoning、tool reliability、calibration 与 robustness 仍会限制系统。更准确的结论是:模型能力是必要条件,生产成功由 model、data、process、people、policy 和 economics 的乘积决定。

\teachervoice{全讲最值得迁移的 teacher voice 出现在结尾:一些团队把 vertical data 直接接到模型,只得到 task augmentation;真正的 AI-native 系统会重新设计 data creation、human feedback 和 workflow ownership。}

本章小结

Government Agent 的边界不在聊天界面,而在 case state、权限、数据、例外、申诉和责任。Task demo 可以由模型驱动;workflow system 必须由完整的社会技术架构驱动。

总结与延伸

核心结论

十二条可迁移结论

  1. AI 浪潮只有穿过应用扩散和组织重构,才产生生产率。
  2. Useful compute 受 semiconductor、memory、interconnect 与 facility 的共同约束。
  3. Memory wall 包含 capacity、bandwidth 与 communication 三种失配。
  4. SRAM、DRAM、HBM 与 SSD 必须按 working-set 温度分层使用。
  5. PUE 只衡量 facility overhead;utilization 与 workload efficiency 同样关键。
  6. Grid、facility、accelerator 与 model demand 的时钟不同,modularity 用来管理 regret。
  7. Generative、agentic 与 physical AI 需要不同 evidence 和 accountability。
  8. 医疗搜索加速不能跳过 clinical governance,机器人手术也不等于 autonomous surgery。
  9. Model agnostic 是 evaluation-driven portfolio,不是取消标准。
  10. Capacity 必须进入 utilization--cost--adoption flywheel 才是 productive asset。
  11. Data sovereignty 要同时设计 location、control、jurisdiction、portability 和 recovery。
  12. Government Agent 的决定性难点在 workflow、data、human-in-the-loop 与经济责任。

实践作业:设计一个国家级 AI capacity-to-outcome 系统

选择 healthcare、energy、education 或 public administration 之一,完成以下设计:

  1. 画出 grid power 到 useful outcome 的资源会计链,并定义 PUE、utilization 与 workload efficiency;
  2. 估算 working set、memory traffic、network traffic 和 latency SLO,判断 compute/memory/network 瓶颈;
  3. 定义 training 与 inference 的三种 demand scenario,以及设施模块化和采购策略;
  4. 建立 model-agnostic evaluation 与 routing policy,包含 fallback 和 version rollback;
  5. 设计 data sovereignty 五维控制,并给出 region/provider failure 演练;
  6. 把 agent 从 task 扩展到 workflow,列出 state、permission、exception、appeal 和 human gate;
  7. 定义 adoption、service quality、equity 和 total cost 指标,说明何时停止或缩减项目。

验收标准

高质量方案不会只写“购买 GPU、部署大模型、建设平台”。它应把不可逆的 power/facility 决策与可替换的 hardware/model 分开,把讲者估计与验证事实分开,并给出从 capacity 到 public outcome 的可测中间变量。

拓展阅读

  1. Gholami et al., AI and Memory Wall
  2. Sebastian et al., Memory devices and applications for in-memory computing
  3. Saudi Digital Government Authority, Cloud Computing and Digital Transformation
  4. KFSHRC, World's first fully robotic heart transplant
  5. Groq, Aramco Digital inference partnershiplater LEAP 2025 expansion
  6. Saudi Data and AI Authority, National Strategy for Data & AI