\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.35cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{booktabs}
\usepackage{tabularx}
\usepackage{longtable}
\usepackage{array}
\usepackage{float}
\usepackage{xcolor}
\usepackage{hyperref}
\usepackage{fancyhdr}
\hypersetup{colorlinks=true, linkcolor=blue!55!black, urlcolor=blue!60!black}
\graphicspath{{./}{figures/}}
\setlength{\parskip}{0.55em}
\setlength{\parindent}{2em}
\setlength{\emergencystretch}{3em}
\renewcommand{\arraystretch}{1.18}
\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!70!black, colbacktitle=blue!70!black, coltitle=white, fonttitle=\bfseries, title={#1}, sharp corners, breakable}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!75!black, colbacktitle=yellow!75!black, coltitle=black, fonttitle=\bfseries, title={#1}, sharp corners, breakable}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!70!black, colbacktitle=red!70!black, coltitle=white, fonttitle=\bfseries, title={#1}, sharp corners, breakable}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{https://github.com/hqhq1025/ai-course-notes}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}
\newcommand{\videourl}{https://www.youtube.com/watch?v=iiBY0fqpThI}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

\begin{document}

\begin{titlepage}
\centering
{\Large 深度访谈教学笔记\par}
\vspace{1.0cm}
{\huge\bfseries 世界模型、研究品味与“逃出硅谷”\par}
\vspace{0.5cm}
{\Large Zhang Xiaojun 对话谢赛宁\par}
\vspace{0.35cm}
{\large 基于 Zhang Xiaojun Podcast 公开视频、GPU 转写稿、章节结构与自制概念图整理\par}
\vspace{0.3cm}
{\large 2026-03-16\par}
\vspace{0.85cm}
\includegraphics[width=0.88\textwidth,height=0.42\textheight,keepaspectratio]{cover.jpg}\par
\vfill
\begin{tcolorbox}[width=0.92\textwidth, colback=black!2!white, colframe=black!55, sharp corners]
\textbf{视频标题}：133. 对谢赛宁的7小时马拉松访谈：世界模型、逃出硅谷、AMI Labs、两次拒绝Ilya、杨立昆、李飞飞和42\par
\textbf{视频频道}：Zhang Xiaojun Podcast\par
\textbf{视频时长}：06:45:29\par
\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par
\textbf{素材说明}：YouTube 无可用字幕；正文基于 faster-whisper large-v3 CUDA 转写、视频章节、封面和自制教学图整理。固定访谈画面不在正文重复使用。\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

\section{导读：这不是人物稿，而是一条研究路线}

这期访谈长达六小时四十五分钟，表面上是谢赛宁第一次系统讲述自己的成长、求学、研究、创业和价值判断；更深层的线索，是一个做 computer vision 和 representation learning 的研究者，如何在 LLM 叙事压倒一切的时刻，重新定义“视觉”“世界模型”和“机器人大脑”。因此，这份笔记不会按流水账逐字复述，而是把访谈整理成一条可学习的研究路线。

本期有三条主线。第一条是个人路线：从上海交大 ACM 班、UCSD、FAIR、DeepMind、NYU 到 AMI Labs，每次选择都围绕“和谁做、做什么问题、是否有足够资源”。第二条是技术路线：从视觉任务、层次化表征、视频理解到 predictive world model。第三条是组织路线：当研究问题需要远超论文实验室的资源，又不适合被产品军备竞赛完全吞没时，创业公司要怎样保留 research oxygen。

\begin{importantbox}{本期核心命题}
谢赛宁在访谈中反复强调：LLM 是智能系统的重要组成部分，但不是全部。真正面向物理世界的智能，需要从连续、高维、有噪声的信号中学习任务相关表征，预测 action 的后果，并把预测用于 planning、decision making 和安全控制。
\end{importantbox}

\begin{knowledgebox}{视觉策略说明}
本视频是固定访谈画面，没有教学 slides、白板、产品演示或可读图表。按本仓库播客标准，正文不重复插入人物帧；封面用于来源识别，正文用世界模型闭环、能力阶梯、组织模型和概念表来承载教学内容。
\end{knowledgebox}

\subsection{本章小结}

这期节目的价值，不在于知道谢赛宁拒绝过谁、加入过哪里，而在于理解一个技术观点如何经过个人经历、研究品味和组织条件逐渐成形。后文会把访谈拆成：研究轨迹、世界模型定义、LLM 与物理世界的边界、AMI 的组织命题，以及结尾关于智能和哲学引用的反思。

\section{The Normal One：普通人叙事背后的研究选择}

访谈开场从纽约、播客、童年和上海交大讲起。谢赛宁反复说自己不是 the chosen one，而是 the normal one。这句话容易被误读成谦虚的姿态；放到整期访谈里，它更像一种研究者自我定位：不要把成功解释成命运赐予的天才脚本，而要解释成长期选择、人与组织、好奇心、失败和偶然共同作用的结果。

他讲童年时，两个元素反复出现：一是母亲带着他四处旅行，二是父亲书房里的大量书。旅行让他接触真实世界的多样性，阅读让他获得抽象世界的入口。九岁有电脑、接触游戏和互联网后，他第一次感到“内容”和表达的爆炸。这些细节在人物稿里是成长故事，在技术笔记里则对应后面世界模型的两个面向：世界需要亲自进入，抽象需要持续建模。

\begin{knowledgebox}{从人物经历读技术路线}
这期访谈里，个人经历不是背景花絮。旅行、书、游戏、互联网、电影、纽约街头、研究实习和创业组织，都在回答同一个问题：智能系统到底应该从哪里学习世界？如果只从文本学习，它得到的是人类压缩后的叙述；如果要理解物理世界，就需要重新面对连续信号、身体行动、环境反馈和真实生活。
\end{knowledgebox}

\subsection{ACM 班、通识与不过度竞争}

前面讲童年和互联网入口，是为了说明兴趣从来不是单点出现的；本节转到 ACM 班，是因为这里第一次把兴趣放进了制度化训练环境。问题随之变成：什么样的教育环境更容易保护长期研究品味？

谢赛宁讲上海交大 ACM 班时，特别强调宽松和通识。比如“学子讲坛”要求学生讲任何与课程无关的东西，可以是哲学、历史、社会或科学。这段内容的教学意义是：早期训练如果只围绕排名和题目优化，很容易得到强执行者；如果允许学生建立广阔兴趣，就更可能形成 research taste。

他也明确说不喜欢过度竞争。这里不是反对竞争，而是反对把所有人压成单一指标。研究的长期价值常常来自非线性路径：先有兴趣，后有问题；先有误打误撞的经历，后有能串起来的主线。过度竞争会缩短时间尺度，让人只追逐当前可计分的任务。

\begin{warningbox}{不要把“普通人”理解成低目标}
The normal one 不是降低目标，而是拒绝神话式自我叙事。它把注意力从“我是不是天选之子”转向“我能不能持续选择值得做的问题、找到值得共事的人、承担长期的不确定性”。
\end{warningbox}

\subsection{本章小结}

开场的成长故事为整期节目定调：谢赛宁关心的不是单点胜负，而是长期轨迹。这个轨迹后来表现为：不按最确定的名校/大厂路径走，反复选择更贴近自己问题意识的人和组织。

\section{从 Vision 到 Representation：研究轨迹的主线}

访谈中最重要的个人线索，是“世界总不让我做 Vision，但我偏要做”。这句话背后有两层含义。第一层是求学和职业选择上的阻力：申请博士时几乎没有理想中的 vision offer，后来靠给 Tu Zhuowen 发邮件才进入 UCSD。第二层是时代叙事的阻力：当 LLM 成为中心后，computer vision 看似退到边缘。但谢赛宁的判断是，如果把 vision 理解成一种 perspective，而不是一组任务，那么它恰恰是通往真实智能的核心。

\begin{figure}[H]
\centering
\includegraphics[width=0.96\textwidth]{trajectory-timeline.png}
\caption{谢赛宁访谈中的研究轨迹：从 SJTU、UCSD、FAIR、DeepMind/NYU 到 AMI Labs。}
\end{figure}

\begin{knowledgebox}{读图：每一次选择都在筛选研究条件}
这张时间线不是履历表，而是选择逻辑图。SJTU 阶段提供通识和计算机入口；UCSD 阶段把问题聚焦到 vision 与 representation；FAIR 阶段通过 He Kaiming、ResNeXt 等经历学习顶尖研究品味；DeepMind 和 NYU 阶段让他看到视频、具身任务与组织资源的张力；AMI Labs 则试图把世界模型问题放到一个新的组织形态里推进。
\end{knowledgebox}

\subsection{五次实习与非线性研究}

博士阶段他做过 NEC Lab、Adobe、Meta、Google Research 和 DeepMind 等实习。有的实习产出了论文，有的没有明显成果。访谈里他并不把“没有产出”讲成失败，而是讲成探索：去不同组织看不同问题，理解不同研究文化，确认自己不想做什么。

这对年轻研究者尤其重要。研究路线并不是把每一步都优化成论文数量，而是让若干看似分散的经历最终形成一个内在问题。谢赛宁后来能把 vision、video、representation、world model 和 robotics 连接起来，正是因为早期没有只在一个狭窄路径上滚动优化。

\begin{importantbox}{研究不是 point estimate，而是时间积分}
访谈中他用“不要在乎每一个点上的估计”来描述研究评价。单篇论文、单次拒稿、单次实习是否成功，都只是时间轴上的点；一个研究者真正的质量，要看长期积累后的积分。
\end{importantbox}

\subsection{FAIR、He Kaiming 与 ResNeXt}

在 FAIR 的经历是整期访谈的一个关键节点。谢赛宁讲到 He Kaiming 加入 FAIR 后，自己在最后一个月实习中与他合作 ImageNet challenge，并发展出 ResNeXt 相关工作。这里的重点不是“遇到贵人”的故事，而是顶尖研究者如何把普通 idea 打磨成可扩展的 representation 方案。

ResNeXt 的思想可以简化为：在 ResNet 的基础上引入 cardinality，把一个分支扩展成多个并行 group，在相近计算量下获得更好的表征能力。谢赛宁在访谈里还把它和今天的 MoE 直觉相连：稀疏化、分组、可扩展能力，并不是今天才出现的想法。

\begin{knowledgebox}{术语消化：ResNeXt、cardinality 与 MoE 直觉}
\begin{tabularx}{\textwidth}{p{0.22\textwidth}p{0.32\textwidth}X}
\toprule
术语 & 解决的问题 & 与本期主线的关系 \\
\midrule
ResNet & 通过残差连接让深层网络更容易训练 & 代表早期视觉表征学习的核心范式。 \\
ResNeXt & 用多个并行分组分支提升网络表达能力 & 体现“同等计算量下更可扩展的 representation”。 \\
Cardinality & 并行分支或 group 的数量 & 比单纯加深/加宽更接近结构化扩展。 \\
MoE & Mixture of Experts，稀疏激活不同专家 & 与分组/稀疏扩展有相通的工程直觉。 \\
\bottomrule
\end{tabularx}
\end{knowledgebox}

\subsection{本章小结}

谢赛宁的研究轨迹可以概括为：从具体视觉任务出发，逐渐把 vision 理解成连续高维信号、层次化表征、空间/时间认知和预测性智能的总和。这个定义为后面的世界模型铺路。

\section{Vision as a Perspective：视觉不是一个小领域}

上一章把个人研究轨迹串到 representation，这一章则把“为什么一直做 vision”讲清楚。这里的关键不是为旧学科辩护，而是重新定义 vision 在下一代智能中的位置。

当访谈进入“表征的世界”时，谢赛宁提出一个重要区分：computer vision 不只是 classification、detection、segmentation 这些任务集合，而是一种看待智能的 perspective。它处理的是 continuous, high-dimensional, noisy signals，也就是连续空间、高维、有噪声的信号。这类信号很难被简单 token 化，也不天然带有人类写好的标签。

这解释了为什么 LLM 兴起后，他并不沮丧。LLM 的成功把语言接口、多模态系统和更大规模训练推到前台，反而让 vision 有机会摆脱单个任务，进入“真实世界智能”的大范围问题。真正的危险不是 LLM 太强，而是所有视觉问题都被迫服从语言模型的叙事，最后把视觉退化成 prompt 和 caption 的附庸。

\begin{figure}[H]
\centering
\includegraphics[width=0.94\textwidth]{representation-ladder.png}
\caption{从视觉任务到预测性世界模型：访谈中的能力阶梯。}
\end{figure}

\begin{knowledgebox}{读图：从 task 到 world model 的能力迁移}
图中的 L0 到 L4 不代表官方分级，而是对访谈逻辑的重构。早期视觉任务解决分类、检测、分割；多模态阶段让语言成为接口；再往后，系统必须理解连续事件流、空间结构和 action 后果。终点不是“会看图回答问题”，而是能把视觉流压缩成可用于预测和规划的世界表征。
\end{knowledgebox}

\subsection{层次化表征为什么重要}

谢赛宁反复提到 hierarchical representation。它的直觉是：智能体不可能把世界每一个像素、每一个分子、每一个物理参数都显式记住；它必须学会抽象。抽象不是丢失信息，而是保留和当前任务、未来行动、决策成本有关的信息。

例如房间里的桌子、话筒、光线、声音、纹理都可以被精细建模，但如果目标是继续对话，系统只需要知道话筒能放在桌上、两个人的位置关系、声音是否能被采集等任务相关状态。这个“足够而非全量”的 state，正是 representation learning 和 world model 的交界处。

\begin{importantbox}{表征学习的中心问题}
好的 representation 不是把所有细节重建出来，而是把高维信号压缩成足以支持预测、规划和行动的状态。它要比语言标签更接近物理世界，又要比原始像素更抽象。
\end{importantbox}

\subsection{语言的帮助与污染}

语言作为 interface 极其有用。它让多模态系统可以通过自然语言定义问题、提问和给出答案，也让视觉系统更容易对齐人类目标。但语言也可能成为 shortcut。访谈里谢赛宁用“拐杖”和“鸦片”来形容语言对视觉系统的诱惑：语言让系统看起来更聪明，却可能阻止它训练真正处理连续世界的能力。

\begin{warningbox}{多模态不等于真实理解}
如果一个视觉 benchmark 主要靠语言常识就能答对，那么它并不能证明模型理解了图像、视频或物理世界。语言介入以后，评测必须检查：模型到底用了视觉表征，还是只靠文本先验完成了任务。
\end{warningbox}

\subsection{本章小结}

Vision as a perspective 的核心是：视觉不是被 LLM 接管的小任务，而是构建世界模型所需的底层认知问题。它要求模型处理连续信号、层次抽象、空间结构、事件流和真实行动后果。

\section{世界模型：从公式、控制到机器人大脑}

本期最硬的技术部分，是谢赛宁对世界模型的定义。他没有把 world model 当成流行词，而是回到控制、model-based reinforcement learning 和认知科学里的基本问题：给定当前状态和动作，预测下一状态；再用这种预测指导 planning 和 decision making。

\[
s_{t+1} = f(s_t, a_t)
\]

其中，$s_t$ 表示当前时刻系统或环境的状态；$a_t$ 表示智能体采取的 action 或 intervention；$f$ 是学到的 transition / predictive function；$s_{t+1}$ 是执行动作后可能进入的下一状态。真正困难的部分不在公式，而在：怎样从高维感知中得到合适的 $s_t$，怎样让 $f$ 学到物理规律，怎样把预测用于行动而不是只生成漂亮样本。

\begin{figure}[H]
\centering
\includegraphics[width=0.96\textwidth]{world-model-stack.png}
\caption{世界模型的最小闭环：感知、状态表征、转移预测、规划决策、真实反馈和学习更新。}
\end{figure}

\begin{knowledgebox}{读图：世界模型不是一个单独模块}
图中最重要的是闭环。感知输入先被压缩成任务相关 state；模型根据 state 和 action 预测下一状态；规划器比较不同未来轨迹；动作执行后得到真实反馈；误差和失败再回流训练。少掉任何一环，world model 都会退化成静态生成器、问答器或离线表征模型。
\end{knowledgebox}

\subsection{Model Predictive Control 的直觉}

前面公式说明了 world model 的最小形式；现在需要回答它怎样变成行动。MPC 提供了一个最朴素也最有教学价值的答案：用模型想象未来，再只执行当前最该做的一步。

访谈中提到 model predictive control。它的基本做法是：在当前时刻，用模型 roll out 多个未来 action sequence，计算每条轨迹的 cost，选择 cost 最低的序列，执行第一步，然后下一时刻重新规划。这不是 LLM 式的“说出理由”，而是以预测未来状态为基础的行动选择。

\begin{knowledgebox}{术语消化：世界模型相关概念}
\begin{tabularx}{\textwidth}{p{0.23\textwidth}p{0.30\textwidth}X}
\toprule
术语 & 一句话解释 & 在本期中的作用 \\
\midrule
State & 描述系统当前状态的最小充分信息 & 连接表征学习与行动预测。 \\
Action / Intervention & 智能体对环境施加的动作或干预 & 让预测从观察变成决策。 \\
Transition Function & 从当前 state 和 action 预测下一 state 的函数 & 世界模型的核心形式。 \\
Planning & 比较未来轨迹并选择动作 & 让模型预测服务目标。 \\
MPC & Model Predictive Control，滚动预测与控制 & 展示世界模型如何用于控制。 \\
Model-based RL & 用环境模型辅助强化学习 & 说明 world model 与 RL 的历史关系。 \\
\bottomrule
\end{tabularx}
\end{knowledgebox}

\subsection{World model 是目的，不是单一算法}

谢赛宁特别强调，世界模型不好定义，是因为它不是一个算法名，而是一个目的。语言模型、video diffusion model、3D representation、robotics、VLA、model-based RL，都可能从不同方向走向 world model。争论“谁才是真的 world model”在短期内有意义，但长期看更重要的问题是：这个系统是否能理解物理世界、保留相关 memory、reason and plan、做 counterfactual / causal inference，并且 controllable and safe。

\begin{importantbox}{世界模型的五项能力}
面向物理世界的 world model 至少要具备：physical world understanding、large associated memory、reasoning / planning、counterfactual or causal inference、controllability and safety。它不是“视频生成得像不像”这么单一的指标。
\end{importantbox}

\subsection{本章小结}

世界模型的底层定义很简单：预测 action 后的 state。难点在于 state 的表征、预测的物理接地、planning 的可用性和反馈闭环。把 world model 当成目标，而不是某个模型架构，可以避免被短期名词战带偏。

\section{LLM 的贡献与边界：虚拟空间不是全部世界}

前面已经建立世界模型的定义，接下来要把它和 LLM 区分开。这个区分很重要，因为访谈并不是反 LLM，而是在问 LLM 的成功到底覆盖了世界的哪一部分。

谢赛宁并不否认 LLM 的革命性。他说自己要感谢 LLM，因为没有 LLM，多模态智能也不会扩展到今天的规模。但他反对把 LLM 叙事扩展成“语言模型自然通往 human-level intelligence”。在他的框架里，LLM 更擅长 digital / virtual space：文本、代码、知识总结、教育、法律、搜索和 agentic coding 等。它可以成为智能系统的重要元素，却不是世界模型的根基。

\begin{figure}[H]
\centering
\includegraphics[width=0.96\textwidth]{llm-vs-world-model.png}
\caption{LLM 与世界模型：两种智能市场的对比。}
\end{figure}

\begin{knowledgebox}{读图：语言模型和世界模型互补，但不能互相替代}
左侧 LLM 的强项是 token 化后的知识、文本推理和数字空间操作；右侧 world model 的目标是连续信号、物理预测、行动规划和安全控制。二者可以互补：语言提供接口、知识和沟通；世界模型提供物理接地、动态预测和行动能力。把一边强行归约成另一边，会误判技术瓶颈。
\end{knowledgebox}

\subsection{为什么语言模型像强监督学习}

访谈里有一个很有启发的观点：语言模型常被说成 self-supervised learning，但从另一种角度看，语言本身已经是人类文明加工后的强监督信号。几千年文明、书籍、网页、代码、论文和互联网，把大量世界知识压缩成 tokenized 的文本。训练 LLM 像是下载这些已加工知识，而不是直接学习物理世界。

这解释了为什么 LLM scaling law 能较早出现：它有大量已经被人类整理、标注、沟通化的材料。相反，vision 和 robotics 面对的是 raw sensory data、动作、空间、物理约束和反馈，天然缺少同等规模、同等质量、同等压缩程度的“互联网式标签”。

\begin{warningbox}{“免费数据”不等于“无监督数据”}
互联网上的文本可以免费抓取，并不意味着它没有人类标签。语言是人类为了沟通而长期压缩出来的结构；模型吃下这些文本时，也吃下了人类已经完成的大量抽象、选择和标注。
\end{warningbox}

\subsection{杯子摔碎：语言描述遗漏了什么}

谢赛宁举了一个简单例子：我们说“杯子掉在地上碎了”，语言只保留了沟通所需的信息。它没有描述杯子的接触、受力、破裂路径、材料性质、碎片飞散和声音。对人类沟通来说，这些细节大多没必要；对一个要在物理世界行动的系统来说，这些细节中的一部分可能非常关键。

所以，语言不是世界本身，而是为了交流而做的压缩。世界模型需要学习的，恰恰是语言压缩之外的那些规律：动力学、空间结构、接触、时序、因果和可行动性。

\subsection{本章小结}

LLM 的成功来自人类知识的巨大压缩和互联网规模。它会继续是智能系统的重要组成部分，但面向物理世界的智能不能只靠语言。世界模型要补的是语言天然省略掉的那部分世界。

\section{从“下载互联网”到“下载人类/世界”}

访谈中最有传播力的比喻之一，是“反向 OpenAI”。正向路径是：从互联网下载数据，训练 transformer / GPT，得到语言智能，再推向市场。这个路径之所以成立，是因为互联网已经承载了大量人类写下的知识。世界模型没有同样的 shortcut：真实世界的数据、企业场景、物理过程、机器人任务、传感器反馈，不能简单从网页下载。

\begin{figure}[H]
\centering
\includegraphics[width=0.96\textwidth]{download-internet-to-world.png}
\caption{从“下载互联网”到“下载人类/世界”：世界模型需要真实环境和伙伴闭环。}
\end{figure}

\begin{knowledgebox}{读图：反向路径的关键是合作闭环}
左侧是互联网到语言模型的正向路径；右侧是世界、伙伴、任务和数据共同反哺模型的反向路径。图中下方的闭环条件说明：世界模型需要伙伴数据、初始模型、真实任务、评测反馈和安全控制。没有世界参与，世界模型会停留在论文概念或生成 demo。
\end{knowledgebox}

\subsection{World model needs the world}

谢赛宁说 world model needs the world。这句话是 AMI Labs 组织策略的核心。它意味着世界模型不是一个单公司靠封闭数据就能完成的任务，而需要来自农场、医院、工厂、机器人公司、传感器网络、仿真环境和真实业务场景的合作。

在这个框架里，模型先提供初始能力，进入真实场景创造价值；真实场景产生反馈、错误和新数据；这些数据再反哺模型。这个闭环类似数据引擎，但对象不再只是网页文本，而是物理世界和行动系统。

\begin{importantbox}{反向 OpenAI 的本质}
正向 OpenAI 下载互联网；反向 OpenAI 要和世界共建数据。前者依赖已有文本语料，后者依赖真实任务、伙伴网络、评测体系和持续反馈。
\end{importantbox}

\subsection{为什么这不是单纯买数据}

前面说 world model needs the world，容易让人以为解决方案只是采购更多物理数据。本节要把这个误解拆开：世界模型真正需要的是数据生成机制，而不是一次性数据库存。

如果世界模型需要的是 action 后果、物理状态、失败恢复、传感器流和领域过程，那么“买一批数据”远远不够。数据要有任务、目标、反馈、评测和持续更新。更重要的是，很多数据只有在模型进入场景后才会出现：模型犯错、人工纠正、系统恢复、用户改变流程，这些都不是静态语料库能提前准备好的。

\begin{knowledgebox}{从 data factory 到 environment factory}
本期与 EP134 的数据综述可以连起来看：世界模型需要的不是单次采购的数据，而是能不断产生任务、失败、反馈和评测的环境。未来的数据工厂更像 environment factory。
\end{knowledgebox}

\subsection{本章小结}

“下载互联网”解决了语言智能的第一阶段；“下载人类/世界”意味着从静态文本转向动态环境。世界模型的竞争，不只是模型参数竞争，也是合作网络、评测体系和真实反馈闭环的竞争。

\section{Research Taste 与《金刚经》：怎样判断问题值得做}

访谈中间长段讨论 research taste，并提到《金刚经》里的“如梦幻泡影”。这部分不是玄学插曲，而是研究方法论。谢赛宁关心的是：在高度不确定、评价噪声巨大、短期结果经常误导的研究环境里，怎样保持对问题本身的判断。

\begin{figure}[H]
\centering
\includegraphics[width=0.92\textwidth]{research-taste-map.png}
\caption{Research taste 的构成：问题选择、审美、证据和时机。}
\end{figure}

\begin{knowledgebox}{读图：research taste 不是灵感，而是长期判断系统}
图中四个角分别是问题选择、审美、证据和时机。一个研究者要判断什么问题值得做，不能只看当前热度，也不能只看能否快速发论文；还要看这个问题十年后是否仍有意义、证据是否能支持方向、组织资源是否足够、自己是否能忍受长期不确定性。
\end{knowledgebox}

\subsection{审美：反对廉价引用和口号}

上一段把 research taste 拆成问题、证据、审美和时机；这里先展开“审美”。它不是文风偏好，而是研究者对概念滥用、口号包装和证据偷换的敏感度。

结尾处谢赛宁吐槽把维特根斯坦“语言的边界就是世界的边界”直接拿来给 LLM 背书，也吐槽把费曼的 “What I cannot create, I do not understand” 粗暴拿来给 unified model 背书。他不是反对哲学或名言，而是反对脱离上下文的装饰性引用。

这背后是 research taste 的审美标准：一个论点不能靠名人名言支撑，而要靠定义、假设、机制和证据。哲学可以启发研究，但不能替代 technical argument。

\begin{warningbox}{名人名言不是技术论证}
把一句哲学或物理学名言贴在论文开头，不能自动证明模型路线正确。高质量研究需要说明：概念在原语境中是什么意思，迁移到 AI 后假设是否仍成立，哪些机制和证据支持这个迁移。
\end{warningbox}

\subsection{长期主义：从拒稿到时间检验}

访谈中还讲到一篇论文曾因细节被拒，后来在另一个会议发表并获得 test-of-time award。这个故事说明，研究价值和评审结果并不总是同步。短期评审可能过度关注格式、细节或当时的主流偏好；长期影响更取决于问题是否真实、方法是否可复用、思想是否进入后续工作。

\begin{importantbox}{研究评价的时间尺度}
短期评价看 accept / reject，长期评价看这个想法是否改变问题定义、方法工具或社区语言。真正的 research taste 是在短期噪声中坚持长期可复用的方向。
\end{importantbox}

\subsection{本章小结}

Research taste 是本期技术线和个人线的粘合剂。它解释了为什么谢赛宁会选择 vision、选择 FAIR、离开确定路径、创业做 world model，也解释了他为什么反感被口号和热词牵着走。

\section{AMI Labs：组织形式也是技术路线的一部分}

当访谈进入 AMI Labs，问题从“世界模型是什么”变成“什么组织能做世界模型”。谢赛宁认为，在学校里资源不足，在大厂里产品周期和榜单军备竞赛会压缩探索空间；传统研究院有自由但难以承担大规模训练和真实场景合作；完全封闭的大模型公司又可能切断学术连接和开放讨论。因此，AMI Labs 试图找到一种中间形态。

\begin{figure}[H]
\centering
\includegraphics[width=0.96\textwidth]{ami-labs-thesis.png}
\caption{AMI Labs 的组织命题：在世界模型主线、研究友好组织、全球伙伴网络、商业闭环和学术连接之间找平衡。}
\end{figure}

\begin{knowledgebox}{读图：组织设计如何影响技术可能性}
图中五个节点共同构成 AMI 的命题。世界模型需要长期 research；长期 research 需要资源和组织氧气；真实世界数据需要全球伙伴网络；严肃创业需要商业闭环；研究路线又需要和学术界保持连接。任何一个节点缺失，world model 都可能退化成论文项目、封闭产品或空泛愿景。
\end{knowledgebox}

\subsection{不是纯研究院，也不是封闭产品公司}

前面的图已经给出 AMI 的五个节点；本节先看最核心的组织张力。世界模型需要研究自由，但创业公司又必须处理资源、客户、资本和交付压力。

谢赛宁说 AMI 既不是 non-profit，也不是纯粹 research lab；它需要 business model。但它也不想成为只围绕产品 deadline 和 benchmark 打转的封闭公司。这个张力很难，因为商业公司必须对资源和结果负责，而世界模型又是高度探索性的方向。

这也是为什么他强调“researcher friendly organization”。如果组织没有足够氧气，研究者即使知道某个问题重要，也会被安排去做短期产品链条里可交付的环节，比如 video captioning、榜单优化或发布周期支持。

\begin{importantbox}{组织形式会改变研究空间}
同一个研究者、同一个 idea，在学校、大厂、封闭创业公司和研究友好创业公司里，能做的事情完全不同。世界模型这样的大问题，既需要资源，又需要探索自由，还需要真实场景合作。
\end{importantbox}

\subsection{Yann LeCun 的作用：路线、人格与信任}

组织张力讲完后，接下来要看谁来承载这种张力。访谈里 Yann LeCun 不只是共同创始人的名字，而是路线信念、科学家 integrity 和团队心理稳定器的结合。

访谈中，谢赛宁多次谈到 Yann LeCun。他强调 LeCun 并不反对 LLM，而是反对“LLM 自然通向人类级智能”的叙事。他敬佩 LeCun 的地方，一是长期坚持 world model / JEPA / autonomous intelligence 的路线，二是科学家的 integrity，三是个人气质：热爱生活、有广阔世界、能让身边的人感到前方有路。

这段内容对技术组织有启发：founder 或科学领袖不仅提供方向，还提供组织心理。研究问题越不确定，团队越需要有人提供长期信念、及时校正和允许质疑的讨论空间。

\subsection{本章小结}

AMI Labs 的故事说明，技术路线和组织路线不可分。世界模型不是只靠一个模型结构推进的，它需要资源、伙伴、研究文化、商业闭环和长期叙事共同支撑。

\section{“Silicon Valley is LLM-pilled”：叙事、榜单与资源配置}

讲完 AMI 的组织选择之后，就能理解为什么访谈会把矛头指向“硅谷叙事”。这里的批评对象不是某个地理地点，而是一个会把问题、榜单和资源绑定在一起的产业系统。

访谈标题里的“硅谷被催眠了”，指的是整个 AI 行业被 LLM 叙事高度组织起来。谢赛宁并不是说 LLM 没价值，而是说一个叙事会定义 benchmark，benchmark 会定义 resource allocation，resource allocation 又会决定研究者能做什么。最后，很多有能力的人不是不想做世界模型、视频理解或物理智能，而是被组织目标分配到更贴近当前价值链的位置。

\subsection{价值链如何压缩研究空间}

访谈中的链条可以概括为：

\begin{center}
\begin{tabularx}{0.95\textwidth}{p{0.18\textwidth}p{0.28\textwidth}X}
\toprule
环节 & 表现 & 后果 \\
\midrule
叙事 & AGI、scaling law、LLM frontier & 定义什么问题“看起来重要”。 \\
榜单 & Chatbot Arena、数学、代码、通用能力排行 & 指挥团队优化可见指标。 \\
资源配置 & 算力、人力、发布节奏向榜单和产品集中 & 探索性研究缺氧。 \\
岗位分配 & 视频理解等问题被拆到 captioning 或产品支持环节 & 真正的 world-model-first 路线难以展开。 \\
\bottomrule
\end{tabularx}
\end{center}

\begin{warningbox}{被叙事催眠的风险}
当一个叙事过强时，研究者会把“对榜单有用”误认为“对智能本质有用”。这不是某个公司的问题，而是整个产业价值链对研究问题的筛选效应。
\end{warningbox}

\subsection{为什么逃出硅谷不是地理问题}

“逃出硅谷”不是简单的地理搬家。硅谷仍然有最密集的人才、资本和工程文化，AMI 未来也可能在硅谷设点。真正要逃出的，是单一 LLM 叙事、产品发布周期和榜单军备竞赛对问题定义的控制。

巴黎、纽约、蒙特利尔、新加坡的多地办公室在访谈里不只是行政安排，也对应“world model needs the world”的组织想象：不同地区、不同产业、不同学术网络、不同数据源共同参与。

\subsection{本章小结}

LLM-pilled 的核心问题不是 LLM 太强，而是叙事太单一。世界模型路线需要从现有价值链旁边开出空间，让视频、物理、机器人、工业过程和真实反馈重新成为 AI 研究的一等对象。

\section{机器人、VLA 与预训练下半场}

访谈后半段多次回到 robotics。谢赛宁的判断是：在谈 AGI 或 super intelligence 之前，先问能否做出足够可靠、能在家庭环境里承担家务的机器人。很多几岁或十几岁的孩子能做的事，今天的机器人还做不好。这不是四肢硬件单点问题，而是机器人大脑问题。

\subsection{VLA 与世界模型的分工}

VLA 即 Vision-Language-Action，目标是把视觉、语言指令和动作连接起来。它是机器人路线的重要形态，但谢赛宁认为，仅靠把 language model 当 foundation，然后加 action head，不足以解决 world model pre-training 的问题。VLA 可以在具体任务上很强，却未必承担“预训练下半场”的基础层工作。

\begin{knowledgebox}{术语消化：机器人路线中的几个关键词}
\begin{tabularx}{\textwidth}{p{0.22\textwidth}p{0.32\textwidth}X}
\toprule
术语 & 解决的问题 & 本期中的含义 \\
\midrule
VLA & 视觉、语言和动作的端到端连接 & 机器人执行任务的重要路线，但不等同于完整世界模型。 \\
Robot Brain & 机器人的大脑或上游智能层 & 需要感知、记忆、预测、规划和控制。 \\
Hardware Scaling Law & 通过更多机器人部署获得更多真实数据和硬件经验 & 本体公司必须面对，但不直接解决大脑预训练。 \\
Imitation Learning & 从示范轨迹学习动作策略 & 短期可用，但依赖数据和任务分布。 \\
World Model Pre-training & 面向连续多模态信号的基础预训练 & 谢赛宁称为预训练的下半场。 \\
\bottomrule
\end{tabularx}
\end{knowledgebox}

\subsection{预训练下半场输入什么、输出什么}

主持人追问 world model pre-training 输入什么、输出什么。谢赛宁的回答是：至少长期看，输入应是连续空间、高维、有噪声的多模态信号，开始可以是 video，也可能包括除视觉外的其他 encoder。输出是什么仍是 research question。这个“不知道”很重要：它说明问题还没被过早收敛成固定 recipe。

\begin{importantbox}{预训练下半场的开放性}
语言模型预训练有清晰形式：next-token prediction。世界模型预训练还没有同样稳定的范式。可能的输入是视频、传感器和多模态流；可能的目标是预测、表征、惊讶、行动后果或可规划状态。这里仍是基础研究问题。
\end{importantbox}

\subsection{本章小结}

机器人是世界模型最自然的出口之一，但机器人公司的短期资源常被硬件部署和具体任务牵引。世界模型路线要补的是上游大脑：能理解物理世界、保留记忆、预测后果，并为 VLA 和机器人控制提供底座。

\section{智能不是一条语言分数线}

访谈结尾，谢赛宁讨论 AGI 是伪命题、动物智能和人类自大。他引用动物认知相关书籍，谈到不同生物有不同感知和行动方式：黑猩猩的推理、鸟类缓存食物、鲸鱼交流、狗的嗅觉、蝙蝠的听觉。这里的技术含义是：智能不是在一条语言考试分数线上排序，而是和身体、环境、目标、感知通道和生存任务绑定。

\begin{figure}[H]
\centering
\includegraphics[width=0.94\textwidth]{intelligence-spectrum.png}
\caption{智能不是一条语言分数线：从文本/代码到视觉、行动、身体环境和社会目标。}
\end{figure}

\begin{knowledgebox}{读图：为什么反人类中心视角重要}
图中把智能拆成文本/代码、视觉/空间、行动/控制、身体/环境和社会/目标几个维度。LLM 在文本和代码上表现强，不代表它自动拥有身体、环境和行动层面的能力。世界模型的意义，正是把智能重新放回感知、预测、行动和反馈之中。
\end{knowledgebox}

\subsection{松鼠智能与孩子家务}

访谈中引用 Rich Sutton 的一个视角：与其惊叹模型会写代码或拿数学竞赛奖牌，不如思考造出一只能够在真实世界生存的松鼠有多难。这个说法看似夸张，但它把问题从“人类考试能力”拉回“生命体在世界中行动”的基础能力。

谢赛宁进一步说，几岁孩子或十二岁孩子可以完成很多家务，而今天的机器人还无法可靠承担。这不是贬低 LLM，而是在提醒：真实世界里的感知、动作、恢复、目标和常识，仍是未解决的大问题。

\begin{warningbox}{AGI 口号容易遮蔽具体能力}
如果不定义环境、身体、目标和评测，AGI 很容易变成空泛标签。更可操作的问题是：系统能否在某个真实环境中可靠感知、预测、行动、犯错后恢复，并逐渐迁移到新任务？
\end{warningbox}

\subsection{本章小结}

智能不是单一尺度。语言能力很重要，但真实世界智能还包括视觉、身体、行动、反馈和社会目标。世界模型路线试图补的，正是这些被语言分数遮蔽的维度。

\section{“42”：哲学引用、命运与世界模型的边界}

结尾的“42”来自《银河系漫游指南》的梗：生命、宇宙以及一切问题的答案可能是 42。访谈最后，主持人问“这个世界是一个巨大世界模型吗”“你能预测命运吗”。谢赛宁回答，世界当然可以被看作一个巨大的世界模型，但我们不能预测命运，因为资源不够；也许要用地球或整个宇宙作为计算机，才能得到答案。

这段不是玩笑收尾，而是回到世界模型的边界：world model 是为了在有限资源下做足够好的预测，而不是全知全能地复制宇宙。模型越接近真实世界，越要面对计算资源、表征压缩、目标选择和不可知性的限制。

\subsection{放开维特根斯坦}

前面用“42”提醒世界模型不能假装全知；这里则回到语言和世界的关系。这个小节重要，是因为很多 LLM 叙事正是通过哲学名句把语言能力包装成世界理解。

谢赛宁对维特根斯坦引用的吐槽，实际上是在为世界模型划边界。早期维特根斯坦的语言-世界命题有特定哲学语境，后期又转向语言游戏。把“语言的边界就是世界的边界”直接拿来证明 LLM 能覆盖世界，是语境错配。

如果按后期“语言游戏”的思路，语言的意义来自实践和生活形式，那么这反而更接近世界模型观点：语言不是悬浮的 token，而是在真实世界行动、使用和反馈中获得意义。

\begin{importantbox}{语言与世界的关系}
语言可以压缩世界、沟通世界、组织经验，但不能替代世界。世界模型要学习的，是语言与实践发生关系的那部分结构：行动、反馈、约束、因果和可预测性。
\end{importantbox}

\subsection{The normal one 与团队电池}

最后回到 the normal one。谢赛宁借 Jürgen Klopp 的说法，把自己想象成团队里的电池：用热情和能量给别人发电。这不是鸡汤，而是 research organization 的一个核心功能。长期探索会有大量沮丧、失败和不确定，团队需要有人维持方向、信任和节奏。

他也承认研究底色常常悲凉：真正开心的时刻可能只有东西做出来的 5\% 到 10\%。这句话很真实，也解释了为什么世界模型这种方向需要组织文化支撑。没有长期心理韧性，宏大愿景会很快被短期挫败压垮。

\subsection{本章小结}

结尾把技术问题和人生问题压在一起：世界可以被建模，但模型永远受资源和目标限制；语言能启发思考，但不能替代实践；普通人也可以通过长期选择、团队能量和研究品味，进入大问题。

\section{术语消化：本期关键词索引}

\begin{longtable}{p{0.24\textwidth}p{0.32\textwidth}p{0.35\textwidth}}
\toprule
术语 & 一句话解释 & 在本期中的作用 \\
\midrule
World Model & 根据状态和动作预测未来状态的模型 & 访谈的中心技术命题。 \\
Predictive Brain & 面向物理世界的预测性大脑 & AMI Labs 想构建的上游智能层。 \\
State & 对环境的任务相关压缩表示 & 连接表征学习与 planning。 \\
Action & 智能体对环境施加的动作或干预 & 让预测进入控制和决策。 \\
Representation Learning & 学习可复用的抽象表征 & 从 vision 通往 world model 的桥。 \\
Vision as Perspective & 把视觉理解成智能的基础视角，而非任务集合 & 解释 CV 在 LLM 时代的意义。 \\
LLM-pilled & 被 LLM 叙事过度组织资源和想象 & 对硅谷价值链的批评。 \\
VLA & Vision-Language-Action 模型 & 机器人路线的重要但不充分形态。 \\
World Model Pre-training & 面向视频/传感器/物理世界的基础预训练 & 预训练下半场的核心开放问题。 \\
Research Taste & 判断问题、证据、时机和审美的能力 & 解释个人和组织选择。 \\
JEPA & Joint Embedding Predictive Architecture & LeCun 路线中“在抽象表征空间预测”的代表思想。 \\
反向 OpenAI & 从世界和伙伴网络共建模型，而非只下载互联网 & AMI 的组织和商业隐喻。 \\
\bottomrule
\end{longtable}

\subsection{本章小结}

这些关键词都指向同一个问题：下一阶段 AI 是否能从“会处理人类写下来的世界”走向“能在真实世界中预测、行动和学习”。这需要模型、数据、组织和哲学边界同时更新。

\section{总结与延伸}

\subsection{核心结论}

\begin{enumerate}
\item 谢赛宁的个人路线不是成功学，而是研究问题如何通过选择、组织和偶然逐渐成形。
\item Vision 不应被理解成一组旧任务，而应被理解成处理连续、高维、有噪声真实世界信号的 perspective。
\item 世界模型的最小定义是 $s_{t+1}=f(s_t,a_t)$，但真正困难的是 state 表征、物理接地、planning 和反馈闭环。
\item LLM 是智能系统的重要组成部分，但它主要吃下人类已经 tokenized 的知识，不能自动替代物理世界建模。
\item “反向 OpenAI”意味着世界模型不能只下载互联网，而要和真实世界伙伴共建数据、评测和应用闭环。
\item AMI Labs 的关键不是“又一家大模型公司”，而是尝试在研究自由、资源规模、商业闭环和学术连接之间找新组织形态。
\item LLM-pilled 的问题是单一叙事会定义榜单和资源配置，从而压缩世界模型、视频理解、物理智能等方向的探索空间。
\item 智能不是一条语言分数线；真实世界智能要回到身体、环境、行动、反馈和目标。
\end{enumerate}

\subsection{开放问题}

总结之后还需要保留问题意识，因为本期最诚实的地方之一，就是承认世界模型的许多关键答案还没有收敛。下面这些问题，也是后续阅读和继续生成笔记时应该持续追踪的线索。

\begin{itemize}
\item 世界模型预训练是否会形成类似 next-token prediction 的稳定范式？
\item 世界模型的 state 应该是显式 3D、latent representation、混合结构，还是按任务动态形成？
\item VLA 与 world model 的边界会逐渐融合，还是形成上游基础层与下游行动层的分工？
\item AMI 式的全球伙伴网络能否真正带来不可替代的数据闭环？
\item 当 LLM 榜单逐渐饱和后，产业会不会把资源重新投向 physical intelligence？
\end{itemize}

\subsection{拓展阅读}

\begin{itemize}
\item Yann LeCun, \textit{A Path Towards Autonomous Machine Intelligence}：理解 JEPA、世界模型和 autonomous intelligence 的长期路线。
\item Richard Sutton, Dyna / model-based reinforcement learning 相关论文：理解世界模型、planning 和 RL 的历史关系。
\item Model Predictive Control 入门材料：理解“用模型 roll out 未来并选择动作”的控制直觉。
\item 视觉表征学习、视频生成、3D representation、VLA 和机器人预训练相关论文：理解世界模型可能的多条入口。
\item Frans de Waal, \textit{Are We Smart Enough to Know How Smart Animals Are?}：理解反人类中心的智能观。
\end{itemize}

\begin{importantbox}{最后的判断}
本期最值得带走的不是“LLM 错了、世界模型对了”这种二分，而是一个更精确的判断：LLM 解决了人类已写下世界的一大部分；世界模型要解决的是人类没有写下、也很难写下的世界。下一阶段智能的关键，可能就在这两者之间的桥上。
\end{importantbox}

\end{document}
