\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm},
    boxrule=1pt, sharp corners
}
\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}
\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

\lstset{
    language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue},
    stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black},
    breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray},
    captionpos=b, extendedchars=false
}

\newcommand{\notetitle}{[CS25] Generalist Agents in Open-Ended Worlds --- Jim Fan, NVIDIA}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{Fall 2023}
\newcommand{\videochannel}{Stanford CS25: Transformers United}
\newcommand{\videopublishdate}{Fall 2023}
\newcommand{\videoduration}{$\sim$50min}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}

\ifdefempty{\videocoverpath}{
{\small 请在生成笔记时填入视频封面图的本地路径。\par}
}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\textbf{视频链接}：
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

%% --- 正文内容开始 --- %%

\section{引言：从被动观察到主动交互}

Jim Fan 是 NVIDIA 的高级 AI 研究科学家，致力于构建通用 AI 智能体。本讲以一个经典实验开场：1963 年 MIT 的 Held \& Hein 实验——两只新生小猫被连接在同一装置中，一只主动行走，一只被动跟随。结果只有主动的小猫发展出健康的视觉-运动系统。

\begin{importantbox}{具身主动经验的核心地位}
Held-Hein 实验表明：仅仅``看到''世界是不够的，智能体必须通过主动交互来真正理解物理世界。这一洞察深刻影响了 Jim Fan 的研究方向——构建能在开放世界中主动行动的通用智能体。
\end{importantbox}

\section{MineDojo：Minecraft 作为 AI 实验平台}

\subsection{为什么选择 Minecraft}

Minecraft 是全球最畅销的游戏，其开放世界具备几个独特优势：

\begin{itemize}
\item 开放式目标体系：没有固定通关条件，智能体需要自主设定和追求目标
\item 丰富的多模态数据：YouTube 上有超过 1000 亿字的 Minecraft 视频和教程
\item 复杂的生存和创造任务：从基础采集到建造复杂电路
\end{itemize}

\begin{knowledgebox}{MineDojo 平台}
MineDojo 是 Jim Fan 团队构建的大规模开放研究平台，包含 Minecraft 模拟器 API、数千个任务、以及从互联网收集的海量多模态数据（视频、Wiki、Reddit 帖子）。获得了 NeurIPS 2022 杰出论文奖。
\end{knowledgebox}

\subsection{MineCLIP：视频-文本对齐}

团队训练了 MineCLIP 模型，利用 YouTube 视频和对应的旁白/字幕进行对比学习，实现 Minecraft 世界中的视觉-语言对齐。这为后续的开放式任务指定提供了通用奖励函数。

\subsection{本章小结}
Minecraft 的开放性和丰富数据使其成为研究通用智能体的理想沙盒。

\section{Voyager：首个 LLM 驱动的开放世界智能体}

\subsection{三大核心模块}

\begin{importantbox}{Voyager 架构}
\begin{enumerate}
\item \textbf{自动课程}（Automatic Curriculum）：GPT-4 根据当前探索状态自动生成下一个目标，驱动持续探索
\item \textbf{迭代提示与代码生成}：GPT-4 编写 JavaScript 控制代码，通过环境反馈和自我反思迭代修正
\item \textbf{技能库}（Skill Library）：成功的程序被存入可复用的代码库，类似于一个由 LLM 自主编写的代码仓库
\end{enumerate}
\end{importantbox}

\subsection{迭代代码修正}

Voyager 的代码生成采用闭环设计：环境执行器返回错误信息（如 JavaScript 未定义变量），GPT-4 ``批评家''分析任务完成进度，据此修正代码。例如，任务``制作望远镜''时，批评家会检查库存中的铜和紫水晶数量是否充足。

\subsection{技能库的复合增长}

\begin{knowledgebox}{终身学习的关键}
技能库使 Voyager 避免重复``发明轮子''：一旦学会某个技能（如``挖铁矿''），面对类似情境时直接从库中检索，而非重新通过昂贵的 LLM 迭代来解决。这实现了能力的递归式积累。
\end{knowledgebox}

\subsection{实验结果}

Voyager 在 Minecraft 中展现出远超基线方法（ReAct、Reflexion、AutoGPT）的性能：
\begin{itemize}
\item 发现新物品的速度快 3.3 倍
\item 旅行距离远 2.3 倍
\item 能解锁整个科技树，而其他方法被卡在早期阶段
\end{itemize}

\subsection{本章小结}
Voyager 证明 LLM 可以作为通用智能体的``大脑''，通过代码生成和技能积累实现开放世界中的终身学习。

\section{Eureka：LLM 作为奖励函数设计师}

\subsection{奖励设计的困境}

强化学习的核心瓶颈之一是奖励函数设计。手工设计的奖励往往脆弱、稀疏，且难以迁移。

\begin{importantbox}{Eureka 的核心思想}
让 GPT-4 自动编写奖励函数代码，通过进化搜索和环境反馈迭代优化。Eureka 在 29 个 Isaac Gym 机器人任务上超越了人类专家设计的奖励函数，且不需要任何任务特定的提示工程。
\end{importantbox}

\subsection{灵巧手操作}

Eureka 最引人注目的成果是让 Shadow Hand（灵巧手）学会了旋转笔的技能——这是此前从未通过 RL 实现过的复杂操作。

\subsection{本章小结}
Eureka 将 LLM 的代码生成能力引入奖励设计，开辟了``LLM-in-the-loop'' RL 的新范式。

\section{VIMA：多模态提示的通用机器人}

VIMA 提出了一种多模态提示范式：任务指令不仅包含文本，还可以包含目标图像、视频演示等。模型学习从多模态提示推断任务意图并执行。

\begin{knowledgebox}{跨形态泛化}
团队进一步探索了跨不同机器人形态（如机械臂、四足、人形）的统一策略训练，发现物理形态本身可以被视为另一种``模态''，实现跨形态的正向迁移。
\end{knowledgebox}

\subsection{本章小结}

VIMA 说明机器人策略不必只依赖文本提示，任务意图本身可以通过多模态示例直接注入系统。

\section{统一视角：环境、记忆与奖励的闭环}

\subsection{为什么这些工作能串成一条线}

MineDojo、Voyager、Eureka 和 VIMA 看似分别关注环境平台、开放世界探索、奖励设计和多模态控制，但它们其实共享一个统一结构：\textbf{环境负责提供可交互反馈，记忆负责积累可复用经验，奖励负责把长期目标变成局部改进信号}。缺掉任何一环，智能体都很难持续成长。

\begin{importantbox}{Embodied agent 的三个长期瓶颈}
\begin{enumerate}
\item \textbf{探索瓶颈}：没有足够丰富的交互经验，系统学不到真正稀有的技能。
\item \textbf{记忆瓶颈}：如果经验不能复用，智能体每次都像第一次做任务。
\item \textbf{信用分配瓶颈}：长期目标太远时，奖励函数很难准确告诉模型哪一步做对了。
\end{enumerate}
\end{importantbox}

\subsection{技能库其实是一种外部记忆}

Voyager 最值得借鉴的不只是 GPT-4 写代码，而是它把成功代码沉淀成可检索技能。这和现代 agent 的 tool library、memory store、本地代码库非常相似。本质上，系统正在把``一次成功轨迹''转化为``下次可直接调用的策略原语''。

\subsection{本章小结}

具身智能体要想持续进步，必须把环境反馈、外部记忆和奖励设计整合成稳定闭环。

\section{走向真实机器人系统的工程约束}

\subsection{仿真成功并不等于现实可用}

从 Minecraft 到 Isaac Gym，再到真实机器人，最大的鸿沟往往不是任务描述，而是执行代价。现实机器人存在硬件磨损、视觉遮挡、传感器噪声和安全边界，一次错误动作的成本远高于仿真环境里的``重来一次''。

\begin{warningbox}{不要把仿真中的快速迭代误当作现实世界可复制}
LLM 可以在仿真里高速写代码、改奖励、跑搜索，但真实机器人系统通常需要速率限制、碰撞检测、人工确认和回滚策略。否则，一个看似聪明的策略很快会演变成硬件风险。
\end{warningbox}

\subsection{未来系统更像分层控制栈}

一个现实可落地的 embodied agent 更可能由多层系统组成：高层 LLM 负责目标分解和策略选择，中层 planner 负责任务约束与状态估计，底层 controller 处理毫秒级闭环控制。课程中介绍的这些研究，实际上分别强化了这条栈中的不同层。

\subsection{本章小结}

具身智能真正走向现实之前，必须接受控制系统、安全约束和运维成本带来的工程边界。

\section{总结与延伸}

本讲展示了从虚拟世界（Minecraft）到物理世界（真实机器人）的通用智能体构建路径。核心哲学是：``如果人类能做到，AI 为什么不能？''——关键在于主动交互、终身学习和跨域迁移。

\subsection{拓展阅读}
\begin{itemize}
\item Fan et al., ``MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge'', NeurIPS 2022
\item Wang et al., ``Voyager: An Open-Ended Embodied Agent with Large Language Models'', 2023
\item Ma et al., ``Eureka: Human-Level Reward Design via Coding Large Language Models'', 2023
\item Jiang et al., ``VIMA: General Robot Manipulation with Multimodal Prompts'', 2023
\end{itemize}

%% --- 正文内容结束 --- %%

\end{document}
