\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}
\usepackage{array}
\usepackage{longtable}

\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}

\lstset{
    language=Python,
    basicstyle=\ttfamily\small,
    keywordstyle=\color{blue},
    stringstyle=\color{red!60!black},
    commentstyle=\color{green!60!black},
    breaklines=true,
    frame=single,
    numbers=left,
    numberstyle=\tiny\color{gray},
    captionpos=b,
    extendedchars=false
}

\newcommand{\notetitle}{[LLM Agents F25] Autonomous Agents --- Peter Stone}
\newcommand{\noteauthors}{基于 Peter Stone 授课内容整理}
\newcommand{\notedate}{2026-04-02}
\newcommand{\videochannel}{Berkeley RDI}
\newcommand{\videopublishdate}{2025-12-01}
\newcommand{\videoduration}{1:01:42}
\newcommand{\videourl}{https://www.youtube.com/watch?v=iDhzzugMOLA}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

\section{课程定位与主线}

本讲由 UT Austin 的 Peter Stone 主讲，题目是 Autonomous Agents。它并不是在讲一套新的 LLM 框架，而是在把 ``Agent'' 这个概念重新放回 AI 长期研究脉络：\textbf{embodiment、interaction、learning}。

Stone 在开场明确表示，本讲要覆盖的是一个 broad view，而不是只看 2025 年流行的 ``agentic LLM''。因此课程的组织方式也很典型：先给概念和研究版图，再快速扫过实验线索，最后对两个代表性案例做 deeper dive（Slack 与 GT Sophy）。

\begin{importantbox}{本讲的核心价值}
这节课最关键的贡献不是新算法，而是把 Agent 研究中的三个长期主题重新拧到一起：
\begin{itemize}
    \item \textbf{Interaction}：单体与多体如何在动态环境中协作与对抗；
    \item \textbf{Learning}：从 RL 到 human feedback，如何在样本约束下学习可执行策略；
    \item \textbf{Embodiment}：策略是否真正能落在 physical world，而不是只在 text benchmark 上成立。
\end{itemize}
\end{importantbox}

\begin{knowledgebox}{为什么这讲对 LLM Agent 仍然重要}
尽管讲者大量举的是 robotics 与 autonomous driving 的例子，但这些问题与 LLM Agent 的工程现实高度同构：状态观测不完美、动作后果延迟显现、多人系统中的策略耦合、以及 ``高分但不可用'' 的评测失真。
\end{knowledgebox}

\subsection{本章小结}
这是一节 ``概念澄清 + 案例复盘'' 的课。它要求我们先把 Agent 的定义站稳，再去谈任何看似新的 Agentic 产品形态。

\section{什么是 Autonomous Agent：从 buzzword 回到定义}

Stone 给出的定义非常朴素：\textbf{agent 是通过 sensors 和 actuators 与环境持续交互的智能系统}。这一定义故意避免把 Agent 等同于聊天窗口里的 API 调用器，也避免把 Agent 仅仅理解为多工具链路。

\begin{knowledgebox}{连续闭环是关键}
在这一讲里，Agent 的最小闭环是：
\[
\text{observe} \rightarrow \text{reason / decide} \rightarrow \text{act} \rightarrow \text{new observation}
\]
重点在 ``continuous loop''，而不是 request-response。
\end{knowledgebox}

按照这一定义，chatbot 在某些设置下可以是 Agent，但很多典型 chatbot 仍偏 ``被动响应''。Autonomous Agent 更强调主动持续行为，不需要每一步都等用户明确触发。

\begin{importantbox}{Robot 与 Agent 的关系}
Stone 用了一个非常实用的区分：
\begin{itemize}
    \item Robot 可以看作是 \textbf{physical agent}；
    \item 所有 robot 都是 agent；
    \item 但并非所有 agent 都必须具备 physical embodiment。
\end{itemize}
这让我们能同时讨论 software agent、game-playing agent、以及 real-world embodied agent。
\end{importantbox}

\begin{warningbox}{常见误解}
把 Agent 缩减为 ``LLM + tool call'' 会直接丢掉两类关键问题：
\begin{itemize}
    \item 真实动作约束（安全、延迟、失败恢复）；
    \item 多体互动约束（协作、竞争、信用分配）。
\end{itemize}
这两类问题恰好决定系统能否从 demo 走向部署。
\end{warningbox}

\subsection{本章小结}
Agent 的定义不是为了学术形式化，而是决定你后续系统边界怎么画。定义太窄，后面的 benchmark 和工程结论都会失真。

\section{完整智能体栈：Perception, Cognition, Action}

Stone 在课里把完整智能体分成三个层次：Perception、Cognition、Action。这个拆法在机器人和 LLM 系统里都非常有用，因为它清晰地分离了 ``看见''、``想清楚''、``做出来'' 三个失败源。

\begin{table}[H]
\centering
\begin{tabular}{p{2.8cm}p{4.8cm}p{4.8cm}}
\toprule
\textbf{模块} & \textbf{在课程中的含义} & \textbf{在 LLM Agent 中的对应} \\
\midrule
Perception & 从 raw sensors 到可用状态表示 & context parsing, tool result interpretation \\
Cognition & 规划、推理、队友/对手建模、决策 & decomposition, planning, policy selection \\
Action & 从决策到可执行控制信号 & API call, code execution, UI action \\
\bottomrule
\end{tabular}
\caption{Perception-Cognition-Action 对应关系}
\end{table}

\begin{knowledgebox}{为什么要强制分层}
如果把系统全部扔进 end-to-end black box，会导致以下后果：
\begin{itemize}
    \item 出错时无法定位是感知问题还是决策问题；
    \item 奖励设计与评测指标很难有针对性；
    \item 安全约束无法插在合适位置（例如动作前的 rule check）。
\end{itemize}
\end{knowledgebox}

课程里还强调了 Cognition 层不只是 planning。它也包括 teammate/opponent modeling、coordination、tactical adaptation。这一点对多 Agent 任务尤其重要，因为策略质量不再只取决于自身状态，还取决于他人的策略分布。

\begin{importantbox}{智能体工程的一个实践准则}
在复杂任务里，先保证 Perception 和 Action 管道稳，再提高 Cognition 复杂度，通常比 ``一开始就上最复杂 planner'' 更容易收敛。
\end{importantbox}

\subsection{本章小结}
Perception-Cognition-Action 不是过时框架，而是今天构建可调试 Agent 的最低工程骨架。

\section{研究问题与应用版图：Stone Lab 的统一问题}

Stone 给出的长期研究问题是：
\textit{``To what degree can autonomous intelligent agents learn in the presence of teammates and/or adversaries in real-time dynamic domains?''}

这个问题从 1998 年延续至今，说明 ``Agent'' 在学术上并不是新词，而是不断被新计算范式激活的老问题。

\begin{importantbox}{统一问题的四个关键词}
\begin{itemize}
    \item \textbf{learn}：不是手工脚本，而是策略学习；
    \item \textbf{teammates/adversaries}：多体互动不是附加项，而是主问题；
    \item \textbf{real-time}：控制频率和延迟约束是硬条件；
    \item \textbf{dynamic domains}：状态分布持续变化，离线最优策略会失效。
\end{itemize}
\end{importantbox}

围绕这一问题，Stone 的例子覆盖 robotics、robot soccer、autonomous driving、Gran Turismo、human feedback learning、ad hoc teamwork、ethical dataset construction。看上去分散，但都在回答同一个东西：\textbf{能否在复杂互动环境中持续学习并保持可用行为。}

\begin{warningbox}{研究叙事中的陷阱}
如果只看单一 benchmark 提升，容易误判为能力突破；但在动态多体环境中，很多 ``提分'' 只是对静态分布的过拟合。
\end{warningbox}

\subsection{本章小结}
统一问题让我们避免被技术热点牵着走。它同时约束了算法目标、系统设计和评测方式。

\section{案例簇 A：Robot Soccer 与服务机器人}

\subsection{RoboCup 作为多体实体智能试验场}
Stone 用 RoboCup 展示了多 Agent embodied intelligence 的典型难点：感知噪声、动作延迟、策略协同、对手建模、实时决策。机器人需要 ``sensing, deciding, acting'' 的完整闭环，且不能靠远程人工遥控。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{frame-01-robot-soccer.jpg}
\caption{RoboCup 场景：多机器人在真实比赛中自主协同\protect\footnotemark}
\end{figure}
\footnotetext{视频时间区间：00:08:12--00:10:20。}

\begin{knowledgebox}{为什么 RoboCup 仍有研究价值}
它把多个 AI 子问题耦合在一起：
\begin{itemize}
    \item 局部感知与全局态势理解；
    \item 实时控制与长期战术平衡；
    \item 队内协作与对手对抗；
    \item 规则约束下的高强度策略竞争。
\end{itemize}
\end{knowledgebox}

课程里提到 RoboCup 的长期目标：2050 年 humanoid team 击败人类世界杯冠军队。这个目标是否按时达成并不重要，重要的是它强迫研究者把 ``可发表'' 转化为 ``可比赛''，从而持续暴露系统短板。

\subsection{服务机器人：从竞赛到家庭任务}
另一条线是 RoboCup@Home 场景：做 host、摆台、收纳 groceries、早餐服务等。这些任务难点在于开放环境和长链任务分解，不是单步抓取精度。

\begin{importantbox}{服务机器人任务对 Agent 的要求}
与标准 manipulation benchmark 不同，服务任务需要：
\begin{itemize}
    \item 任务层语义理解（不是只有几何控制）；
    \item 跨步骤记忆与状态追踪；
    \item 出错后的恢复策略；
    \item 与人类交互中的社会可接受行为。
\end{itemize}
\end{importantbox}

\subsection{本章小结}
RoboCup 与服务机器人共同说明：当 Agent 进入实体世界，``策略质量'' 必须同时在感知、控制、协同和规则约束中成立。

\section{案例簇 B：Autonomous Driving 与交叉口协调}

Stone 复盘了自动驾驶研究中的一个代表性问题：当道路系统主体都变成 autonomous agent，交通规则会不会从静态信号灯转向协商式 reservation system。

\begin{knowledgebox}{Reservation-based intersection 的 Agent 含义}
每辆车都可视为 agent，进入路口前向调度系统请求时空轨迹槽位（reservation）：
\begin{itemize}
    \item 获批后按保序轨迹通过；
    \item 未获批则等待；
    \item 目标是减少全局等待和冲突概率。
\end{itemize}
\end{knowledgebox}

这个想法对今天 LLM Agent 也有直接启发：在共享资源系统中，``协作协议'' 往往比单 Agent 局部最优更重要。

\begin{warningbox}{混合交通是难点}
纯 autonomous agent 环境容易优化；human + autonomous 混合环境会引入策略不确定性和行为非平稳性，这是部署中更难的阶段。
\end{warningbox}

\subsection{本章小结}
自动驾驶案例强调了一个事实：Agent intelligence 不是离散任务成功率，而是协议化协同能力。

\section{Human-in-the-loop 学习：从 TAMER 到 RLHF}

Stone 特别回顾了 TAMER 系统（Teaching an Agent Manually via Evaluative Reinforcement）及其后续工作。它在 Tetris 上展示了 ``显式人类评价信号'' 如何显著加速早期学习。

\begin{importantbox}{TAMER 的经验}
相对纯随机探索：
\begin{itemize}
    \item 学习早期收敛更快；
    \item 人类反馈能快速压制明显坏动作；
    \item 但最终上限可能受限于反馈噪声与覆盖度。
\end{itemize}
\end{importantbox}

Stone 也指出后续组合路线：TAMER + RL。先用人类信号快速起步，再用自主 RL 继续提升上限。这几乎就是今天很多 LLM 后训练流程的结构映射：\textbf{human preference shaping + large-scale policy optimization}。

\begin{knowledgebox}{显式反馈与隐式反馈}
课程里还讨论了 implicit feedback（如乘客表情、紧张动作）：
\begin{itemize}
    \item 显式反馈：``good move / bad move''，高精度但高成本；
    \item 隐式反馈：无需额外标注流程，信号自然存在但噪声高。
\end{itemize}
这对应今天产品中 online telemetry 与 explicit rating 的组合。
\end{knowledgebox}

\begin{warningbox}{只靠 RLHF 不等于解决长期策略问题}
RLHF 能优化局部输出偏好，但在长链动作任务里，仍需配合环境反馈、过程奖励与安全约束，才能得到稳定 Agent 行为。
\end{warningbox}

\subsection{本章小结}
TAMER 的历史价值在于证明 ``人类反馈是可训练信号''。但完整 Agent 学习需要把人类反馈、环境反馈和自主探索放进同一系统。

\section{Ad Hoc Teamwork：和陌生队友临场组队}

Stone 把 ad hoc teamwork 作为 interaction 方向的代表问题：目标是让 agent 在\textbf{无法预先控制队友策略}的情况下，仍能快速形成高质量协作。

\begin{importantbox}{问题定义}
Ad hoc teamwork 的关键约束是：
\begin{itemize}
    \item 队友模型不可预训练到固定分布；
    \item 协同策略必须在线适配；
    \item 任务成功依赖 ``对队友行为的实时解释''。
\end{itemize}
\end{importantbox}

这和今天多 Agent coding、multi-role planner、企业流程自动化高度一致。你经常要和 ``未知策略的外部参与者'' 共事，比如新接入 tool、异构模型、甚至人类操作员。

\begin{knowledgebox}{对 LLM Multi-Agent 的直接启发}
如果系统只在固定队友配置下验证，部署后经常会遇到协同退化。更稳健的方法是把 ``队友分布扰动'' 作为训练和评测的一部分。
\end{knowledgebox}

\subsection{本章小结}
Ad hoc teamwork 把多 Agent 问题从 ``是否能协同'' 推进到 ``是否能和未知协同体稳定协同''，这是落地系统必须面对的版本。

\section{伦理与公平数据：从研究成果到数据治理}

很多 ``Autonomous Agent'' 讨论只聚焦策略最优，但 Stone 在中段专门提到 ethical AI initiative 和 Phoebe 数据集，说明他将伦理治理视为 Agent 系统的一部分，而非部署后补丁。

\subsection{为什么伦理问题在 Agent 里更尖锐}
当系统从 ``回答问题'' 走向 ``持续决策''，伦理风险会被放大。Agent 有状态、可记忆、可长期行动，它造成的偏差不是单条输出，而是策略级行为偏置。

\begin{importantbox}{课程中的关键观点}
Stone 明确强调了两件事：第一，数据集不只看规模，还要看构建过程是否合规；第二，公平评测应面向全球多样人群，而不是局限于单地区、单语种分布。  
\textit{``first globally diverse consensually collected fairness evaluation dataset''}（约 00:17:07）。
\end{importantbox}

\begin{knowledgebox}{Phoebe 的方法学意义}
课程提到 Phoebe（Nature 2025）时，重点并不在 ``10,000 图像'' 这个数量，而在以下流程要点：
\begin{itemize}
    \item 先识别数据构建过程中的伦理与法律问题，再定采集协议；
    \item 强调 \textbf{consensually collected}，避免 ``抓取即合规'' 的默认假设；
    \item 用数据集去评测模型偏见，而不是只做数据陈列。
\end{itemize}
\end{knowledgebox}

\subsection{把 fairness 变成系统接口，而不是论文附录}
这部分对 LLM Agent 尤其重要。很多团队在上线前只做一次性安全评审，忽略了上线后策略漂移。Stone 这段内容给出的启发是：\textbf{应把公平评测做成持续流程与平台能力}。

\begin{table}[H]
\centering
\begin{tabular}{p{3.2cm}p{4.6cm}p{4.2cm}}
\toprule
\textbf{治理环节} & \textbf{课程线索} & \textbf{工程落地点} \\
\midrule
数据采集 & consensually collected & 用户授权记录、数据来源台账 \\
标注与描述 & ethical/legal issues first & 敏感属性审查、标注规范审计 \\
评测目标 & evaluate bias in AI models & 分人群分任务指标看板 \\
发布与复现 & establish industry standard & 版本化评测基线与复现实验脚本 \\
\bottomrule
\end{tabular}
\caption{从课程观点到公平治理流水线}
\end{table}

\begin{warningbox}{常见短板：把公平只当成离线分数}
如果公平只在离线 benchmark 上看一次，部署后很快会失效。Agent 与真实用户交互后，输入分布和行为路径都会变。需要持续监测与回归测试，而不是 ``一次过检''。
\end{warningbox}

\subsection{本章小结}
Stone 讨论 Phoebe 的意义在于给出一个 ``可执行'' 的伦理路线：先治理流程，再谈模型分数；先建立标准，再扩展能力。

\section{Deep Dive I：Slack --- 低保真模拟驱动的真实机器人 RL}

\subsection{问题设定}
Slack 论文针对的是一个现实痛点：真实机器人 RL 成本高、试错慢、风险大。高保真模拟器难构建，而纯真实世界随机探索几乎不可接受。

\begin{warningbox}{真实机器人 RL 的三重约束}
\begin{itemize}
    \item \textbf{Sample efficiency}：电池、硬件寿命和实验时间都有限；
    \item \textbf{Safety}：随机动作可能造成碰撞与损坏；
    \item \textbf{Task diversity}：复杂任务需要 base + arm + camera 联动。
\end{itemize}
\end{warningbox}

\subsection{方法主干}
Slack 的主思路不是先学完整策略，而是先在低保真模拟器里学一个 \textbf{structured latent action space}，再把这个空间用于真实世界任务学习。

\begin{knowledgebox}{方法拆解}
\begin{enumerate}
    \item 用 unsupervised RL 在低保真模拟器中发现 task-agnostic skills；
    \item 通过 disentanglement 学到更结构化的 latent action factor；
    \item 加入 hand-coded safety reward 约束危险动作；
    \item 在真实环境中用 factorized SAC 在 latent 空间做高效策略学习。
\end{enumerate}
\end{knowledgebox}

这条路线的工程含义是：把最贵的探索压缩到一个更可控、更低维的动作空间里，从而把真实世界在线学习时间降到可用区间。

\subsection{关键帧证据与结果}
\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{frame-02-slack-setup.jpg}
\caption{Slack 场景：移动底盘 + 机械臂 + 视觉联动任务\protect\footnotemark}
\end{figure}
\footnotetext{视频时间区间：00:31:00--00:33:30。}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{frame-03-slack-result.jpg}
\caption{在任务奖励驱动下，策略从随机行为收敛到稳定执行\protect\footnotemark}
\end{figure}
\footnotetext{视频时间区间：00:41:30--00:43:20。}

课程报告的结果重点有两条：一是多任务（擦白板、扫物入盘、避障等）在 1 小时内可达高成功率；二是安全违规更少。这两条恰好对应真实部署最关心的效率与风险。

\begin{importantbox}{Slack 的方法论启发}
它不是在说 ``模拟器足够真实就能一键迁移''，而是在说 ``模拟器可以先学行为结构，再把结构迁移到真实世界做任务学习''。这是一个更现实、更稳健的 sim-to-real middle path。
\end{importantbox}

\subsection{训练流程拆解：从随机探索到可用技能}
字幕里有一段很关键：\textit{``if you just use standard state-of-the-art RL, you're going to just flail''}（约 00:32:21--00:32:27）。  
这句话解释了 Slack 为什么不直接在全动作空间做端到端 RL。对一个移动底盘 + 机械臂系统，随机动作几乎必然导致无效探索和高风险行为。

\begin{table}[H]
\centering
\begin{tabular}{p{2.2cm}p{4.8cm}p{4.8cm}}
\toprule
\textbf{阶段} & \textbf{目标} & \textbf{主要手段} \\
\midrule
阶段 A & 获得可迁移行为结构 & 低保真模拟中无监督技能发现 \\
阶段 B & 降低动作维度与耦合复杂度 & latent action disentanglement \\
阶段 C & 控制真实探索风险 & hand-coded safety reward + action constraints \\
阶段 D & 在真实任务中快速收敛 & factorized SAC 在 latent 空间优化 \\
\bottomrule
\end{tabular}
\caption{Slack 训练流水线（课程内容重构）}
\end{table}

\begin{knowledgebox}{为什么 ``低保真'' 也能有用}
课程给出的核心并不是高保真替代真实世界，而是结构迁移：
\begin{itemize}
    \item 迁移的是动作组织方式，而非逐像素物理精确性；
    \item 低保真阶段先学 ``怎么动''，真实阶段再学 ``为任务而动''；
    \item 这样做把最昂贵的随机探索从真实机器人上转移出去。
\end{itemize}
\end{knowledgebox}

\begin{warningbox}{落地风险：latent space 也会失配}
如果 latent action 空间覆盖不到真实任务关键操作，后续真实学习会出现 ``看似稳定但达不到目标''。因此需要在真实阶段保留重构或扩容机制，而不是把 latent space 视为固定真理。
\end{warningbox}

\subsection{本章小结}
Slack 给了 embodied agent 一个可操作范式：低保真模拟用于学结构，真实世界用于学任务，从而兼顾效率与安全。

\section{Deep Dive II：GT Sophy --- 实时竞争场景下的分布式 RL 系统}

\subsection{为什么 GT Sophy 有代表性}
Stone 将 GT Sophy 定位为 ``实时连续控制 + 多体博弈 + 人类规则约束'' 的综合 benchmark。它比很多 turn-based 游戏更接近真实世界策略系统，因为动作频率高、状态连续、战术与礼仪同时存在。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{frame-04-gtsophy-race.jpg}
\caption{GT Sophy 在多人竞速中的防守与超车策略\protect\footnotemark}
\end{figure}
\footnotetext{视频时间区间：00:54:00--00:56:30。}

\begin{knowledgebox}{任务难点}
\begin{itemize}
    \item \textbf{Real-time control}：10Hz 动作更新，容错窗口极窄；
    \item \textbf{Tactics}：不仅要快，还要会防守线和 slipstream/crossover；
    \item \textbf{Etiquette}：不能靠违规碰撞取胜，需通过 steward 规则。
\end{itemize}
\end{knowledgebox}

\subsection{系统架构与算法点}
GT Sophy 的成功并非单一算法突破，而是 ``计算架构 + 数据策划 + RL 目标'' 的组合。课程里强调了 actor-replay-learner 式大规模 rollout，以及 QRSAC（基于 SAC 的分布式价值估计改进）。

\begin{importantbox}{可迁移的工程经验}
\begin{itemize}
    \item \textbf{Distributional value estimation}：学回报分布而非仅均值；
    \item \textbf{Replay mixture engineering}：经验池里不同场景数据配比要精心设计；
    \item \textbf{Curriculum-like traffic scenarios}：通过 1v1、1v3、多车网格等情形促成战术涌现。
\end{itemize}
\end{importantbox}

\subsection{课程中被反复强调的 ``数据配比工程''}
Stone 在 00:53--00:55 段反复解释，系统并非只靠随机 rollout。团队构造了多种起跑与追车场景：
\begin{itemize}
    \item 单车跟车、1v2、1v3、1v7 的交通密度梯度；
    \item 直道跟车学习 slipstream pass；
    \item 弯道起步学习 crossover 与 double-crossover；
    \item 特定赛道难点片段的强化采样。
\end{itemize}

\begin{knowledgebox}{Replay buffer 的核心不是 ``大''，而是 ``对''}
课程中提到，Nature 论文阶段很多配比是人工精调，后续才逐步自动化。这说明在复杂策略学习里，\textbf{采样分布设计本身就是算法的一部分}，而不是数据工程附属工作。
\end{knowledgebox}

\begin{table}[H]
\centering
\begin{tabular}{p{2.8cm}p{4.6cm}p{4.2cm}}
\toprule
\textbf{经验来源} & \textbf{主要学习目标} & \textbf{风险} \\
\midrule
空旷赛道高速圈 & 速度与线路效率 & 忽略交互策略，比赛不稳 \\
跟车直道片段 & slipstream timing & 过度依赖单一超车模板 \\
弯道拥挤片段 & defensive/crossover 决策 & 碰撞风险上升 \\
发车网格片段 & 多车起步博弈 & 学到激进行为倾向 \\
\bottomrule
\end{tabular}
\caption{GT Sophy 经验池构成与学习作用}
\end{table}

Stone 明确提到，初版系统并非一上来就赢。通过复盘失败、调整奖励和数据配比，才在后续 rematch 中稳定超过顶级人类车手。这说明高水平 Agent 的迭代方式是 ``系统级闭环调参''，而非单步神奇优化。

\begin{warningbox}{速度最优不等于比赛最优}
如果只优化 lap time，策略会忽略规则与交互；如果过度惩罚碰撞，又会变得过于 timid。真正可用策略必须在速度、战术和规则之间平衡。
\end{warningbox}

\subsection{Etiquette 约束：从 ``能赢'' 到 ``应当这样赢''}
在 00:55:39--00:56:18 附近，Stone 讨论了比赛礼仪（etiquette）：避免可避免碰撞、不能恶意挤出赛道、但也不能保守到不会竞争。  
这部分非常像真实世界 Agent 的 ``policy + governance'' 联合优化。

\begin{importantbox}{规则约束设计原则}
\begin{itemize}
    \item 仅靠结果奖励会催生漏洞利用（rule exploitation）；
    \item 仅靠硬惩罚会让策略过度保守（timid policy）；
    \item 需要把行为规则、对抗目标与长期胜率放在同一目标函数里联合权衡。
\end{itemize}
\end{importantbox}

\begin{warningbox}{部署层面的误区}
把 etiquette 放到后处理（例如只在推理后做规则过滤）通常不够。课程案例显示，更稳妥的方法是训练期就把规则信号注入策略学习，减少 ``先学坏再纠正'' 的代价。
\end{warningbox}

\subsection{部署反馈}
GT Sophy 后续被纳入游戏产品线，说明其价值不仅是论文成绩，还包括玩家体验维度：可调难度、可解释行为风格、可持续内容更新。这与今天 LLM Agent 需要 ``可产品化'' 的诉求一致。

\subsection{本章小结}
GT Sophy 展示了竞争型 Agent 的真实难点：你需要一个完整训练系统去学策略分布、场景配比、战术行为和规则边界，而不是只追一个分数。

\section{从课程到工程：Agent 系统实施清单}

前面各案例看似分散，但可以收敛成一套实施路径。下面给出一份可直接用于项目 kickoff 的 checklist，帮助团队把 ``概念正确'' 落到 ``系统可交付''。

\subsection{阶段化建设路线}
\begin{table}[H]
\centering
\begin{tabular}{p{2.5cm}p{4.8cm}p{4.3cm}}
\toprule
\textbf{阶段} & \textbf{必做事项} & \textbf{验收信号} \\
\midrule
定义阶段 & 明确 observe/decide/act 闭环与环境边界 & 关键状态与动作可枚举 \\
基线阶段 & 建立可运行的分层管道（P-C-A） & 能定位失败在何层出现 \\
训练阶段 & 设计场景分布与反馈体系（human + env） & 策略改进曲线稳定上升 \\
评测阶段 & 引入多体互动与异常扰动评测 & 非 IID 情况下性能不过度塌缩 \\
治理阶段 & 纳入安全/公平/合规约束与审计日志 & 违规率可量化并可追踪回放 \\
\bottomrule
\end{tabular}
\caption{Autonomous Agent 项目实施五阶段}
\end{table}

\subsection{常见失败模式与修复策略}
\begin{knowledgebox}{失败模式 A：只做离线 benchmark}
症状：离线分数高，但线上多步任务失败率高。  
修复：补充交互式评测，强制覆盖恢复路径与协同路径。
\end{knowledgebox}

\begin{knowledgebox}{失败模式 B：忽视队友/对手分布漂移}
症状：固定环境里表现稳定，换协作方后性能骤降。  
修复：把 ad hoc teamwork 思想引入训练，加入未知队友策略扰动。
\end{knowledgebox}

\begin{knowledgebox}{失败模式 C：安全策略完全后置}
症状：模型本体仍产生危险决策，外层拦截频繁触发。  
修复：把安全与规则奖励前置到训练期，降低策略与守卫冲突。
\end{knowledgebox}

\begin{importantbox}{一句话原则}
\textit{先保证系统可诊断，再追求策略最优；先保证行为可治理，再追求局部指标极致。}
\end{importantbox}

\subsection{证据索引：课程片段与结论对照}
\begin{table}[H]
\centering
\begin{tabular}{p{2.6cm}p{4.9cm}p{4.1cm}}
\toprule
\textbf{时间戳} & \textbf{课程片段} & \textbf{提炼结论} \\
\midrule
00:08--00:10 & RoboCup 多机器人自主对抗 & 多体协作必须在实时闭环下验证 \\
00:12--00:13 & reservation-based intersection & 协议化协调优于局部最优 \\
00:21--00:23 & TAMER 与 implicit feedback & 人类反馈可作为可训练信号 \\
00:31--00:33 & Slack 任务设定与难点 & 低保真结构学习可降真实成本 \\
00:53--00:56 & GT Sophy 策略涌现与 etiquette & 数据配比与规则设计决定上限 \\
\bottomrule
\end{tabular}
\caption{关键视频证据与笔记结论映射}
\end{table}

\subsection{本章小结}
把 Stone 的课程真正落地，需要把算法、系统、评测、治理四条线并行推进。任意一条缺失，都会导致 ``可演示但不可部署''。

\section{对 LLM Agent 的系统启发}

把 Stone 这节课映射回 2025 年 LLM Agent，至少有四个直接结论。

\begin{importantbox}{启发 1：Agent 评测必须包含 interaction outcome}
仅看单轮回答质量会误导。应评估：
\begin{itemize}
    \item 长链任务完成率；
    \item 与人/工具/其他 agent 的协同稳定性；
    \item 出错恢复路径是否可控。
\end{itemize}
\end{importantbox}

\begin{importantbox}{启发 2：分层动作空间可以显著降本}
Slack 的 latent action 思想在软件 Agent 里也成立：不要总是直接生成低层动作序列，可以先学高层 action primitives，再做下游任务优化。
\end{importantbox}

\begin{importantbox}{启发 3：数据策划和 replay 配比决定战术能力}
GT Sophy 证明了 ``看到什么分布，就学到什么策略''。在 coding/ops agent 里，同样需要精心构造困难场景、对抗场景和边界场景的训练比例。
\end{importantbox}

\begin{warningbox}{启发 4：安全约束应显式进入训练目标}
无论是机器人避障还是竞速 etiquette，本质都是 ``把合规从后处理挪到训练过程''。LLM Agent 也应把权限、审计、风险动作约束前置。
\end{warningbox}

\subsection{本章小结}
这节课不是在和 LLM Agent 竞争叙事，而是在提供一套更稳的工程母框架：定义闭环、分层建模、场景化训练、系统级评测。

\section{总结与延伸}

\subsection{核心内容总表}
\begin{table}[H]
\centering
\begin{tabular}{p{2.8cm}p{4.5cm}p{4.2cm}}
\toprule
\textbf{主题} & \textbf{课程结论} & \textbf{对 LLM Agent 启发} \\
\midrule
Agent 定义 & 连续感知-决策-行动闭环 & 评测要覆盖多步行为结果 \\
智能体架构 & Perception-Cognition-Action 分层 & 系统可调试性优先于端到端神化 \\
多体互动 & 协作与对抗是核心难题 & 多 Agent 场景需建模队友分布变化 \\
Human feedback & TAMER/RLHF 可加速早期学习 & 人类偏好与环境反馈需联合优化 \\
Embodied RL & Slack 通过结构化动作空间降本提效 & 高层 action primitive 可迁移到软件 Agent \\
竞争型 RL & GT Sophy 依赖系统工程和数据策划 & replay/curriculum 设计是策略质量关键 \\
\bottomrule
\end{tabular}
\caption{Autonomous Agents 课程要点浓缩}
\end{table}

\subsection{进一步思考}
\begin{enumerate}
    \item 当 Agent 要在真实业务里长期运行时，哪些失败模式必须在训练阶段提前暴露？
    \item 如何把 ``ad hoc teamwork'' 形式化到今天的 multi-agent coding pipeline？
    \item 在 LLM Agent 里，哪些能力应留在系统外层，哪些应内化到策略模型？
\end{enumerate}

\subsection{拓展阅读}
\begin{itemize}
    \item Peter Stone 个人主页与公开讲座（含 Autonomous Agents、GT Sophy、robot learning 系列）
    \item TAMER / Deep TAMER / human-in-the-loop reinforcement learning 相关论文
    \item Ad Hoc Teamwork challenge paper（AAAI 2010）与后续多智能体协作研究
    \item Slack（Sim-to-real latent action learning）与 factorized RL 相关论文
    \item Outracing champion Gran Turismo drivers with deep RL（Nature 2022）
    \item Phoebe dataset（human-centric fairness benchmark，Nature 2025）
\end{itemize}

\end{document}
