\documentclass[a4paper]{article}

\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath,amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{subcaption}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, boxrule=1pt, sharp corners
}

\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}

\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

\lstset{
    basicstyle=\ttfamily\small,
    keywordstyle=\color{blue},
    stringstyle=\color{red!60!black},
    commentstyle=\color{green!60!black},
    breaklines=true,
    frame=single,
    numbers=left,
    numberstyle=\tiny\color{gray},
    captionpos=b,
    extendedchars=false
}

\newcommand{\notetitle}{CS224R Lecture 18: 深度 RL 前沿与研究方法}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025 年春季}
\newcommand{\videochannel}{Stanford Online}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约 80 分钟}
\newcommand{\videourl}{https://cs224r.stanford.edu/}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.1cm}

\ifdefempty{\videocoverpath}{
{\small 封面图未提供。\par}
}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\textbf{讲者}：Chelsea Finn\par
\textbf{课程主页}：\href{https://cs224r.stanford.edu/}{cs224r.stanford.edu}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

%% --- 正文内容开始 --- %%

\section{Part 1：深度 RL 的开放问题与前沿}

Chelsea Finn 在本讲中总结了深度 RL 领域的开放问题和前沿方向，并提供了深度 RL 研究的实践建议。

\subsection{问题定义层面的挑战}

\subsubsection{奖励设计}

\begin{importantbox}{奖励设计的根本困难}
在现实应用中，设计正确的奖励函数往往比解决 RL 问题本身更困难：
\begin{itemize}
    \item \textbf{奖励稀疏}：大多数时间步没有有意义的反馈
    \item \textbf{奖励误指定}：设计的奖励可能导致非预期行为（reward hacking）
    \item \textbf{多目标冲突}：多个奖励目标之间的权重很难调节
\end{itemize}
\end{importantbox}

\begin{warningbox}{Reward Hacking}
当奖励函数不完美时，RL 智能体会找到"合法但非预期"的方式来最大化奖励。经典案例：
\begin{itemize}
    \item 赛车游戏中收集奖励币而非完成赛道
    \item 机器人通过抖动而非行走来最大化速度奖励
    \item LLM 通过重复输出来最大化长度奖励
\end{itemize}
Reward hacking 是 RL 对齐（alignment）问题的核心挑战之一。
\end{warningbox}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-05.jpg}
\caption{课程用聊天机器人、机器人折叠和推荐系统说明：一旦任务缺少可靠奖励或客观可验证指标，RL 的问题设定本身就会变成研究难点。}
\end{figure}

\subsubsection{状态与动作空间设计}

如何选择合适的状态表示和动作空间也是一个重要的设计问题：
\begin{itemize}
    \item 状态应该包含足够的信息（满足 Markov 性），但也不能太高维
    \item 动作空间的粒度影响学习效率
    \item 在 LLM 中，是 token 级还是 sentence 级的动作空间
\end{itemize}

\subsubsection{环境设计与基准}

\begin{knowledgebox}{好的 RL 基准的标准}
一个有用的 RL 基准应该：
\begin{itemize}
    \item 捕捉真实应用中的核心挑战
    \item 可以快速迭代（计算开销适度）
    \item 评估指标有意义且可靠
    \item 与真实世界性能有相关性
\end{itemize}
当前的挑战是：很多流行的 RL 基准与真实应用的需求脱节。
\end{knowledgebox}

\subsection{方法层面的挑战}

\subsubsection{样本效率}

尽管已有很多改进，深度 RL 的样本效率仍然远低于人类学习。

\subsubsection{泛化能力}

\begin{importantbox}{RL 中的泛化问题}
当前 RL 方法的泛化能力有限：
\begin{itemize}
    \item 在训练环境外的新环境中性能急剧下降
    \item 对奖励函数的微小变化过度敏感
    \item 难以将在一个任务上学到的知识迁移到相关任务
\end{itemize}
提升 RL 泛化能力是实现真实世界部署的关键。
\end{importantbox}

\subsubsection{多智能体与博弈}

多智能体 RL 面临额外的挑战：
\begin{itemize}
    \item 环境非平稳（其他智能体的策略在变化）
    \item 协调与竞争的平衡
    \item 通信协议的学习
\end{itemize}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-12.jpg}
\caption{讲者把 video generation / world model 放进方法前沿中讨论：它们提供了丰富先验，但在策略分布外使用时又会因为物理误差和分布外动作而失真。}
\end{figure}

\subsection{部署与评估层面的挑战}

\subsubsection{安全性与可信度}

\begin{warningbox}{部署 RL 系统的风险}
将 RL 系统部署到真实世界时面临多重风险：
\begin{itemize}
    \item 分布外（out-of-distribution）的状态可能导致灾难性行为
    \item RL 策略的决策过程难以解释
    \item 对抗攻击可能利用策略的弱点
    \item 长期影响难以预测
\end{itemize}
\end{warningbox}

\subsubsection{可重复性}

深度 RL 实验的可重复性问题一直备受关注：
\begin{itemize}
    \item 对随机种子敏感
    \item 超参数调优开销大
    \item 不同实现之间的差异可能很大
\end{itemize}

\subsection{本章小结}

深度 RL 面临从问题定义到方法再到部署的全方位挑战。奖励设计、泛化能力和安全性是最核心的开放问题。

\section{Part 2：如何做深度 RL 研究}

\subsection{研究的心态与方法论}

\begin{importantbox}{Chelsea Finn 的研究建议}
\begin{enumerate}
    \item \textbf{从问题出发}：先理解要解决什么问题，再考虑用什么方法。不要"拿着锤子找钉子"
    \item \textbf{先理解再创新}：深入理解现有方法的优缺点，创新自然产生
    \item \textbf{简单优先}：从最简单的方法/实验开始，逐步增加复杂性
    \item \textbf{建立直觉}：用简单环境建立对算法行为的直觉，然后推广到复杂场景
\end{enumerate}
\end{importantbox}

\subsection{实验设计}

\begin{knowledgebox}{RL 实验的最佳实践}
\begin{itemize}
    \item \textbf{控制变量}：每次只改变一个因素
    \item \textbf{多种子运行}：至少 3--5 个随机种子
    \item \textbf{有意义的基线}：选择强基线而非稻草人
    \item \textbf{消融实验}：验证每个设计选择的贡献
    \item \textbf{诊断工具}：监控学习曲线、值函数估计误差、策略熵等
\end{itemize}
\end{knowledgebox}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-15.jpg}
\caption{课程把“如何扩展 RL”具体化为 batch-online、价值函数精度和更新频率三个实验设计问题，这些问题决定算法能否真正扩展到长时程和大模型场景。}
\end{figure}

\subsection{调试 RL 算法}

RL 算法的调试比监督学习困难得多。讲者给出的调试策略：

\begin{enumerate}
    \item \textbf{在简单环境中验证}：先确认算法在 CartPole/Pendulum 上正确工作
    \item \textbf{检查奖励曲线}：奖励应该单调（或大致单调）增长
    \item \textbf{检查值函数}：值函数估计应该接近真实回报
    \item \textbf{可视化策略行为}：观察智能体实际在做什么
    \item \textbf{检查梯度}：确保梯度没有爆炸或消失
\end{enumerate}

\begin{warningbox}{RL 调试的常见陷阱}
\begin{itemize}
    \item 奖励 scale 不当导致值函数发散
    \item 折扣因子 $\gamma$ 选择不当
    \item 数据归一化/标准化遗漏
    \item exploration 不足导致策略收敛到局部最优
    \item bug 可能被随机性掩盖——即使有 bug，RL 有时也能学到"还行"的策略
\end{itemize}
\end{warningbox}

\subsection{如何选择研究方向}

讲者对选择研究方向提供了建议：
\begin{itemize}
    \item 关注\textbf{真正重要的问题}而非热门话题
    \item 寻找理论与实践的\textbf{差距}
    \item 跨领域思考（NLP $\times$ RL、robotics $\times$ RL）
    \item 与从业者交流了解真实需求
\end{itemize}

\subsection{本章小结}

好的 RL 研究需要清晰的问题定义、严谨的实验设计和有效的调试策略。简单优先、控制变量是核心方法论。

\section{总结与延伸}

\begin{enumerate}
    \item 深度 RL 的开放问题横跨问题定义、方法和部署三个层面
    \item 奖励设计（避免 reward hacking）、泛化能力和安全性是最重要的方向
    \item 好的研究从理解问题开始，不是从方法开始
    \item RL 实验需要多种子、强基线和消融实验
    \item 调试 RL 需要系统性的方法，可视化和简单环境验证至关重要
    \item 跨领域融合（RL + LLM, RL + robotics）是当前最活跃的前沿
\end{enumerate}

\begin{knowledgebox}{拓展阅读}
\begin{itemize}
    \item Henderson et al., ``Deep Reinforcement Learning that Matters,'' AAAI 2018
    \item Amodei et al., ``Concrete Problems in AI Safety,'' arXiv 2016
    \item Engstrom et al., ``Implementation Matters in Deep Policy Gradients,'' ICLR 2020
    \item Andrychowicz et al., ``What Matters in On-Policy Reinforcement Learning? A Large-Scale Empirical Study,'' ICLR 2021
\end{itemize}
\end{knowledgebox}

\end{document}
