\documentclass[a4paper]{article}

\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath,amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{subcaption}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, boxrule=1pt, sharp corners
}

\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}

\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

\lstset{
    basicstyle=\ttfamily\small,
    keywordstyle=\color{blue},
    stringstyle=\color{red!60!black},
    commentstyle=\color{green!60!black},
    breaklines=true,
    frame=single,
    numbers=left,
    numberstyle=\tiny\color{gray},
    captionpos=b,
    extendedchars=false
}

\newcommand{\notetitle}{CS224R Lecture 10: 强化学习用于 LLM 推理}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025 年春季}
\newcommand{\videochannel}{Stanford Online}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约 80 分钟}
\newcommand{\videourl}{https://cs224r.stanford.edu/}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.1cm}

\ifdefempty{\videocoverpath}{
{\small 封面图未提供。\par}
}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\textbf{讲者}：Aviral Kumar (Carnegie Mellon University)\par
\textbf{课程主页}：\href{https://cs224r.stanford.edu/}{cs224r.stanford.edu}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

%% --- 正文内容开始 --- %%

\section{引言：为什么需要 RL 来做推理}

本讲由 CMU 的 Aviral Kumar 客座讲授，聚焦于强化学习（RL）在大语言模型（LLM）推理中的应用。讲者将推理限定在数学问题求解场景下进行阐述，并以时间线为轴将内容分为两大部分：经典 RL 技术和现代扩展。

\begin{importantbox}{核心动机}
传统的 next-token prediction（NTP）训练范式存在根本性局限：学习到的模型 $\hat{p}_\theta(\mathbf{y}|\mathbf{x})$ 与真实分布 $p^*(\mathbf{y}|\mathbf{x})$ 的误差正比于 $|\mathcal{D}(\mathbf{y}|\mathbf{x})|^{-\alpha}$，即误差随与目标输入 $\mathbf{x}$ 相似的数据量增加而减小。对于推理问题，高质量的问题--解答数据极其稀缺，预计到 2028 年互联网高质量文本数据将耗尽。
\end{importantbox}

\subsection{NTP 的失败模式}

仅靠监督训练的模型在解决如 AIME（美国数学邀请赛）或 IMO（国际数学奥林匹克）等困难数学问题时，虽然能生成"看上去像解答"的文本，但逻辑推理链条往往存在关键错误。模型会跳过必要的推理步骤，或者在证明过程中对个别项进行分析而忽略整体结构。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-03.jpg}
\caption{传统训练方式：next-token prediction 的误差界\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 3 页。}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-04.jpg}
\caption{数据稀缺问题：数学推理和具身 AI 领域的数据限制\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 4 页。}

\subsection{本章小结}

NTP 在推理场景下失效的核心原因是高质量推理数据不足。RL 的价值在于不依赖人工标注的完整解答，而是通过奖励信号（如答案是否正确）引导模型自主发现正确的推理路径。

\section{讲座大纲}

讲者将 RL for Reasoning 以 DeepSeek-R1/"thinking"模型为分界点，分为两个历史阶段：

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-06.jpg}
\caption{讲座大纲：经典技术 vs 现代扩展\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 6 页。}

\begin{itemize}
    \item \textbf{Part 1 --- 经典 RL 技术}：Imitation Learning、Offline RL、Online RL
    \item \textbf{Part 2 --- 现代扩展}：在线 RL 训练"thinking"模型、DeepSeek-R1、Kimi K1.5 等
\end{itemize}

\section{Part 1：经典 RL 技术用于 LLM 推理}

\subsection{将推理建模为 RL 问题}

\begin{importantbox}{MDP 建模}
将数学推理问题建模为 MDP：
\begin{itemize}
    \item \textbf{状态} $s_t$：问题描述 + 到目前为止生成的解答前缀（token 序列）
    \item \textbf{动作} $a_t$：下一步推理步骤（可以是一个 token 或一个推理步骤/句子）
    \item \textbf{奖励} $r$：通常是稀疏的终端奖励，仅当完整解答生成后验证答案是否正确（outcome-based reward）
    \item \textbf{策略} $\pi_\theta(a_t | s_t)$：语言模型本身
\end{itemize}
\end{importantbox}

\subsection{数据扩增：扩展问题和解答数量}

在最简单的设定下，收集更多的 (问题, 解答) 对来做监督微调（SFT）。Setlur et al. (NeurIPS 2024) 的实验表明：

\begin{itemize}
    \item 在 GSM8K 上，SFT 测试误差随问题数增长的收敛速率约为 $|\mathcal{D}|^{-0.15}$
    \item 在 MATH 上更慢，约为 $|\mathcal{D}|^{-0.05}$
\end{itemize}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-10.jpg}
\caption{Warmup：扩展问题数和 Oracle 解答的 scaling 行为\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 10 页。}

\begin{knowledgebox}{RFT（Rejection Fine-Tuning）}
RFT 是一种简单的利用 RL 信号改进 SFT 的方法：用当前模型采样多个解答，仅保留答案正确的解答用于微调。这等价于一种简化的 offline RL，因为它通过奖励信号过滤了训练数据。
\end{knowledgebox}

\subsection{为什么 RFT 继续堆数据会失效}

讲者特别强调，RFT 不是 ``采样更多、训练更久'' 就能无限提升的策略。问题在于：这些 on-policy 正样本来自模型自己的行为分布，它们携带了当前策略已经形成的偏差。模型短期内能在训练提示上学会 ``自我修补''，但这种修补往往不是对推理规律的真正掌握，而是对特定轨迹模式的记忆。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-11.jpg}
\caption{RFT scaling 的拐点：继续拟合 on-policy 正样本会伤害泛化\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 11 页。}

\begin{warningbox}{RFT 的核心风险是伪步骤被强化}
如果模型在某类题目中偶然生成了能通向正确答案、但逻辑上并不稳固的中间步骤，那么 RFT 会把这些步骤也当作 ``可学习样本'' 一并放大。训练误差下降不代表推理更稳，只可能说明模型更会复述自己原本的习惯。
\end{warningbox}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-12.jpg}
\caption{伪步骤会让模型在测试时偏离正确求解轨道\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 12 页。}

\subsection{离线 RL：利用负样本的优势}

关键洞察：不仅使用正确解答（正样本），还应利用\textbf{错误解答}（负样本）来提供对比信号。

\begin{importantbox}{Per-Step Advantage 的概念}
对于错误解答中的每一步推理，可以通过从该步出发多次 rollout 来估计该步的"优势"（advantage）。如果从某个中间步出发的 rollout 总是失败，说明该步是一个"错误步骤"；如果有时成功有时失败，说明该步是"尚可的步骤"。这本质上是在估计 rollout 策略的值函数。
\end{importantbox}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-15.jpg}
\caption{负样本 on-policy 数据提供的优势信号\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 15 页。}

离线 RL 使用这些优势估计的两种方式：

\begin{enumerate}
    \item \textbf{Option 1}：仅使用估计的优势进行加权 SFT（对正确步骤加大权重，对错误步骤降低权重）
    \item \textbf{Option 2}：使用 DPO（Direct Preference Optimization），保留来自 $\tilde{\pi}$ 的部分 rollout 进行偏好对比训练
\end{enumerate}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-20.jpg}
\caption{利用 Advantage 进行 Offline RL (DPO)\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 20 页。}

\subsection{Advantage 到底在刻画什么}

这部分是整场讲座中最值得反复消化的技术点。Aviral Kumar 把 ``每一步是否值得保留'' 明确转成了一个价值估计问题：固定某个中间步骤后，再从这里继续 rollout，多次观察最终成功率。如果某一步后续几乎总是失败，这一步就应当得到负 advantage；如果后续成功率明显更高，则说明它把搜索过程带向了更好的区域。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-17.jpg}
\caption{Advantage 的直觉：比较做出某一步前后的价值变化\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 17 页。}

\begin{knowledgebox}{从 step filtering 到偏好学习}
一旦拿到了 step-level advantage，就有两种非常自然的训练用法：
\begin{enumerate}
    \item 直接过滤：只保留 advantage 高的步骤，形成更干净的 imitation 数据。
    \item 形成偏好对：把好步骤与坏步骤、好轨迹片段与坏轨迹片段组成 preference pair，再用 DPO 这类目标去优化。
\end{enumerate}
这也是本讲一直在强调的主线：\textbf{RL 的价值不只是最终 reward，更在于把稀疏结果信号变成更密的训练监督。}
\end{knowledgebox}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-19.jpg}
\caption{Advantage filtering 在实验中显著缓解伪步骤问题\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 19 页。}

\begin{warningbox}{离线 RL 的局限}
Offline RL 的关键问题在于：用来估计 advantage 的 rollout 策略 $\tilde{\pi}$ 与当前正在训练的策略 $\pi_\theta$ 之间存在分布偏移（distribution shift）。随着训练进行，$\pi_\theta$ 更新后 advantage 估计会变得不准确。
\end{warningbox}

\subsection{在线 RL：REINFORCE 和 PPO}

为了解决离线 RL 的分布偏移问题，在线 RL 在训练过程中持续用当前策略采样新数据。

在线 RL 的基本流程：
\begin{enumerate}
    \item 用当前策略 $\pi_\theta$ 对问题采样多个解答
    \item 用奖励模型或验证器评估这些解答
    \item 估计每步的优势（advantage）
    \item 用策略梯度方法（如 REINFORCE 或 PPO）更新策略
\end{enumerate}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-25.jpg}
\caption{Per-Step Advantages in Online RL\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 25 页。}

一个关键问题是：\textbf{是否应该在线实时做 rollout 来估计 advantage？}讲者提到可以训练一个参数化的过程奖励模型（Process Reward Model, PRM）来预测每步的 advantage，从而避免昂贵的在线 rollout。

\subsection{PAV：把 outcome reward 变成 dense reward}

如果说 offline RL 的关键是把错误轨迹也变成有价值的监督，那么 online RL 的关键就是进一步让奖励信号变密。Setlur et al. 在 ``Rewarding Progress'' 中提出的 Process Advantage Verifier（PAV）正是为此服务：它学习预测某一步推理给后续成功率带来的边际提升，从而把原本只在答案正确时出现的 0/1 奖励，改写成贯穿整条解答链的 dense bonus。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-26.jpg}
\caption{PAV 用参数化优势验证器为每一步提供更细粒度的训练信号\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 26 页。}

\begin{importantbox}{为什么 dense reward 特别适合推理任务}
数学与代码推理的搜索空间极大，且正确轨迹非常稀疏。仅靠最终答案 reward，相当于要求模型在几乎没有中途反馈的情况下盲目搜索；而 PAV 提供的 step-level bonus 能持续告诉模型：当前这一步是否把自己带向更可能成功的解空间。
\end{importantbox}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-27.jpg}
\caption{Dense-reward online RL 带来更好的样本效率和性能\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 27 页。}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-28.jpg}
\caption{PAV 的探索价值：帮助模型找到原本难以触及的解法\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 28 页。}

\subsection{本章小结}

经典 RL 技术（SFT $\to$ RFT $\to$ Offline RL $\to$ Online RL）形成了一个逐步强化的工具链。核心 takeaway 是：RL 训练可以显著提高 LLM 推理的数据效率，相比纯 SFT 可提升约 8 倍。

\section{Part 2：训练"Thinking"模型}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-30.jpg}
\caption{Part 2：训练"Thinking"模型的主要论文\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 30 页。}

\subsection{DeepSeek-R1：通过 RL 激励推理能力}

DeepSeek-R1 是"thinking model"范式的标志性工作。其核心发现是：\textbf{仅通过 RL 训练（不需要人工标注的推理链），模型就能自发涌现出复杂的推理行为}。

\begin{importantbox}{DeepSeek-R1 的训练流程}
\begin{enumerate}
    \item 在基础模型上直接应用 GRPO（Group Relative Policy Optimization）进行 RL 训练
    \item 奖励仅基于最终答案是否正确（outcome reward）+ 格式奖励
    \item 模型自发学会了：验证（verification）、回溯（backtracking）、设定子目标（subgoal setting）、反向推理（backward chaining）等元策略
\end{enumerate}
\end{importantbox}

\begin{knowledgebox}{GRPO（Group Relative Policy Optimization）}
GRPO 是 PPO 的简化变体。对于每个问题采样一组解答，用组内的相对奖励（减去组内均值后标准化）作为优势估计，避免了训练额外的 critic/value 网络。这在大规模 LLM 训练中更加高效。
\end{knowledgebox}

\subsection{从具体轨迹理解 ``thinking'' 是什么}

``Thinking model'' 这个说法很容易被说得神秘，但讲者展示的例子其实很具体：模型会在一次回答内部执行更多宏观操作，例如尝试一个方向、发现不对、显式验证、回退并重规划。也就是说，RL 并不是单纯让输出更长，而是提高了模型在固定预算内组织这些宏观动作的能力。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-31.jpg}
\caption{Thinking model 的单条轨迹示意：验证、回溯与重新规划交替出现\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 31 页。}

\subsection{真正改变的是动作空间，而非 RL 教科书}

讲者在 slides 中专门给出一句很重要的判断：\textbf{训练目标并没有本质改变，真正变化的是模型已经能执行的 ``macro actions''。} DeepSeek-R1 仍在做 policy gradient，Kimi K1.5 也仍然依赖 advantage 驱动的策略更新，但基础模型已经能以更长 token budget 表达验证、回溯、子目标分解等高阶行为，因此同样的 RL 配方能在新的动作空间里产生更强效果。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-32.jpg}
\caption{Thinking model 时代的变化：奖励形式近似不变，动作空间和预算显著扩大\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 32 页。}

\begin{knowledgebox}{为什么 ``动作空间升级'' 比 ``目标函数升级'' 更关键}
很多讨论把 thinking model 的突破归因于某个新优化器或新损失，但这节课的判断更克制：只要基础模型已经具备一定的元认知雏形，扩大上下文预算、允许更长 rollout、再用 RL 奖励这些行为，就足以显著放大推理表现。换句话说，\textbf{新能力往往来自已有能力的放大和重组，而不是凭空发明一种全新训练目标。}
\end{knowledgebox}

\subsection{涌现的推理行为}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-35.jpg}
\caption{``Action'' Space：涌现的元策略对比\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 35 页。}

Gandhi et al. (2025) 的研究表明，能否在 RL 训练中涌现认知行为取决于基础模型是否已经具备这些行为的"种子"。DeepSeek 系列模型在 RL 训练过程中，验证和回溯行为的频率先上升后下降；而 Meta 的 Llama 模型则完全没有展现出这些行为，RL 训练也未能改善其推理能力。

\begin{warningbox}{RL 并非万能}
RL 无法让模型学会它"完全不会"的行为。如果基础模型在预训练阶段没有接触过推理链式思考的数据，单靠 RL 很难从零涌现出复杂推理行为。基础模型的能力是 RL 发挥作用的前提。
\end{warningbox}

\subsection{固定预算下的训练目标}

讲者随后把问题重新表述为一个很工程化的目标：在每道测试题拥有固定总 compute budget 的前提下，训练一个策略，让 sampled response 在这个预算内尽可能提高成功率。这个表述有两个现实含义：

\begin{enumerate}
    \item 推理不是 ``越长越好''，而是要在\textbf{受限预算}内决定把算力花在哪里。
    \item RL、SFT、RFT 本质上都可以被看作这个适应问题的不同求解器，它们差异主要在是否利用奖励以及利用奖励的方式有多充分。
\end{enumerate}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-33.jpg}
\caption{Thinking model 训练的目标：在固定测试预算内最大化成功率\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 33 页。}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-34.jpg}
\caption{同一预算约束下，RL 与 SFT/RFT 都可视为 ``适应问题'' 的不同实现\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 34 页。}

\subsection{Kimi K1.5：扩展 RL 训练}

Kimi K1.5 的核心贡献在于如何在大规模上有效地进行 RL 训练：
\begin{itemize}
    \item 更长的上下文窗口（128K tokens）
    \item 更好的采样策略和奖励设计
    \item 实验表明 RL 训练的性能随计算量增加而持续提升
\end{itemize}

\subsection{长度放大与 test-time scaling 的新范式}

RL 训练的另一个直接后果，是模型愿意把更多 token 预算用在真正有价值的地方。讲者引用 Kimi 的报告指出，RL 训练后模型回答长度显著增长，但这不是无意义冗长，而是伴随着更多检查、修正和分支探索。于是，``推理时多给一些计算'' 开始成为一条可与 ``继续增大模型参数'' 并列的性能提升路线。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-36.jpg}
\caption{RL 训练会放大回答长度，并把额外长度转化为更丰富的推理行为\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 36 页。}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-37.jpg}
\caption{新的问题设定：除了放大模型，也可以放大 test-time compute\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 37 页。}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-39.jpg}
\caption{更长的思考、更强的自校正构成了新的 test-time scaling 路线\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 39 页。}

\subsection{Thinking 模型的效果}

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-40.jpg}
\caption{Thinking 模型在各 benchmark 上的表现\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 40 页。}

Thinking 模型在 Codeforces 竞赛编程、Humanity's Last Exam、AIME 等多个基准上取得了显著提升。DeepSeek-R1 在 AIME 2024 上达到 79.8\% 的 Pass@1，与 OpenAI o1-1217 的 79.2\% 相当。

\subsection{Test-Time Compute 与 Meta-RL}

讲者最后提到，优化 test-time compute（推理时计算量分配）本质上是一个 Meta-RL 问题：模型需要学习在推理时如何"花费"计算预算。

\subsection{还没有解决的问题}

尽管 leaderboard 成绩已经很亮眼，这节课最后一页反而是警告意味最强的一页：当前 thinking model 仍然缺乏统一而清晰的 formulation。我们还没有彻底回答三件事：第一，是否存在比 outcome reward 更稳健的 dense reward 设计；第二，在什么条件下 RL 的收益会稳定超过 SFT；第三，如何把 ``推理增强'' 严格表述为一个适应问题，而不是一组经验技巧的堆叠。

\begin{figure}[H]
\centering
\includegraphics[width=0.9\textwidth]{slides-images/slide-41.jpg}
\caption{课程结尾给出的开放问题：formulation、dense rewards 与 RL 对 SFT 的优势边界\protect\footnotemark}
\end{figure}
\footnotetext{Slides 第 41 页。}

\begin{warningbox}{真正的挑战不在于复刻一篇 DeepSeek-R1}
如果只盯着某个公开模型或某条 benchmark 曲线，很容易把问题误解成 ``找到同款 recipe''。但 Aviral Kumar 的收束方式更像研究问题清单：我们仍然需要弄清楚奖励信号的形状、搜索与验证的耦合方式、以及不同基础模型为何对 RL 的响应差异如此巨大。
\end{warningbox}

\subsection{本章小结}

DeepSeek-R1 等 thinking model 证明了：(1) RL 可以激励 LLM 自主发展推理能力；(2) 关键前提是基础模型需具备推理行为的"种子"；(3) GRPO 等简化的策略优化方法在大规模训练中既高效又有效。

\section{总结与延伸}

本讲的核心信息是：\textbf{经典 RL 的基本思想（策略梯度、advantage estimation、on/off-policy 区分）在 LLM 推理中同样适用且至关重要}。

关键 takeaway：
\begin{enumerate}
    \item SFT 受限于数据稀缺，纯靠扩展数据的 scaling 速率很慢
    \item RL 通过利用负样本和 advantage 信号，将数据效率提升了约 8 倍
    \item 在线 RL（如 GRPO/PPO）通过持续采样避免了分布偏移
    \item Thinking 模型展示了 RL 可以从简单的 outcome reward 中涌现复杂推理行为
    \item 基础模型的预训练质量是 RL 成功的前提条件
\end{enumerate}

\subsection{方法脉络总表}

\begin{table}[H]
\centering
\begin{tabular}{p{0.18\textwidth} p{0.2\textwidth} p{0.24\textwidth} p{0.22\textwidth}}
\toprule
方法 & 使用的数据/信号 & 主要收益 & 主要风险 \\
\midrule
SFT / NTP & 问题 + 参考解答 & 训练简单、稳定、易扩展 & 受高质量数据规模限制，容易学到表面模式 \\
RFT & on-policy 正样本 + 结果筛选 & 能快速放大已有正确轨迹 & 伪步骤会被一并强化，泛化可能变差 \\
Offline RL & 错误轨迹 + advantage / preference & 能利用负样本，显著提升数据效率 & 依赖 rollout 策略，存在分布偏移 \\
Online RL / GRPO / PPO & 当前策略采样 + outcome / dense reward & 直接优化当前行为分布，适合 thinking model & 成本高，对奖励设计和基础模型质量敏感 \\
\bottomrule
\end{tabular}
\caption{Lecture 10 中几类方法的关系与取舍}
\end{table}

\begin{knowledgebox}{拓展阅读}
\begin{itemize}
    \item DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL (2025)
    \item Kimi K1.5: Scaling Reinforcement Learning with LLMs (2025)
    \item Setlur et al., ``RL on Incorrect Synthetic Data Scales the Efficiency of LLM Math Reasoning by Eight-Fold,'' NeurIPS 2024
    \item Gandhi et al., ``Cognitive Behaviors that Enable Self-Improving Reasoners,'' arXiv 2025
    \item Setlur et al., ``Rewarding Progress: Scaling Automated Process Supervision for LLM Reasoning,'' arXiv 2024
\end{itemize}
\end{knowledgebox}

\end{document}
