\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{float}
\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}
\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}
\newcommand{\notetitle}{Advantage Estimator：GRPO、RLOO、REINFORCE++}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025}
\newcommand{\videochannel}{五道口纳什}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约25分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}\centering
{\Large 课程笔记\par}\vspace{1.2cm}{\huge\bfseries \notetitle\par}\vspace{0.8cm}{\large \noteauthors\par}\vspace{0.3cm}{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par\textbf{发布日期}：\videopublishdate\par\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}
\tableofcontents\newpage

\section{引言}
本期介绍 veRL 中各种强化学习算法的 Advantage Estimator 实现。核心代码：\texttt{trainer/ppo/core\_algorithms.py}。

\section{关键概念}
\subsection{Token Level vs. Sequence Level}
\begin{importantbox}{两种粒度}
\begin{itemize}
  \item \textbf{Token Level}：每个 token 有独立的 advantage 值（如 GAE）
  \item \textbf{Sequence Level}：整个序列共享一个 advantage 值（如 GRPO）
\end{itemize}
\end{importantbox}

\subsection{Batch vs. Group}
Batch 是训练的 mini-batch，Group 是 GRPO 中对同一 prompt 的多个 response 分组。

\section{各算法详解}
\subsection{GAE (Generalized Advantage Estimation)}
Token-level 的 advantage 估计，需要 value model。

\subsection{GRPO Advantage}
Sequence-level，组内标准化，不需要 value model。

\subsection{REINFORCE / REINFORCE++ / RLOO}
不同的 baseline 减法策略，减小方差。

\subsection{本章小结}
不同 Advantage Estimator 在粒度、是否需要 value model、方差控制上各有取舍。

\newpage
\section{方法选择：优势估计没有银弹}
GAE、GRPO、RLOO 看起来只是公式不同，但它们真正的差别在于训练信号的粒度、方差控制方式以及对额外模块的依赖。理解这些差别，比背诵缩写本身更重要。

\begin{knowledgebox}{选择 Advantage Estimator 时看三件事}
\begin{itemize}
  \item 需要 token-level 还是 sequence-level 信号
  \item 是否愿意引入 value model 提高复杂度
  \item 当前任务更怕方差大，还是更怕估计偏差
\end{itemize}
\end{knowledgebox}

\subsection{本章小结}
优势估计方法的选择，本质上是在粒度、复杂度和方差之间做权衡。理解这个权衡，比盲目追新算法更有用。

\newpage
\section{总结与延伸}
\begin{enumerate}
  \item GAE 需要 value model，GRPO 不需要
  \item GRPO 通过组内标准化实现 advantage 估计
  \item RLOO 使用 leave-one-out 作为 baseline
\end{enumerate}
\end{document}
