\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{float}
\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}
\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}
\newcommand{\notetitle}{从概率分布视角重新审视 SFT 与 RL}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025}
\newcommand{\videochannel}{五道口纳什}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约20分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}\centering
{\Large 课程笔记\par}\vspace{1.2cm}{\huge\bfseries \notetitle\par}\vspace{0.8cm}{\large \noteauthors\par}\vspace{0.3cm}{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par\textbf{发布日期}：\videopublishdate\par\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}
\tableofcontents\newpage

\section{引言}
本期从概率分布的视角重新审视语言模型的 SFT 和 RL 训练过程。

\begin{importantbox}{分布视角}
无论是 SFT 还是 RL，都是将 Base Model 的分布 $\pi_{\text{ref}}$ 训练到一个新的目标分布：
\begin{itemize}
  \item \textbf{SFT}：模仿人类数据分布的``平均形态（监督学习）
  \item \textbf{RL}：搜索奖励最高的分布（强化学习）
\end{itemize}
两者意味着不同的优化过程和不同的目标分布。
\end{importantbox}

\section{SFT 的分布含义}
SFT 通过 Prompt-Response 数据对模型做监督学习。目标是让模型输出分布尽可能接近训练数据的分布。

\section{RL 的分布含义}
RL 中 Response 是模型 online rollout 出来的（不是固定数据）。目标是最大化期望奖励，最终分布不一定等于人类分布。

\subsection{本章小结}
SFT 追求``像人类，RL 追求``奖励最高。两者的目标分布本质不同。

\newpage
\section{实践含义：分布差异会怎样影响训练}
一旦从分布角度理解 SFT 和 RL，就更容易看清两者为什么会训练出不同风格的模型。SFT 更像是在逼近已有数据的经验分布，而 RL 会主动把概率质量推向高奖励区域，因此两者在多样性、稳定性与可控性上的取舍也不相同。

\begin{knowledgebox}{做实验时该先问什么}
\begin{itemize}
  \item 当前任务更需要贴近人类分布，还是更需要极致奖励
  \item rollout 是否足够在线，能否支撑 RL 的分布移动
  \item 是否需要先用 SFT 打底，再用 RL 做局部强化
\end{itemize}
\end{knowledgebox}

\subsection{本章小结}
分布视角的最大价值，在于它能帮助研究者判断何时该模仿、何时该搜索奖励，以及两者应该怎样组合。

\newpage
\section{总结与延伸}
\begin{enumerate}
  \item 分布视角是理解 SFT vs. RL 的统一框架
  \item SFT = 监督模仿；RL = 奖励最大化
  \item 为理解 DPO 做铺垫
\end{enumerate}
\end{document}
