\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{float}
\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}
\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}
\newcommand{\notetitle}{Reward Model 与概率统计建模}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025}
\newcommand{\videochannel}{五道口纳什}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约20分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}\centering
{\Large 课程笔记\par}\vspace{1.2cm}{\huge\bfseries \notetitle\par}\vspace{0.8cm}{\large \noteauthors\par}\vspace{0.3cm}{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par\textbf{发布日期}：\videopublishdate\par\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}
\tableofcontents\newpage

\section{引言}
本期通过 Bradley-Terry 模型重温 Reward Model，梳理概率统计建模、深度学习和最大似然估计之间的关系。

\begin{importantbox}{三者之间的关系}
\begin{enumerate}
  \item \textbf{概率统计建模}：定义数据的生成过程（如 Bradley-Terry 偏好模型）
  \item \textbf{最大似然估计 (MLE)}：基于统计模型定义 loss function
  \item \textbf{深度学习}：作为求解工具，通过梯度下降优化 loss
\end{enumerate}
\end{importantbox}

\section{Bradley-Terry 偏好模型}
给定两个 response $y_w$（preferred）和 $y_l$（rejected），Bradley-Terry 模型定义偏好概率：
$$P(y_w \succ y_l) = \sigma(r(y_w) - r(y_l))$$
其中 $r(\cdot)$ 是 Reward Model 的输出，$\sigma$ 是 sigmoid 函数。

\section{从 MLE 到 Loss}
最大化似然 $\Leftrightarrow$ 最小化负对数似然：
$$\mathcal{L} = -\log \sigma(r(y_w) - r(y_l))$$

\subsection{本章小结}
Reward Model 的训练本质上是概率统计建模 + MLE 求解。深度学习只是优化工具。

\newpage
\section{建模提醒：不要只盯着神经网络外壳}
这节课反复强调 Bradley-Terry 和 MLE，其实是在提醒研究者：Reward Model 首先是一个概率模型，其次才是一个神经网络训练任务。只把注意力放在网络结构和 loss 调参上，很容易忽略偏好数据的统计假设是否成立。

\begin{warningbox}{Reward Model 常见误区}
\begin{itemize}
  \item 把偏好建模完全当成黑盒分类问题
  \item 不检查数据是否真的满足成对偏好假设
  \item 只看训练 loss，不分析 reward 分布是否稳定
\end{itemize}
\end{warningbox}

\subsection{本章小结}
掌握 Reward Model，关键是先理解偏好概率如何被建模，再决定用什么深度学习工具去拟合它。

\newpage
\section{总结与延伸}
\begin{enumerate}
  \item 掌握概率统计建模是做好 RL 研究的基础
  \item Bradley-Terry 是 Reward Model 的标准建模方法
  \item 深度学习是求解工具，概率模型才是核心
\end{enumerate}
\end{document}
