\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{float}
\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}
\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}
\newcommand{\notetitle}{RL 是否激发了 Base Model 不具备的能力？}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025}
\newcommand{\videochannel}{五道口纳什}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约20分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}\centering
{\Large 课程笔记\par}\vspace{1.2cm}{\huge\bfseries \notetitle\par}\vspace{0.8cm}{\large \noteauthors\par}\vspace{0.3cm}{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par\textbf{发布日期}：\videopublishdate\par\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}
\tableofcontents\newpage

\section{引言}
本期讨论一个有争议的问题：RL/RLHF 是否真正激发了 Base Model 不具备的新能力？通过实验设计和分析来探讨。

\begin{knowledgebox}{批判性阅读}
这篇文章争议较大，但我们可以从中学习：实验设计的严谨性、Metrics 定义的合理性、以及如何通过扎实的实验分析得出结论。
\end{knowledgebox}

\section{核心问题}
RL training 后模型表现出的推理能力，是：
\begin{enumerate}
  \item Base Model 预训练时已经具备，RL 只是 ``激活 了？
  \item 还是 RL 训练真正 ``涌现 了新能力？
\end{enumerate}

\section{实验设计与分析}
文章通过对比 Base Model 和 RL-trained Model 在特定 task 上的表现，分析能力的来源。关键在于如何定义和度量 ``新能力。

\subsection{本章小结}
无论结论如何，这篇工作的实验设计方法论值得学习。

\newpage
\section{实验阅读法：从现象回到假设}
这类 20 分钟短课最大的价值，往往不是多讲了一个公式，而是把一个实验现象钉住。真正复看时，应该问三个问题：实验在验证什么假设、用了什么代理指标、如果结论不成立会怎样。这样才能避免把一次性的实验结果误读为普适规律。

\begin{knowledgebox}{读实验结果的三个抓手}
\begin{itemize}
  \item 先看自变量：究竟改变了什么配置
  \item 再看观测量：reward、成功率还是 loss
  \item 最后看外推边界：这个结论能否推广到别的环境
\end{itemize}
\end{knowledgebox}

\subsection{本章小结}
实验分析的重点不只是“结果是什么”，而是“这个结果支持了哪一个训练判断”。这是后续做 Agentic RL ablation 时最需要保留的习惯。

\newpage
\section{总结与延伸}
\begin{enumerate}
  \item RL 是否带来新能力是一个开放问题
  \item 实验设计和 Metrics 定义是关键
  \item 批判性阅读论文的方法论
\end{enumerate}
\end{document}
