\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{float}
\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}
\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}
\newcommand{\notetitle}{DeepSeek Math V2：自我验证与推理训练}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025}
\newcommand{\videochannel}{五道口纳什}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约20分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}\centering
{\Large 课程笔记\par}\vspace{1.2cm}{\huge\bfseries \notetitle\par}\vspace{0.8cm}{\large \noteauthors\par}\vspace{0.3cm}{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par\textbf{发布日期}：\videopublishdate\par\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}
\tableofcontents\newpage

\section{引言}
本期介绍 DeepSeek Math V2，探讨如何将 verification（自我验证）能力训练到模型内部。

\begin{importantbox}{核心贡献}
DeepSeek Math V2 训练模型在数学推理中具备\textbf{自我验证}能力：模型生成解答后，能自主验证答案的正确性，并在发现错误时回溯修正。本质上是在做 General Reward Model。
\end{importantbox}

\section{Verification vs. 传统推理}
\subsection{与 Agentic Workflow 的对比}
之前介绍过纯推理模式下的 verification workflow（无模型训练）。DeepSeek Math V2 的突破在于将这种能力\textbf{内化}到模型中。

\subsection{本章小结}
将 verification 能力训练到模型内部，是从 ``外部验证 到 ``内在能力 的跨越。

\newpage
\section{方法边界：可验证不等于容易训练}
Verification 的优势在于 reward 更明确，但它并不自动解决所有训练难题。即便答案能验证，模型仍然可能因为探索不足、样本效率低或者中间步骤质量差而学得很慢。因此，可验证奖励更像是把问题从“奖励是否可信”转移到了“搜索与优化是否足够高效”。

\begin{importantbox}{可验证任务的真正价值}
它们为 RL 提供了一个更干净的试验场：研究者可以把主要精力放在采样、探索、credit assignment 和训练稳定性上，而不是先和模糊的人类偏好做长期拉扯。
\end{importantbox}

\subsection{本章小结}
Verification 提高了奖励信号的可信度，但训练成败仍取决于算法是否能把这份“更干净的监督”真正转化成更好的策略。

\newpage
\section{总结与延伸}
\begin{enumerate}
  \item DeepSeek Math V2 训练模型的自我验证能力
  \item 本质是 General Reward Model 的一种实现
  \item 与纯推理模式的 verification workflow 互补
\end{enumerate}
\end{document}
