\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{float}
\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}
\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}
\newcommand{\notetitle}{veRL 实战：Multi-turn SFT 训练}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025}
\newcommand{\videochannel}{五道口纳什}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约20分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}\centering
{\Large 课程笔记\par}\vspace{1.2cm}{\huge\bfseries \notetitle\par}\vspace{0.8cm}{\large \noteauthors\par}\vspace{0.3cm}{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par\textbf{发布日期}：\videopublishdate\par\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}
\tableofcontents\newpage

\section{引言}
从本期开始，花几期内容介绍 veRL 的实际训练过程。本期介绍字节 ReTool 项目的 Multi-turn SFT 训练。

\begin{importantbox}{ReTool 项目}
字节 2025 年 4 月发布的 Coding Agent 工作：用户提出复杂计算问题，模型通过写代码、调用环境、执行代码、获取反馈的循环来解决问题。提供了完整的数据集、训练脚本和模型权重。
\end{importantbox}

\section{三大切入点}
分析任何模型训练工作，从三个方面切入：
\begin{enumerate}
  \item \textbf{Data}：Multi-turn tool-use 数据
  \item \textbf{Algorithm}：SFT（监督微调）
  \item \textbf{Training}：veRL 的训练配置
\end{enumerate}

\section{Multi-turn SFT 的特点}
SFT 数据包含多轮 tool call，每轮有 user/assistant/tool 消息。训练时只对 assistant 的输出计算 loss。

\subsection{本章小结}
Multi-turn SFT 是 Agentic RL Training 的前置步骤，为后续 RL 训练提供良好的初始策略。

\newpage
\section{工程提示：SFT 先把行为轨迹教稳}
在 Agentic RL 场景里，Multi-turn SFT 的价值不只是“先训一个能说话的模型”，而是先把 tool-use 的基本行为轨迹教稳。只有模型已经学会在多轮对话里正确地调用工具、读取反馈、继续生成，后续 RL 才不会把大量采样预算浪费在最基础的格式错误上。

\begin{knowledgebox}{为什么先做 SFT 再做 RL}
\begin{itemize}
  \item SFT 先学会行为模板，降低 RL 的探索难度
  \item Multi-turn 数据能教会模型处理 tool 消息的时序结构
  \item 好的初始策略能显著提高后续 rollout 的有效比例
\end{itemize}
\end{knowledgebox}

\subsection{本章小结}
对 Agentic 系统来说，SFT 是行为对齐的起点。它先把基本交互模式固定下来，再让 RL 去优化更细粒度的策略质量。

\newpage
\section{总结与延伸}
\begin{enumerate}
  \item ReTool 提供了完整的 Agentic SFT $\to$ RL 训练案例
  \item Multi-turn 数据的处理是关键技术点
  \item Data + Algorithm + Training 是分析训练工作的三大框架
\end{enumerate}
\end{document}
