\documentclass[a4paper]{article}

\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm},
    boxrule=1pt, sharp corners
}
\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}
\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}
\lstset{
    language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue},
    stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black},
    breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray},
    captionpos=b, extendedchars=false
}

\newcommand{\notetitle}{K2 Thinking：Interleaved Thinking 交错推理}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2025}
\newcommand{\videochannel}{五道口纳什}
\newcommand{\videopublishdate}{2025}
\newcommand{\videoduration}{约18分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

\section{引言：从 Long CoT 到 Interleaved Thinking}

自 2024 年 9 月 OpenAI 推出 o1 (Reasoning Model) 以来，以及 2025 年 1 月 DeepSeek R1 的发布，``Thinking Model'' 成为大模型领域的重要范式。然而，传统的 Long Chain-of-Thought (Long CoT) 存在明显不足。

K2 Thinking 提出了一种全新的范式------\textbf{Interleaved Thinking}（交错推理/交错思考），面向 Agentic 场景，通过强化学习训练模型将思考与回答交替进行。

\begin{importantbox}{传统 Long CoT 的问题}
\begin{itemize}
  \item 在最终 answer 之前有一个漫长的 long-CoT 过程
  \item 首字延迟（Time to First Token, TTFT）极高，用户体验差
  \item 难以定义细粒度的 reward，过程监督困难
\end{itemize}
\end{importantbox}

\section{Interleaved Thinking 的核心理念}

\subsection{概念起源}

Interleaved Reasoning 最早由苹果在 2025 年的一篇工作中提出：``交错推理 for 大语言模型通过强化学习''。核心思想是将思考和回答分解成多步，每步先思考（think）再回答（answer），交替进行。

\subsection{多步分解的优势}

以一个多跳推理问题为例：``柏林墙倒塌之后第五年的奥斯卡最佳影片导演是谁？''

\textbf{传统 Long CoT}：一次性长推理，容易在中间环节出错，最终得到错误答案。

\textbf{Interleaved Thinking}：
\begin{enumerate}
  \item Think 1：召回柏林墙倒塌年份 $\to$ 1989
  \item Answer 1：第五年 = 1994
  \item Think 2：检索 1994 年奥斯卡最佳影片 $\to$ 《阿甘正传》
  \item Answer 2：导演是 Robert Zemeckis
\end{enumerate}

\begin{importantbox}{Interleaved Thinking 的三大优势}
\begin{itemize}
  \item \textbf{首字延迟低}：每步 think-answer 很短，可能只有几个 token
  \item \textbf{细粒度 reward}：可以对每步的输出定义正确性 reward，方便过程监督
  \item \textbf{Agentic 友好}：不需要用户参与，模型自行执行多轮 tool call
\end{itemize}
\end{importantbox}

\subsection{面向 Agentic 场景}

K2 Thinking 可以执行串行的 200--300 步工具调用，无需人类参与。从 message list 角度看，它是 user-assistant 的单轮交互，但 assistant 内部完成了大量的 think-act-observe 循环。

\begin{knowledgebox}{Interleaved vs. Long CoT 的 message list 对比}
\begin{itemize}
  \item \textbf{Long CoT}：$[\text{user}, \underbrace{\text{<think>}\ldots\text{</think>}}_{\text{很长的推理链}}, \text{answer}]$
  \item \textbf{Interleaved}：$[\text{user}, \text{think}_1, \text{act}_1, \text{obs}_1, \text{think}_2, \text{act}_2, \text{obs}_2, \ldots, \text{answer}]$
\end{itemize}
\end{knowledgebox}

\subsection{RL 训练方式}

Interleaved Thinking 的步数不是预先设定的，而是通过 RL 训练\textbf{自动涌现}的。模型学会根据问题复杂度动态决定需要多少步 think-answer 循环。

\subsection{本章小结}

Interleaved Thinking 是对 Long CoT 范式的重要改进，将推理链打散为多个 think-answer 步骤。它降低了首字延迟、支持细粒度 reward、天然适配 Agentic 工具调用场景。

\section{K2 Thinking 的技术特点}

\subsection{自我验证能力}

模型在每一步 answer 后可以自我验证（self-verification），判断当前结果是否正确，决定是否需要继续推理或回溯。

\subsection{与 General Reward Model 的结合}

在 RL 训练中，可以为每步 think-answer 定义独立的 reward signal，而不仅仅是最终答案的 outcome reward。这使得训练信号更加密集和稳定。

\subsection{本章小结}

K2 Thinking 的技术核心在于通过 RL 训练模型的 interleaved reasoning 能力，结合细粒度 reward 和自我验证机制。

\section{总结与延伸}

\begin{enumerate}
  \item Interleaved Thinking 是继 Long CoT 之后 Thinking Model 的重要范式演进
  \item 核心优势：低延迟、细粒度 reward、Agentic 友好
  \item 步数由 RL 训练自动涌现，模型动态决定推理深度
  \item K2 可执行 200--300 步串行工具调用，无需人类介入
\end{enumerate}

\subsection{拓展阅读}

\begin{itemize}
  \item K2 Thinking 官方 Blog
  \item Apple ``Interleaved Reasoning for LLMs via RL'' (2025)
  \item OpenAI o1/o3 系列技术报告
  \item DeepSeek R1 技术报告
\end{itemize}

\end{document}
