\documentclass[a4paper]{article}

% Basic packages
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

% Highlight boxes
\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm},
    boxrule=1pt, sharp corners
}

\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}

\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

% Listings
\lstset{
    language=Python,
    basicstyle=\ttfamily\small,
    keywordstyle=\color{blue},
    stringstyle=\color{red!60!black},
    commentstyle=\color{green!60!black},
    breaklines=true,
    frame=single,
    numbers=left,
    numberstyle=\tiny\color{gray},
    captionpos=b,
    extendedchars=false
}

% Front-page metadata
\newcommand{\notetitle}{{[}LLM Agents F24{]} LLM Reasoning — Denny Zhou}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2024年9月9日}
\newcommand{\videochannel}{Berkeley RDI}
\newcommand{\videopublishdate}{2024年9月9日}
\newcommand{\videoduration}{约60分钟}
\newcommand{\videourl}{https://www.youtube.com/watch?v=QL-FS_Zcmyo}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}

\ifdefempty{\videocoverpath}{
{\small 请在生成笔记时填入视频封面图的本地路径。\par}
}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{
\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par
}
\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

%% --- 正文内容开始 --- %%

\section{引言：为什么推理能力是 AI 的关键}

Denny Zhou 是 Google DeepMind 的研究科学家，长期专注于大语言模型的推理能力研究。他是 Chain-of-Thought Prompting 和 Self-Consistency 等里程碑工作的核心贡献者。本次讲座从一个根本性问题出发——\textbf{什么才算真正的智能？}——引出 LLM 推理的核心脉络。

\begin{knowledgebox}{从机器学习到推理的范式转变}
传统机器学习（few-shot learning、active learning、meta-learning 等）追求数据高效性（data efficiency），但在实践中这些方法并没有真正实现"从少量样本学习"。Denny Zhou 认为，人类能够从少量样本中学习，根本原因不是统计规律，而是\textbf{推理能力（reasoning）}。这一洞察驱动了他从机器学习转向 LLM 推理的研究方向。
\end{knowledgebox}

\subsection{Last Letter Concatenation：一个简单但深刻的例子}

Denny Zhou 用 Last Letter Concatenation 任务来揭示传统方法与推理方法的巨大差异：

\begin{itemize}
    \item \textbf{任务定义}：给定一个人名（如 ``Elon Musk''），输出名和姓最后一个字母的拼接（``n'' + ``k'' = ``nk''）。
    \item \textbf{传统 ML 方法}：用 Transformer 训练，需要数千标注样本，准确率约 85--90\%。
    \item \textbf{Few-shot Prompting}：直接给 LLM 几个示例，LLM 仍然容易出错（如 ``Barack Obama'' 输出 ``ck'' 而非 ``ka''）。
    \item \textbf{Chain-of-Thought Prompting}：在示例中加入推理步骤（``The last letter of Elon is n, the last letter of Musk is k, so nk''），仅用一个示例即可达到 100\% 准确率。
\end{itemize}

\begin{importantbox}{核心洞察}
对于人类来说简单的任务，如果一个方法需要海量标注数据才能学会，那它难以称为真正的「智能」。推理能力使 LLM 能够从极少样本中泛化，这是传统机器学习方法无法比拟的。
\end{importantbox}

\subsection{本章小结}

推理能力是弥合「数据驱动学习」与「真正智能」之间鸿沟的关键。LLM 通过 Chain-of-Thought 式的中间步骤生成，实现了质的飞跃——从需要大量训练数据降低到仅需少量甚至零样本。

\section{中间步骤（Intermediate Steps）：推理的核心机制}

\subsection{历史脉络：从训练到提示}

Denny Zhou 梳理了中间步骤思想的发展历程：

\begin{enumerate}
    \item \textbf{2017 年，Ling et al.}：在论文中提出用自然语言推理步骤（rationale）求解数学题，训练 seq2seq 模型从头生成中间步骤再得出答案。被 Denny Zhou 称为"如同时间旅行者"。
    \item \textbf{2021 年，OpenAI GSM8K}：延续 2017 年思路，创建了包含中间步骤的数学数据集，用于 fine-tune GPT-3，大幅提升数学推理能力。
    \item \textbf{2021 年，Google Brain Scratchpad}：独立发现类似思路，但在程序合成（program synthesis）领域使用符号化中间步骤。
    \item \textbf{2022 年，Chain-of-Thought Prompting（Wei et al.）}：在 prompting 阶段广泛评估中间步骤的效果，展示了在几乎所有 NLP 任务上的显著提升。
\end{enumerate}

\begin{importantbox}{中间步骤是关键，而非具体方法}
无论是 training、fine-tuning 还是 prompting，真正起作用的是\textbf{中间步骤（intermediate steps）}本身。当提供包含中间步骤的示例时，LLM 会生成同样包含中间步骤的响应——这是 LLM 作为概率模型模仿输入模式的自然结果。
\end{importantbox}

\subsection{理论基础：为什么中间步骤有效}

Denny Zhou 引用了 2024 年与 Stanford 的 Branden Srouji 合作的理论工作：

\begin{itemize}
    \item \textbf{带中间步骤的 Transformer}：只要深度超过一个\textbf{常数}（与输入长度无关），就可以解决任何固有串行（inherently serial）问题。
    \item \textbf{直接输出答案的 Transformer}：要么需要巨大的深度，要么根本无法求解。
\end{itemize}

\begin{warningbox}{实践含义}
如果模型无法解决某个问题，一个有效策略是引导它生成更多的中间步骤。此外，可以调用外部工具来辅助中间步骤的生成——这正是 LLM Agent 框架的核心思想之一。
\end{warningbox}

\subsection{本章小结}

中间步骤思想经历了从训练到 fine-tuning 再到 prompting 的演进，但本质始终不变：让模型逐步推导而非直接跳到答案。理论上，中间步骤赋予了有限深度 Transformer 解决任意串行计算的能力。

\section{推理策略：从 Few-shot 到 Zero-shot}

\subsection{Least-to-Most Prompting：分解复杂任务}

受 P\'{o}lya 经典著作《How to Solve It》中分解策略的启发，Denny Zhou 团队提出了 Least-to-Most Prompting：

\begin{itemize}
    \item \textbf{核心思想}：先将复杂问题分解为一系列子问题，然后从最简单的子问题开始逐步求解，每个子问题的解作为后续子问题的上下文。
    \item \textbf{SCAN 任务}：组合泛化（compositional generalization）基准，仅用 1\% 的示例即达到 99.7\% 准确率。
    \item \textbf{Text-to-Code 任务}：使用 Dynamic Least-to-Most Prompting，仅用 1\% 的数据即大幅超越使用全部训练数据的专用架构。
\end{itemize}

\begin{knowledgebox}{组合泛化（Compositional Generalization）}
指测试样本比训练/提示样本更复杂的场景。例如，训练时只见过短代码片段，测试时需要生成更长的代码。Least-to-Most Prompting 通过分解策略天然地处理了这一问题。
\end{knowledgebox}

\subsection{Zero-shot CoT：``Let's think step by step''}

\begin{itemize}
    \item 无需任何示例，仅在问题后加一句 ``Let's think step by step'' 即可触发 LLM 的逐步推理。
    \item 效果通常不如 few-shot CoT，但胜在零成本。
\end{itemize}

\subsection{LLMs as Analogical Reasoners}

受 P\'{o}lya 的类比推理思想启发：

\begin{itemize}
    \item \textbf{方法}：面对新问题时，让 LLM 自行生成相关问题及其解法，再利用这些自生成的示例来解决原问题。
    \item \textbf{优势}：比 ``Let's think step by step'' 显著更好，甚至超越手工设计的 few-shot 示例——因为模型会为每个问题生成定制化的相关示例。
    \item \textbf{与检索增强的关系}：可以进一步扩展为从网络检索相关问题和知识，实现 scaling。
\end{itemize}

\subsection{Chain-of-Thought Reasoning without Prompting}

一个令人惊讶的发现：\textbf{无需任何提示}，仅通过特殊解码策略即可触发推理：

\begin{itemize}
    \item 在解码第一步，不取概率最高的 token，而是探索 top-$k$ 个候选 token。
    \item 对每个候选 token 继续贪心解码，生成完整回答。
    \item 选择包含推理步骤且最终答案置信度最高的路径。
\end{itemize}

\begin{importantbox}{关键观察}
LLM 内部已经"知道"如何推理。当推理路径（如 ``Nicolas Cage was born in 1964, and 1964 is an even year''）出现时，最终答案的概率从低值跃升至 98\%。推理步骤在概率层面显著提升了模型对最终答案的置信度。
\end{importantbox}

\subsection{本章小结}

从 few-shot CoT 到 zero-shot CoT，再到无需提示的特殊解码策略，LLM 推理能力的触发方式越来越灵活。核心规律是：推理步骤本身而非触发方式才是关键。类比推理进一步表明，LLM 可以自主生成相关示例来辅助推理。

\section{Self-Consistency：从采样到投票}

\subsection{动机：LLM 的概率本质}

Denny Zhou 从第一性原理出发推导 Self-Consistency 的合理性：

\begin{itemize}
    \item LLM 在解码时优化的是：$\arg\max P(\text{reasoning path}, \text{answer} \mid \text{problem})$
    \item 但我们真正需要的是：$\arg\max P(\text{answer} \mid \text{problem})$
    \item 两者的关系：$P(\text{answer} \mid \text{problem}) = \sum_{\text{path}} P(\text{answer}, \text{path} \mid \text{problem})$
    \item 即需要对所有可能的推理路径求和（marginalize），而非只取单一最优路径。
\end{itemize}

\subsection{方法与效果}

\begin{importantbox}{Self-Consistency 方法}
\begin{enumerate}
    \item 对同一问题采样多次（使用非零温度），获得多条推理路径和对应答案。
    \item 取\textbf{出现频率最高的答案}作为最终预测（多数投票 / majority voting）。
    \item 注意：投票对象是\textbf{最终答案}，而非推理路径——推理路径是隐变量（latent variable）。
\end{enumerate}
\end{importantbox}

Self-Consistency 带来了巨大的性能提升，在当时大幅刷新了所有基准的 SOTA。更重要的是，当一致性超过 80\% 时，准确率接近 100\%——这提供了一个可靠的置信度指标。

\begin{knowledgebox}{与 Universal Self-Consistency 的扩展}
对于自由形式（free-form）答案，可以通过 LLM 自身来判断哪些答案语义等价，找出最常见的响应聚类。例如对于 ``哪些国家人均咖啡消费低于墨西哥'' 这类问题，不同回答可能措辞不同但内容一致。
\end{knowledgebox}

\subsection{本章小结}

Self-Consistency 将 LLM 推理从单次生成提升到统计推断层面。其核心思想源自概率图模型中的边际化推理（marginal inference），简单但极为有效。

\section{推理的局限性}

\subsection{LLM 容易被无关上下文干扰}

\begin{itemize}
    \item 在数学题中插入无关信息（如 ``Mario's moustache costs \$10''），LLM 会被误导。
    \item 添加提示 ``ignore irrelevant context'' 可以部分缓解，但当无关内容量增大时效果有限。
    \item 即使是简单的无关句子（``the sky is blue''）大量堆积，也会导致显著的性能下降。
\end{itemize}

\begin{warningbox}{上下文干扰}
LLM 作为概率模型，会将所有输入 token 纳入注意力计算。无关信息不仅浪费上下文窗口，还会实质性地干扰推理过程。这在实际的 Agent 应用中需要特别注意——检索增强（RAG）引入的噪声文档可能反而损害推理质量。
\end{warningbox}

\subsection{LLM 无法自我纠错推理}

Denny Zhou 团队的实验表明：

\begin{itemize}
    \item 让 LLM 审查并修正自己的答案时，它可能纠正错误答案，但也会把正确答案改错。
    \item 在 GSM8K、CommonsenseQA 等基准上，self-correction 方法\textbf{没有带来任何净提升}，反而使性能变差。
    \item 文献中报告的 self-correction 提升往往使用了 Oracle（即只在答案错误时才要求模型修正）——但模型本身无法判断自己是否正确。
\end{itemize}

\begin{importantbox}{外部反馈是自我纠错的前提}
LLM 的自我纠错需要外部 Oracle 反馈（如代码任务中的 unit test）。Self-Debug 工作通过单元测试自然地提供了这种 Oracle。纯粹依赖模型自身判断来纠错是不可靠的。
\end{importantbox}

\subsection{Multi-Agent Debate 并不优于 Self-Consistency}

\begin{itemize}
    \item 多个 Agent 互相辩论并达成共识（multi-agent debate），总共生成 $n$ 个回答。
    \item 但简单地对 $n$ 个独立采样使用 Self-Consistency 投票，效果始终优于 multi-agent debate。
    \item 辩论过程引入的信息交互并未带来额外收益。
\end{itemize}

\subsection{前提顺序（Premise Order）影响推理}

\begin{itemize}
    \item \textbf{GSM8K 实验}：仅将问题中的句子重新排列（不改变语义），准确率下降约 10 个百分点。
    \item \textbf{逻辑推理实验}：使用随机符号的纯逻辑规则推理，仅打乱相关规则的顺序，所有 Frontier 模型准确率下降 30+ 个百分点。
    \item \textbf{根本原因}：LLM 只能顺序处理输入，无法像人类一样在前提之间自由跳转和回溯。
\end{itemize}

\begin{warningbox}{前提顺序效应}
LLM 的推理严重依赖前提的呈现顺序。在设计 Agent 系统时，输入信息的组织顺序需要与推理所需的顺序对齐，否则会导致显著的性能损失。
\end{warningbox}

\subsection{本章小结}

当前 LLM 推理存在三大局限：容易被无关上下文干扰、无法可靠自我纠错、对前提顺序敏感。这些局限性为 Agent 系统的设计提供了重要指导——需要通过外部工具和精心设计的工作流来弥补这些短板。

\section{总结与延伸}

\subsection{核心要点回顾}

\begin{enumerate}
    \item \textbf{中间步骤}是提升 LLM 推理能力的核心机制，无论采用 training、fine-tuning 还是 prompting。
    \item \textbf{Self-Consistency}通过多次采样和多数投票，从概率角度显著提升推理准确率。
    \item \textbf{推理策略}从 few-shot CoT 到 zero-shot CoT，再到 analogical reasoning 和无提示解码，触发方式日趋灵活。
    \item \textbf{局限性}——上下文干扰、自我纠错失败、前提顺序敏感——指明了未来改进方向。
\end{enumerate}

\subsection{对 LLM Agent 的启示}

\begin{itemize}
    \item \textbf{工具调用与外部反馈}：Agent 可以通过调用代码执行器、搜索引擎等工具提供外部 Oracle，弥补 LLM 无法自我纠错的短板。
    \item \textbf{检索增强需谨慎}：RAG 引入的文档可能包含无关信息，反而干扰推理；需要精准的检索和过滤。
    \item \textbf{信息组织}：Agent 工作流中信息的呈现顺序应与推理逻辑对齐。
    \item \textbf{Scaling 推理}：Self-Consistency 和 Analogical Reasoning 可以作为 test-time compute scaling 的手段。
\end{itemize}

\subsection{拓展阅读}

\begin{itemize}
    \item Wei et al., ``Chain-of-Thought Prompting Elicits Reasoning in Large Language Models,'' NeurIPS 2022.
    \item Wang et al., ``Self-Consistency Improves Chain of Thought Reasoning in Language Models,'' ICLR 2023.
    \item Zhou et al., ``Least-to-Most Prompting Enables Complex Reasoning in Large Language Models,'' ICLR 2023.
    \item Kojima et al., ``Large Language Models are Zero-Shot Reasoners,'' NeurIPS 2022.
    \item Yasunaga et al., ``Large Language Models as Analogical Reasoners,'' ICLR 2024.
    \item Huang et al., ``Large Language Models Cannot Self-Correct Reasoning Yet,'' ICLR 2024.
    \item P\'{o}lya, ``How to Solve It,'' Princeton University Press, 1945.
\end{itemize}

%% --- 正文内容结束 --- %%

\end{document}
