\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm},
    boxrule=1pt, sharp corners
}
\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}
\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

\lstset{
    language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue},
    stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black},
    breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray},
    captionpos=b, extendedchars=false
}

\newcommand{\notetitle}{[CS25] New Training Objectives --- Hyung Won Chung, OpenAI}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{Spring 2024}
\newcommand{\videochannel}{Stanford CS25: Transformers United}
\newcommand{\videopublishdate}{Spring 2024}
\newcommand{\videoduration}{$\sim$40min}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}

\ifdefempty{\videocoverpath}{
{\small 请在生成笔记时填入视频封面图的本地路径。\par}
}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\textbf{视频链接}：
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

%% --- 正文内容开始 --- %%

\section{引言：从历史中学习未来}

Hyung Won Chung 是 OpenAI ChatGPT 团队的研究科学家，此前在 Google Brain 工作。他的代表作包括 Flan-T5/PaLM（大规模指令微调）和 T5X（PaLM 的训练框架）。本讲不讨论具体的新训练目标，而是通过分析 Transformer 架构的历史演变，建立一个``统一视角''来理解和预测 AI 研究的趋势。

\begin{importantbox}{核心论点}
AI 进步的根本驱动力是指数级增长的计算能力。理解这一驱动力，可以帮助我们看清看似无关的技术事件之间的深层联系，并据此推断未来方向。
\end{importantbox}

\section{指数驱动力：计算能力的增长}

\subsection{摩尔定律与 GPU 革命}

\begin{knowledgebox}{计算成本的指数下降}
从 1970 年代至今，计算成本以指数速度下降。GPU 的出现进一步加速了这一趋势——NVIDIA GPU 的 FLOPS/\$ 每两年翻一番。这种指数增长是 AI 研究所有重大进展的底层驱动力。
\end{knowledgebox}

\subsection{规模化与苦涩教训}

这一指数驱动力正是 Rich Sutton ``苦涩教训''（The Bitter Lesson）的物质基础：能够充分利用更多计算的通用方法（搜索、学习），最终总会超越依赖人类领域知识的方法。

\subsection{本章小结}
理解指数驱动力是建立统一视角的前提。

\section{归纳偏置的生命周期}

\subsection{什么是归纳偏置}

\begin{importantbox}{归纳偏置 = 计算不足时的捷径}
归纳偏置是我们在数据或计算不足时，人为加入模型的结构性假设。例如：
\begin{itemize}
\item 卷积 = ``局部性''假设
\item 双向注意力 = ``可以看到全部输入''假设
\item 掩码语言模型 = ``可以并行训练所有位置''假设
\end{itemize}
这些假设在资源有限时是有益的捷径，但在资源充足时反而限制了模型的通用性。
\end{importantbox}

\subsection{添加容易、移除困难}

\begin{warningbox}{学术界的激励不对称}
学术界擅长``添加结构''——提出新的归纳偏置可以发论文。但``移除结构''（证明某个假设已不再需要）缺乏发表激励。这导致许多过时的归纳偏置在研究中存留过久。Chung 呼吁社区更多关注``减法研究''。
\end{warningbox}

\subsection{本章小结}
归纳偏置有其最佳适用期，及时移除与及时添加同样重要。

\section{Encoder-Decoder vs Decoder-Only 的历史分析}

\subsection{原始 Transformer（2017）}

原始 Transformer 使用 encoder-decoder 架构用于机器翻译：

\begin{itemize}
\item \textbf{编码器}：$N$ 层双向自注意力 + 前馈网络
\item \textbf{解码器}：$N$ 层因果自注意力 + 交叉注意力 + 前馈网络
\item \textbf{连接}：交叉注意力让解码器关注编码器的输出
\end{itemize}

\subsection{BERT 的选择（2018）}

BERT 只用编码器 + 双向注意力 + 掩码语言模型（MLM）目标。当时双向注意力确实更强：能看到完整上下文，训练效率高（每个位置独立预测）。

\subsection{GPT 的选择（2018）}

GPT 只用解码器 + 因果注意力 + 自回归目标。当时看起来不如 BERT，但这个选择引入了最少的结构性假设。

\subsection{为什么 Decoder-Only 最终胜出}

\begin{importantbox}{统一视角下的分析}
\begin{enumerate}
\item \textbf{双向注意力}是一种归纳偏置——假设可以看到完整输入。在规模较小时有用，但阻止了模型作为通用生成器
\item \textbf{交叉注意力}是另一种归纳偏置——假设编码和解码需要不同处理。随规模增大被证明不必要
\item \textbf{掩码语言模型目标}假设可以并行预测所有被掩码的位置——这比自回归目标更高效但更受限
\item \textbf{KV 缓存}：因果注意力天然支持 KV 缓存（已处理的 token 可复用），而双向注意力不支持。这在多轮对话场景中是巨大的工程优势
\end{enumerate}
\end{importantbox}

\subsection{本章小结}
Decoder-only 架构的胜出是``苦涩教训''的又一例证：最少假设 + 最多计算 = 最好结果。

\section{对当前趋势的审视}

\subsection{当前的``捷径''}

Chung 认为当前仍有许多``结构性捷径''有待被移除：

\begin{itemize}
\item 低精度训练（FP16/BF16）——虽然有用，但本质上是计算受限时的权宜之计
\item 固定的 tokenizer——人为设计的 token 切分规则可能不是最优的
\item 固定的训练数据配比——可能随模型规模变化而需要调整
\end{itemize}

\subsection{硬件协同设计}

如果架构足够确定（如 Transformer），可以将其硬编码到芯片中以获得更高效率。当前 GPU ``太通用''了——这既是优势也是浪费。

\begin{knowledgebox}{机器辅助的芯片设计}
Chung 半开玩笑地预测：AI 很快将在芯片设计方面超越人类。届时，AI 可以帮助设计专门优化 Transformer 推理的硬件，形成``AI 设计 AI 硬件''的正反馈循环。
\end{knowledgebox}

\subsection{本章小结}
保持``减法思维''——持续审视哪些假设可以被移除——是推动进步的关键心态。

\section{对今天 LLM 系统设计的直接建议}

\subsection{先问什么是必须的，再问什么是方便的}

Chung 的``苦涩教训''视角，对今天做 LLM 系统的人有很强的现实意义。很多组件之所以存在，并不是因为它们在长期最优，而是因为它们在当前资源约束下\textbf{方便、便宜、可控}。这并没有错，但团队必须明确：哪些设计是本质需求，哪些只是暂时折中。

\begin{importantbox}{一条可执行的架构审查问题}
面对任意一个系统组件，都可以问三件事：第一，它是否真正提高了最终能力；第二，它是否只是为绕开当前算力/数据限制；第三，如果未来计算更便宜，它是否仍然值得保留。能经受这三问的设计，才更可能跨越代际演化。
\end{importantbox}

\subsection{这如何影响模型与产品决策}

例如，在应用层大量堆叠 prompt 模板、手工规则和链式路由，也许能快速提升短期效果，但这些结构常常会随着基础模型能力提升而被淘汰。反过来，数据管线、评测体系、推理缓存和服务编排这类基础设施，往往会长期保值，因为它们解决的是系统层问题，而非对模型施加过强假设。

\subsection{本章小结}

苦涩教训不是反对工程技巧，而是要求我们持续区分``长期资产''和``阶段性补丁''。

\section{何时应该保留归纳偏置}

\subsection{偏置不是原罪，而是要有退出条件}

这节课很容易被误读为``所有归纳偏置都该删掉''。更准确的理解是：归纳偏置在资源不足、数据有限、上线约束严格时非常有价值，但它们最好带有\textbf{明确的适用边界和退出条件}。如果某个偏置随着算力增长仍持续带来收益，那它就不再只是权宜之计，而可能是稳定的系统结构。

\begin{knowledgebox}{现实中常见的两类健康偏置}
\begin{itemize}
\item \textbf{安全偏置}：权限控制、审计日志、沙箱执行。这些限制不是为了弥补模型能力不足，而是为了降低系统风险。
\item \textbf{产品偏置}：明确的工作流和交互约束，用来减少用户困惑与误操作。
\end{itemize}
\end{knowledgebox}

\subsection{对研究者的提醒}

\begin{warningbox}{不要把``通用性''误当作不需要系统设计}
即使 decoder-only 模型赢得了主流，也不代表所有任务都该用同一套最小假设直接硬做。真正的经验是：尽量把偏置放在系统层和数据层，而不是过早固化在模型结构里。
\end{warningbox}

\subsection{本章小结}

最健康的做法不是迷信无偏，也不是迷信结构，而是在技术进步过程中不断重新验证哪些假设仍然值得保留。

\section{总结与延伸}

本讲通过历史分析建立了一个强大的思维框架：(1) AI 进步由计算能力的指数增长驱动；(2) 归纳偏置是资源不足时的权宜之计；(3) 随着资源增加，应系统地移除不必要的假设；(4) 最简单、最通用的方法在长期内总会胜出。这一框架不仅解释了过去，也为思考未来提供了指导。

\subsection{拓展阅读}
\begin{itemize}
\item Sutton, ``The Bitter Lesson'', 2019
\item Vaswani et al., ``Attention Is All You Need'', 2017
\item Devlin et al., ``BERT: Pre-training of Deep Bidirectional Transformers'', 2019
\item Chung et al., ``Scaling Instruction-Finetuned Language Models'', 2022
\end{itemize}

%% --- 正文内容结束 --- %%

\end{document}
