\documentclass[a4paper]{article}

% Basic packages
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

% Highlight boxes
\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm},
    boxrule=1pt, sharp corners
}

\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}

\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

% Listings
\lstset{
    language=Python,
    basicstyle=\ttfamily\small,
    keywordstyle=\color{blue},
    stringstyle=\color{red!60!black},
    commentstyle=\color{green!60!black},
    breaklines=true,
    frame=single,
    numbers=left,
    numberstyle=\tiny\color{gray},
    captionpos=b,
    extendedchars=false
}

% Front-page metadata
\newcommand{\notetitle}{How We Scaled Kimi K2.5}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2026}
\newcommand{\videochannel}{NVIDIA GTC 2026}
\newcommand{\videopublishdate}{2026}
\newcommand{\videoduration}{39 min}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 演讲笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.5cm}
{\large 杨植麟 (Moonshot AI / Kimi) --- GTC 2026 Keynote\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}

\ifdefempty{\videocoverpath}{}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{演讲者}：杨植麟 (Moonshot AI / Kimi)\par
\textbf{场合}：NVIDIA GTC 2026\par
\textbf{视频时长}：\videoduration\par
\textbf{视频链接}：
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

%% --- 正文内容开始 --- %%

\section{引言：开放模型的愿景}

杨植麟在 GTC 2026 的演讲中阐述了 Moonshot AI（Kimi）在开放模型领域的最新进展。他引用了 Jensen Huang 在 CES 上的一张 slide，指出开放模型正在快速缩小与闭源模型之间的差距，并正在达到前沿水平。

\begin{importantbox}{核心理念}
开放模型不仅要"开放"，更要"出色"（Open models cannot be just open --- they have to be great）。Kimi 团队的目标是让智能通过开源模型触达世界每个角落，同时在性能上与闭源模型竞争。
\end{importantbox}

演讲围绕三个 scaling 维度展开：
\begin{enumerate}
    \item \textbf{Token Efficiency}：通过更好的架构和优化器，提升每个 token 的学习效率
    \item \textbf{Long Context}：扩展上下文长度以支持更复杂的 agent 任务
    \item \textbf{Agent Swarms}：多 agent 并行协作完成复杂任务
\end{enumerate}

\begin{knowledgebox}{从 Scaling 到 Agent 的统一视角}
杨植麟将这三个维度用 agent 的语言统一表述：token efficiency 对应更强的先验（agent RL 搜索更高效）；long context 对应更长的 agent 运行时间（可运行数天甚至数周）；agent swarms 则是并行化的新维度。最终目标是拥有一群具有超长上下文、超强先验的 agent 组成的集群。
\end{knowledgebox}


\section{Token Efficiency：Muon 优化器与训练稳定性}

\subsection{为什么 Token Efficiency 如此重要}

杨植麟从经典的 Kaplan scaling law 出发，强调 token efficiency 不仅关乎效率，更关乎\textbf{智能的上界}。

\begin{importantbox}{Token Efficiency = 智能上界的提升}
假设你拥有 50 万亿高质量 token，如果新优化器能带来 2 倍的 token efficiency 提升，那就相当于"凭空"获得了 100 万亿 token 的效果。在高质量数据量趋近上限（data wall）的时代，提升 token efficiency 直接意味着推高智能的天花板。
\end{importantbox}

\subsection{Muon 优化器}

Muon 是一种\textbf{二阶优化器}，其核心思想是对每次梯度更新进行变换，使得各参数分量相互正交。与传统的 AdamW 相比，Muon 在相同参数量和训练 token 数下能显著提升性能。

Kimi 团队是首个证明 Muon 优化器可扩展到大规模 LLM 训练的工作，核心技术包括：
\begin{itemize}
    \item \textbf{Decay 策略}：对 scaling 到更大模型至关重要
    \item \textbf{RMS 一致性}：引入可调系数，确保 Muon 的 RMS update 与 Adam 可比
    \item \textbf{分布式实现}：将优化器状态分片到 data parallel group，实现高效的分布式 Muon
\end{itemize}

\subsection{QK-Clip：解决训练不稳定性}

当 Muon 扩展到 1 万亿参数模型时，团队遇到了训练不稳定问题：max logits 迅速飙升超过 1000（正常值约为 50--100），导致训练发散。

\begin{importantbox}{QK-Clip 技术}
对每个 attention head，在 forward pass 中计算 max logit，然后计算一个除数因子，应用于 query 和 key 的投影，将最大值约束在给定范围内。实验表明：
\begin{itemize}
    \item 应用 QK-Clip 前后的训练曲线严格重合——不影响训练收敛
    \item Max logit 在达到阈值（如 100）后被有效约束，随后自然下降
\end{itemize}
这使得 Kimi 团队成功完成了历史上首次大规模 Muon 训练（1 万亿参数）。
\end{importantbox}

\begin{warningbox}{训练稳定性不可忽视}
传统 Adam 训练中较少出现的 logit explosion 问题，在使用二阶优化器时可能被放大。仅仅更换优化器而不考虑稳定性机制，可能导致训练完全失败。
\end{warningbox}

\subsection{本章小结}

Token efficiency 不仅是工程优化，更是推高智能上界的关键路径。Muon 优化器通过正交化梯度更新实现 2 倍 token efficiency 提升；QK-Clip 技术解决了大规模训练中的稳定性问题，使 Muon 成功扩展到万亿参数。


\section{Long Context：Kimi Linear 与 Delta Attention}

\subsection{为什么长上下文对 Agent 时代至关重要}

杨植麟引用了一个"隐藏的宝石"级别的经典图表：Transformer 与 LSTM 的对比。Transformer 不仅在相同参数和 token 数下获得更低的 loss，更关键的是它能\textbf{持续通过上下文改善预测}——随着 token index 增加，Transformer 的 loss 持续下降，而 LSTM 在一定范围后趋于饱和。

\begin{knowledgebox}{Transformer 的真正优势}
Transformer 胜出不只是因为"更强"，更因为它能利用更长的上下文持续获得信息增益。这一特性在 agent 时代尤为关键：agent 需要运行数天甚至数周来完成复杂任务（如从零编写 Linux 内核），这要求模型能高效处理超长的 trajectory。
\end{knowledgebox}

\subsection{Kimi Delta Attention：细粒度衰减}

Kimi Linear 架构的核心创新是 \textbf{Kimi Delta Attention}，它改进了 GDR（Generalized Delta Rule）的循环记忆机制。

传统 linear attention 使用全局标量衰减因子（global scalar decay），导致只能在"遗忘一切"和"记住一切"之间二选一。Kimi Delta Attention 引入了\textbf{细粒度衰减因子}（fine-grained decay）：

$$\alpha \in \mathbb{R}^{d \times d} \quad (\text{对角矩阵，而非标量})$$

这样不同 channel 可以有不同的衰减速率：
\begin{itemize}
    \item 部分 channel 缓慢衰减——保留长距离信息
    \item 部分 channel 快速衰减——及时遗忘并吸收新信息
\end{itemize}

\subsection{高效实现：Chunk-wise 公式与矩阵求逆}

为了在现代 GPU 上并行化，需要将递推公式转换为 chunk-wise 形式。但对角矩阵 $\alpha$ 无法像标量那样轻易提取公因子，带来了巨大的工程挑战。

\begin{importantbox}{精确等价的并行公式}
通过引入\textbf{矩阵求逆运算}和\textbf{累积衰减因子}，团队将递推公式重写为三个可并行计算的等式。这不是近似——是数学上严格等价的公式，在不牺牲任何精度的前提下实现高效并行。
\end{importantbox}

\subsection{性能对比}

Kimi Linear 在公平对比中取得了全面领先：
\begin{itemize}
    \item \textbf{短上下文任务}（MMAU）：优于 MLA 和 GDN
    \item \textbf{长上下文任务}（Ruler）：同样优于其他变体，且效率更高
    \item 扩展到 100 万 token 及以上时，效率优势更加显著
    \item 这是\textbf{首个在所有维度上超越 full attention 的架构}（短上下文、长输入、长输出）
\end{itemize}

架构采用 linear attention 与 full attention 以 3:1 的比例混合，在长上下文能力和效率之间取得平衡。

\subsection{本章小结}

Kimi Linear 通过细粒度衰减因子和精确等价的并行公式，实现了比 full attention 更好的性能和更高的效率，尤其在超长上下文场景下优势显著。


\section{Agent Swarms：多 Agent 并行协作}

\subsection{Agent Swarm 范式}

单 agent 模式面临任务复杂度的瓶颈。Kimi 提出了 \textbf{Agent Swarm} 范式：

\begin{itemize}
    \item 一个\textbf{主 agent（orchestrator）}负责任务编排
    \item 主 agent 可以生成一组\textbf{子 agent}，分配子任务
    \item 子 agent 并行执行，主 agent 收集结果
    \item 整个过程可迭代进行
\end{itemize}

\begin{knowledgebox}{类比人类组织}
Agent Swarm 类似于一家公司的组织结构：CEO 负责分解和分配任务（orchestrator），AI 研究员、Web 开发者、物理研究员等各司其职（sub-agents），最终由 fact checker 等角色汇总结果。
\end{knowledgebox}

实验表明，Agent Swarm 能显著降低任务执行时间，尤其在高复杂度任务上效果突出。当扩展到 100 甚至 1000 个子 agent 时，可以在可接受的时间内完成复杂任务。

\subsection{Agent Swarm 的 RL 训练}

\begin{importantbox}{三项奖励函数}
除了标准的结果奖励（outcome reward）外，Agent Swarm 的 RL 训练引入了两个额外的奖励信号：
\begin{enumerate}
    \item \textbf{Instantiation Reward}：激励子 agent 的并行实例化，防止"串行坍缩"——即模型退化为单 agent 执行
    \item \textbf{Finish Reward}：确保子任务有较高的完成率，防止模型"刷"第一个奖励——只生成大量子 agent 但不完成任务
    \item \textbf{Outcome Reward}：标准的任务完成度奖励
\end{enumerate}
前两个奖励在训练过程中逐渐衰减权重（decay strategy），早期鼓励探索，后期侧重结果。
\end{importantbox}

\begin{warningbox}{Agent Swarm 的训练陷阱}
如果只有 outcome reward，模型容易退化为单 agent 模式（串行坍缩）。如果只加 instantiation reward，模型可能 hack 这一信号——生成大量伪子任务但从不完成。必须同时使用三种奖励信号才能实现稳定训练。
\end{warningbox}

\subsection{本章小结}

Agent Swarm 通过多 agent 并行协作开辟了新的 scaling 维度。三项精心设计的奖励函数配合衰减策略，使模型能有效学习并行编排和任务分解能力。


\section{Kimi K2.5：三个维度的融合}

\subsection{训练与架构}

K2.5 将上述三个维度的进展融合为一个模型：
\begin{itemize}
    \item \textbf{Muon + QK-Clip 优化器}：提升 token efficiency
    \item \textbf{Kimi Delta Attention + Linear 架构}：增强 long context 能力
    \item \textbf{Agent Swarms}：开辟并行 scaling 新维度
\end{itemize}

模型在 NVIDIA H800 GPU 上训练，每个节点包含 2 TB RAM，GPU 间通过 NVLink 互联。K2.5 基础模型经过超过 30 万亿 token 的训练（base model 15T + K2.5 额外 15T），训练过程极其平稳——没有任何 loss spike。

\begin{importantbox}{Early Fusion：原生视觉-文本联合训练}
K2.5 是首个具有\textbf{原生联合视觉-文本能力}的开放模型。不同于在文本模型之上添加视觉能力的 late fusion 方案，K2.5 从训练第 0 天起就融合视觉和文本 token（early fusion），初步实验表明这一方案优于 late fusion。
\end{importantbox}

\subsection{跨模态增强效应}

K2.5 训练中发现了一个令人兴奋的现象：两种模态可以相互增强。

\begin{importantbox}{Vision 改善 Text，Text 改善 Vision}
\begin{itemize}
    \item \textbf{Vision $\rightarrow$ Text}：仅使用视觉任务进行 RL（不含任何数学/编程任务），却能提升文本推理性能
    \item \textbf{Text $\rightarrow$ Vision}：拥有强大的文本基础后，完全不需要视觉 SFT 数据（Zero Vision SFT），仅用文本 SFT + 联合 RL 就能达到接近 SOTA 的视觉性能
\end{itemize}
这一发现表明，early fusion 使两种模态真正共享了表示空间，实现了能力的双向迁移。
\end{importantbox}


\section{Attention Residue：下一代架构的预告}

\subsection{从 ResNet 到 Attention Residue}

杨植麟回顾了何恺明在 ICML 2016 的经典 tutorial：ResNet 解决了深度网络训练中的梯度消失问题，使任意深度的网络变得可训练。他引用 Ilya Sutskever 两年前的观点：\textbf{Residual connection 本质上是旋转了 90 度的 LSTM}。

\begin{knowledgebox}{深度维度上的"注意力"}
如果在时序维度上，从 LSTM 到 Attention 是一次成功的升级，那么在深度维度上，能否做同样的事？Residual connection（类似 LSTM 的加法门控）可以被替换为 Attention——不仅取上一层的输出，而是对\textbf{所有前序层的输出}进行注意力聚合。这就是 Attention Residue。
\end{knowledgebox}

\subsection{Block Attention Residue}

为了减少通信和显存开销，团队进一步设计了 \textbf{Block Attention Residue}：
\begin{itemize}
    \item 将所有层分为多个 block（如每 16 层一个 block）
    \item Block 内部使用标准 residual connection
    \item Block 之间使用 attention residue
\end{itemize}

\subsection{实验结果}

\begin{itemize}
    \item Scaling law 上实现 \textbf{24\% token efficiency 提升}（50T token $\rightarrow$ 等效 62T token）
    \item Validation loss 持续低于原始曲线
    \item 在 GPQA、Math、HumanEval 等推理密集型 benchmark 上改进最为显著
\end{itemize}

\subsection{本章小结}

Attention Residue 将时序维度上从 LSTM 到 Attention 的成功迁移到深度维度，以 24\% 的 token efficiency 提升和推理任务上的显著改进，展示了架构创新仍有巨大空间。


\section{总结与延伸}

\subsection{研究范式的转变}

杨植麟指出，当前 AI 研究范式与 10 年前截然不同。过去侧重"发表新 idea"，但缺乏严格实验的支撑难以得出可靠结论。如今，有了 scaling ladder 和丰富的 benchmark 体系，可以在不同规模上验证想法，从而对"古老"的技术（如优化器、注意力机制、残差连接）做出自信且扎实的改进。

\subsection{三个维度的乘法效应}

\begin{importantbox}{从加法到乘法}
三个 scaling 维度不是简单叠加，而是相互增强的乘法关系：
\begin{itemize}
    \item Adam (2014) $\rightarrow$ Muon-Clip：更好的 token efficiency
    \item Full Attention (2017) $\rightarrow$ Kimi Linear：更好的长上下文
    \item Residual Connection $\rightarrow$ Attention Residue：更高效的深度 scaling
\end{itemize}
将这些改进相乘，可以获得远超单项改进之和的整体提升。
\end{importantbox}

\subsection{开源社区的未来}

杨植麟对开源社区的未来持乐观态度，认为在架构和优化方面将持续涌现突破性改进。Agent Swarms 不是终点——scaling 的新维度会不断出现，推动开源模型与闭源模型的持续竞争。

\subsection{拓展阅读}

\begin{itemize}
    \item Kaplan et al., "Scaling Laws for Neural Language Models" (2020) --- 经典 scaling law
    \item Muon Optimizer 论文 --- Kimi 团队的二阶优化器工作
    \item Kimi Linear 技术报告 --- Delta Attention 的详细公式推导
    \item Attention Residue 技术报告 --- 深度维度注意力的完整实验
    \item He et al., "Deep Residual Learning for Image Recognition" (2015) --- ResNet 原始论文
\end{itemize}

%% --- 正文内容结束 --- %%

\end{document}
