\documentclass[a4paper]{article}

% Basic packages
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

% Highlight boxes
\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm},
    boxrule=1pt, sharp corners
}

\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}

\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

% Listings
\lstset{
    language=Python,
    basicstyle=\ttfamily\small,
    keywordstyle=\color{blue},
    stringstyle=\color{red!60!black},
    commentstyle=\color{green!60!black},
    breaklines=true,
    frame=single,
    numbers=left,
    numberstyle=\tiny\color{gray},
    captionpos=b,
    extendedchars=false
}

% Front-page metadata
\newcommand{\notetitle}{圆桌：通往AGI的大模型发展之路}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2024}
\newcommand{\videochannel}{阿里云}
\newcommand{\videopublishdate}{2024}
\newcommand{\videoduration}{约60分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 圆桌讨论笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}

\ifdefempty{\videocoverpath}{
{\small 请在生成笔记时填入视频封面图的本地路径。\par}
}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{主持人}：张鹏（极客公园创始人、总裁）\par
\textbf{嘉宾}：蒋大昕（阶跃星辰CEO）、杨植麟（月之暗面/Kimi创始人）、朱军（清华大学/生数科技首席科学家）\par
\textbf{频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

%% --- 正文内容开始 --- %%

\section{引言：过去18个月的加速发展}

本圆桌讨论发生在OpenAI O1发布后不久，主持人张鹏邀请三位国内大模型领域的核心探索者——蒋大昕（阶跃星辰）、杨植麟（月之暗面/Kimi）、朱军（清华/生数科技）——共同回顾过去18个月AGI的发展，并展望未来方向。

三位嘉宾一致认为：AGI的发展处于\textbf{加速状态}，不是减速。


\section{数量与质量的双重加速}

\subsection{从一家独大到群雄并起}

蒋大昕从数量和质量两个维度总结过去18个月的进展：

\begin{knowledgebox}{数量维度}
每个月都有新模型、新产品涌现：OpenAI的Sora（2月）、GPT-4O（5月）、O1（9月）；Anthropic的Claude 3到3.5系列；Google的Gemini系列；Meta的Llama系列等。从GPT-4一家独大，到群雄并起、你追我赶。
\end{knowledgebox}

\begin{importantbox}{质量维度：三大标志性突破}
\begin{enumerate}
\item \textbf{GPT-4O}：多模态融合的新台阶——将视觉理解（GPT-4V）、视觉生成（DALL-E/Sora）、声音模型（Whisper/Voice Engine）统一在一起。物理世界本身就是多模态的，融合是必然方向。
\item \textbf{特斯拉FSD V12}：端到端大模型，从感知信号直接生成控制序列。自动驾驶是从数字世界走向物理世界的标志性场景。
\item \textbf{O1}：第一次证明语言模型也可以有人脑的慢思考（System 2）能力，这是归纳世界的基础前提。
\end{enumerate}
\end{importantbox}

\subsection{纵向与横向的双重扩展}

杨植麟从两个维度分析：

\begin{itemize}
\item \textbf{纵向（智商）}：竞赛数学从完全不及格到90多分；代码能力击败专业编程选手；上下文长度从4--8K跃升至128K甚至百万级
\item \textbf{横向（技能）}：多模态理解与生成、论文转podcast、视频生成等模态间转化日益成熟
\end{itemize}

\begin{knowledgebox}{Learning Curve在变陡}
朱军补充了一个重要观察：各个领域的learning curve正在变得更陡。例如视频生成从Sora震惊世界到行业追平仅用了半年。核心原因是大家对技术路线的认知和准备已经到位，加上云基础设施的成熟。
\end{knowledgebox}

\subsection{本章小结}

过去18个月，AGI在数量（模型密度）和质量（标志性突破）上均显著加速。纵向智商持续攀升，横向技能快速扩展，且各领域的追赶速度越来越快。


\section{O1：Scaling Law的新范式}

O1的发布是本次圆桌讨论的核心话题。三位嘉宾从不同角度给出了高度一致的积极评价。

\subsection{System 1 + System 2的统一}

\begin{importantbox}{蒋大昕的分析}
O1的核心意义有二：
\begin{enumerate}
\item 第一次证明语言模型可以拥有System 2能力——不再是直线性思维（System 1），而是能探索不同路径、自我反思、自我纠错，直到找到正确答案
\item 将模仿学习（预训练）与强化学习结合，使模型同时具备System 1和System 2能力
\end{enumerate}
\end{importantbox}

\begin{knowledgebox}{System 1 vs. System 2}
\textbf{System 1}（快思考）：GPT-4的思维方式——即使拆解复杂问题为多步，仍是直线性的next-token prediction。

\textbf{System 2}（慢思考）：O1的新能力——可以探索多条路径、回溯、纠错，直到找到正确方案。这是归纳世界、解决新问题的基础能力。
\end{knowledgebox}

\subsection{RL Scaling：新的Scaling维度}

蒋大昕进一步指出，O1带来了一个\textbf{RL Scaling}的新范式：

\begin{itemize}
\item 过去DeepMind的强化学习（AlphaGo/AlphaFold/AlphaGeometry）都是为特定场景设计
\item O1首次在通用性和泛化性上实现了大规模RL Scaling
\item 它还只是开端（preview），但已经展示了一条上限很高的道路
\end{itemize}

\subsection{AGI的等级跃迁}

\begin{knowledgebox}{朱军的AGI L1--L5分级}
\begin{itemize}
\item \textbf{L1 聊天机器人}：ChatGPT时代
\item \textbf{L2 推理者}：O1时代——在特定（Narrow）场景下已实现L2
\item \textbf{L3 智能体}：从数字世界走向物理世界，去交互、去改变
\item \textbf{L4 创新者}：发现新知识、创造新事物
\item \textbf{L5 组织者}：协同组织、高效运转
\end{itemize}
每一级都有从Narrow到General的跃迁。O1代表着从L1向L2的显著质变。
\end{knowledgebox}

\subsection{解决Scaling Wall}

杨植麟指出O1提升了AI的\textbf{上限}：

\begin{importantbox}{从5\%到10倍}
O1之前，大家担心数据枯竭（数据墙）导致Scaling Law失效。O1证明了通过强化学习可以继续Scaling——从``提升5--10\%的生产力''的上限提升到``10倍GDP''的可能性。AI七八十年历史上唯一有效的就是Scaling，O1为Scaling指出了新的维度。
\end{importantbox}

\subsection{本章小结}

O1的意义：(1) 语言模型获得System 2能力；(2) RL Scaling新范式打破数据墙；(3) AGI从L1迈向L2。


\section{泛化挑战：从Narrow到General}

\subsection{Reward Model的定义难题}

朱军指出了RL泛化面临的核心挑战：

\begin{warningbox}{Reward定义的困境}
在数学定理证明和编程中，reward（奖励函数）是明确的——答案对就是对，错就是错。但在自动驾驶、艺术创作、视频生成等开放领域中，``好''和``不好''的界限模糊，每个人的感受不同。如何在这些领域定义reward model，是RL泛化的核心技术难题。
\end{warningbox}

此外，过程监督（process supervision）数据的获取也很困难——需要对思考过程的每一步进行标注，这需要专业人员和高价值数据。

\subsection{创业公司的机会}

杨植麟从创业视角分析了O1范式带来的机会：

\begin{knowledgebox}{新技术变量带来的机会}
\begin{itemize}
\item 有一定算力门槛的公司可以在RL算法层面做基础创新，甚至在基础模型上取得突破
\item 算力较少的公司可以通过后训练在特定领域做到最好
\item 有确定方向但不确定路径——对创业公司是好事
\end{itemize}
\end{knowledgebox}

\subsection{本章小结}

RL泛化的核心挑战在于开放领域的reward定义和过程监督数据获取。但技术路径已经清晰，结合强大的基座模型，泛化速度将快于上一代RL（AlphaGo时代）。


\section{算力格局的连锁反应}

\subsection{算力三角的重塑}

蒋大昕分析了RL范式对``算法-算力-数据''三角的连锁影响：

\begin{importantbox}{三个确定性递减的判断}
\begin{enumerate}
\item \textbf{确定}：推理端的算力需求成倍增长（test-time scaling）
\item \textbf{大概率确定}：RL训练阶段的算力不比预训练少——Self-play数据理论上没有上限（如训练Strawberry用上万张H100卡训练数月）
\item \textbf{不确定}：主模型参数量是否需要继续scale——如果RL起到``放大器''效应，参数scaling的ROI可能重新打正
\end{enumerate}
\end{importantbox}

\begin{warningbox}{如果第三点成立}
如果RL的放大效应使得参数scaling重新有效，那算力增长回到$\text{参数量} \times \text{数据量}$的平方维度——对整个算力基础设施的需求将是爆发式的。
\end{warningbox}

\subsection{谁会先感受到算力重估}
三位嘉宾的判断虽然角度不同，但落点相近：未来的算力压力不会只体现在训练集群，还会沿着芯片、云平台、推理服务、应用公司一路向上传导。也就是说，RL Scaling 带来的不是单点成本上升，而是整个产业链重新计算 ROI。

\begin{table}[H]
\centering
\begin{tabular}{p{3.2cm}p{5.2cm}p{5cm}}
\toprule
角色 & 直接压力 & 可能的应对方式 \\
\midrule
基础模型公司 & 训练和 test-time scaling 同时抬高 GPU 预算 & 更精细地分配预训练、后训练与推理预算 \\
云基础设施提供方 & 峰值需求变大，集群调度更复杂 & 扩充高端卡供给、提升多租户利用率 \\
应用创业公司 & 调用更强模型时推理成本变高 & 通过蒸馏、缓存、专用工作流降低单位请求成本 \\
\bottomrule
\end{tabular}
\caption{RL Scaling 对产业链不同角色的影响并不相同}
\end{table}

\begin{knowledgebox}{圆桌里隐含的一个商业判断}
如果推理侧的算力需求先爆发，那么最先受益的未必是拥有最大参数模型的团队，而可能是\textbf{更擅长把高价推理“包装成高价值服务”}的公司。也因此，产品设计、缓存策略、工作流拆分会和模型能力一样重要。
\end{knowledgebox}

\subsection{本章小结}
算力格局的变化不是简单的“卡更贵了”，而是 RL Scaling 把训练与推理两端都重新推高，并且把压力传导到云、应用和商业模式上。谁能把高算力转成高价值交付，谁就更可能在下一轮竞争中占优。


\section{AGI的演进路线图}

\subsection{模拟世界 $\rightarrow$ 探索世界 $\rightarrow$ 归纳世界}

蒋大昕提出AGI的三阶段演进路线：

\begin{knowledgebox}{三阶段框架}
\begin{enumerate}
\item \textbf{模拟世界}：GPT-4O代表——多模态融合，为物理世界建模
\item \textbf{探索世界}：FSD V12代表——端到端控制，从数字走向物理
\item \textbf{归纳世界}：O1代表——System 2慢思考，发现规律和知识
\end{enumerate}
过去18个月在三个阶段上都取得了标志性突破。
\end{knowledgebox}

\subsection{Scaling的历史视角}

杨植麟从AI七八十年的历史中提炼出一个核心结论：

\begin{importantbox}{AI历史上唯一有效的就是Scaling}
无论是参数量、数据量还是计算量——更大总是更好。O1不只是量变，而是质变：它开辟了新的Scaling维度（RL Scaling），打破了``数据用完了怎么办''的焦虑。更重要的是，Self-play产生的数据理论上没有上限。
\end{importantbox}

\subsection{本章小结}

AGI的演进可以从``模拟-探索-归纳''三阶段理解。Scaling仍是核心引擎，O1开辟了RL Scaling新维度，打破了数据墙的限制。


\section{总结与延伸}

本次圆桌讨论在O1刚发布的背景下展开，三位嘉宾从不同维度（创业视角、学术视角、技术视角）对AGI的现状和未来做出了判断。核心共识如下：

\begin{enumerate}
\item \textbf{加速而非减速}：过去18个月AGI发展在加速，数量和质量双重提升
\item \textbf{O1是范式变革}：开辟RL Scaling新维度，赋予模型System 2能力，推动AGI从L1迈向L2
\item \textbf{泛化是核心挑战}：从Narrow到General需要解决reward定义和过程监督数据问题
\item \textbf{算力需求将爆发}：推理端确定增长，训练端大概率增长，参数量可能重新启动Scaling
\item \textbf{创业机会扩大}：有确定方向（RL Scaling）但不确定路径，利好创新型团队
\item \textbf{三阶段路线}：模拟世界、探索世界、归纳世界——过去18个月在每个阶段都有标志性突破
\end{enumerate}

\begin{knowledgebox}{拓展阅读}
\begin{itemize}
\item OpenAI O1技术博客：``Learning to Reason with LLMs''——test-time scaling的开创性工作
\item OpenAI的AGI等级定义（L1--L5）
\item Tesla FSD V12技术分析：端到端自动驾驶大模型
\item AlphaGo $\rightarrow$ AlphaFold $\rightarrow$ AlphaGeometry：DeepMind的RL演进路径
\item Kahneman, ``Thinking, Fast and Slow''：System 1/System 2理论原著
\end{itemize}
\end{knowledgebox}

%% --- 正文内容结束 --- %%

\end{document}
