\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm},
    boxrule=1pt, sharp corners
}
\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}
\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

\lstset{
    language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue},
    stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black},
    breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray},
    captionpos=b, extendedchars=false
}

\newcommand{\notetitle}{[CS25 V5] RL as a Co-Design of Product and Research --- Karina Nguyen, OpenAI}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{Spring 2025}
\newcommand{\videochannel}{Stanford CS25: Transformers United V5}
\newcommand{\videopublishdate}{Spring 2025}
\newcommand{\videoduration}{$\sim$1h}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}

\ifdefempty{\videocoverpath}{
{\small 请在生成笔记时填入视频封面图的本地路径。\par}
}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{
\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par
}
\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

\section{引言：AI 的创造力愿景}

Karina Nguyen 目前就职于 OpenAI，此前曾在 Anthropic 工作，横跨产品与研究两个领域。本次讲座的核心主题是\textbf{强化学习如何成为产品与研究的协同设计工具}，以及 AI 实验室中前沿产品研究（Frontier Product Research）的方法论。

讲座以一系列令人振奋的 AI 应用场景开场，展示当前 AI 能力的广度：
\begin{itemize}
    \item \textbf{教育民主化}：ChatGPT 可以个性化地解释复杂概念（如高斯分布），并通过 Canvas 生成可视化代码
    \item \textbf{论文理解}：截图一篇论文的内容，模型可以在独立的 Canvas 窗口中逐步解释
    \item \textbf{个人工具创造}：任何人都可以让 AI 生成前端代码来构建个性化工具、游戏
    \item \textbf{创意增强}：图像生成模型让素描变为高质量图像，AI 成为创意伙伴
\end{itemize}

\begin{knowledgebox}{Karina 的核心信念}
AI 应当增强人类的创造力，而非取代它。每个人都可以利用 AI 工具成为创作者、艺术家或构建者，创造出之前不可能实现的东西。
\end{knowledgebox}

\section{两大扩展范式}

\subsection{下一个 Token 预测（预训练扩展）}

第一个范式是经典的\textbf{下一个 token 预测}——模型通过在海量文本上预测下一个 token 来学习世界知识。这种方式使模型成为一台``世界构建机器''，能够在大规模上理解世界。

但它也有局限性：如果模型在生成早期预测了一个错误的 token，整个叙述的连贯性可能会丢失——这在长文本写作中尤为突出。

\subsection{思维链上的强化学习（推理扩展）}

第二个范式是在\textbf{思维链}（Chain-of-Thought）上进行强化学习，这是 OpenAI 推理工作（o1/o3 系列）的核心。这种方法使模型能够处理更复杂的、需要多步推理的真实世界任务。

\begin{importantbox}{RL 扩展是独立的新范式}
RL 在思维链上的扩展是一个独立于预训练扩展的新范式。基于此训练的 Agent（如 Operator、Deep Research）能够执行之前不可能完成的真实世界任务。
\end{importantbox}

\subsection{本章小结}

预训练扩展为模型提供知识基础，RL 扩展为模型赋予推理和行动能力，两者共同推动 AI 从对话工具向行动工具的转变。

\section{前沿产品研究方法论}

\subsection{两种产品-研究路径}

Karina 基于在 Anthropic 和 OpenAI 的经验，总结了两种构建研究驱动型产品的路径：

\begin{enumerate}
    \item \textbf{为陌生能力创造熟悉的形态}：当模型具备用户不了解的新能力时，产品的任务是将其包装成用户熟悉的交互形式。
    \item \textbf{为熟悉需求创造新形态}：当用户有明确的需求但现有交互方式受限时，产品需要突破既有范式来满足需求。
\end{enumerate}

Canvas 就是第二种路径的典型案例——ChatGPT 最初是纯对话界面，但随着用户大量使用它进行代码生成和长文写作，对话形式变得过于局限，Canvas 应运而生，允许用户与 AI 进行更细粒度的协作。

\subsection{产品飞轮与研究飞轮}

\begin{importantbox}{产品驱动研究的飞轮效应}
产品发布 $\to$ 用户使用产生真实数据 $\to$ 数据揭示模型弱点 $\to$ 研究改进模型 $\to$ 更好的产品。这个飞轮使得产品和研究相互加速，而非独立发展。
\end{importantbox}

\subsection{本章小结}

前沿产品研究要求研究者同时理解模型能力和用户需求，在两者之间找到创新的结合点。

\section{后训练中的行为塑造}

\subsection{过度拒绝问题}

Karina 以 Claude 2.1 的\textbf{过度拒绝}（Over-refusal）问题为案例，详细讲解了后训练中的行为调试方法。Claude 2.1 会拒绝一些表面上听起来有害但实际上无害的请求（例如创意写作中的虚构犯罪场景）。

调试原则包括：
\begin{itemize}
    \item 模型应对用户请求做\textbf{善意解读}（Charitable Interpretation），而非假设最坏意图
    \item 使用\textbf{非暴力沟通}原则：用``我''陈述代替``你''判断
    \item 模型应明确自己的边界，并以同理心表达拒绝
\end{itemize}

\subsection{拒绝分类学}

为系统化解决过度拒绝问题，团队构建了一套拒绝分类体系：
\begin{itemize}
    \item 对无害提示的拒绝
    \item 创意写作中的拒绝
    \item 工具调用/函数调用中的错误拒绝（如模型声称``无法看到''用户上传的文件）
    \item 长文档附件的错误拒绝
    \item 对用户意图的误判性拒绝
\end{itemize}

\subsection{评估体系构建}

对于主观性强的行为改进，评估体系至关重要：
\begin{itemize}
    \item 从产品飞轮中收集真实的过度拒绝案例
    \item 合成生成处于``有害''与``有帮助''边界的测试提示
    \item 利用开源基准（如 XSTest、WildChat 等）
\end{itemize}

\begin{warningbox}{行为调试的复杂性}
模型行为的问题往往不是由单一数据源引起的。修复过度拒绝需要同时考虑数据清洗、SFT 数据、偏好数据和奖励模型等多个环节，类似于调试复杂软件系统。
\end{warningbox}

\subsection{本章小结}

后训练中的行为塑造需要精细的分类学、系统化的评估体系，以及对模型行为进行类似软件调试的方法论。

\section{RL 在真实世界任务中的应用}

\subsection{从学术任务到真实任务}

传统 RL 训练模型的任务（如数学、编程竞赛）正在向真实世界任务转变：
\begin{itemize}
    \item \textbf{Deep Research}：自主进行深度网络研究
    \item \textbf{Operator}：在真实网站上执行操作任务
    \item \textbf{Canvas}：与用户协作进行代码编写和文档编辑
\end{itemize}

这些产品的背后是 RL 在思维链上的扩展——模型学会了规划、搜索、纠错等高级认知能力。

\subsection{社会智能的缺失}

Karina 认为当前 AI 成为真正``协作伙伴''的最大瓶颈不是技术能力，而是\textbf{社会智能}：
\begin{itemize}
    \item 能否实时理解用户的意图和情感状态？
    \item 能否判断何时应该主动帮助、何时应该退让？
    \item 能否通过语音、手势等多模态通道进行自然交互？
\end{itemize}

\subsection{本章小结}

RL 正在从学术基准走向真实世界应用，而社会智能和多模态交互是下一个需要突破的前沿。

\section{总结与延伸}

本讲展现了一个从 OpenAI/Anthropic 一线研究者视角看到的全景：AI 产品与研究不再是独立的过程，而是通过 RL 紧密耦合的共同设计。核心洞见包括：

\begin{enumerate}
    \item \textbf{两大扩展范式}：预训练扩展提供知识，RL 扩展提供推理和行动能力。
    \item \textbf{产品即研究}：真实用户数据是改进模型行为最有价值的信号源。
    \item \textbf{行为塑造是工程}：后训练中的行为调优需要分类学、评估体系和系统化调试方法。
    \item \textbf{创造力是方向}：AI 的终极价值在于增强人类的创造力和想象力。
\end{enumerate}

\subsection{拓展阅读}
\begin{itemize}
    \item OpenAI, ``Learning to Reason with LLMs'' (o1 Blog Post), 2024
    \item Anthropic, ``Claude's Character'', 2024
    \item Karina Nguyen, ``Moral Progress'' (Substack Blog Post)
    \item Bai et al., ``Training a Helpful and Harmless Assistant with RLHF'', 2022
\end{itemize}

\end{document}
