\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}

\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}

\newcommand{\notetitle}{[CS25] Strategic Games (Diplomacy) — Noam Brown, Meta}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2023}
\newcommand{\videochannel}{Stanford CS25}
\newcommand{\videopublishdate}{2023}
\newcommand{\videoduration}{约55分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}
\centering
{\Large 课程笔记\par}\vspace{1.2cm}
{\huge\bfseries \notetitle\par}\vspace{0.8cm}
{\large \noteauthors\par}\vspace{0.3cm}
{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

\section{引言：从扑克到外交——不完美信息博弈}

Noam Brown 来自 Meta AI（FAIR），是 Libratus/Pluribus（扑克 AI）和 Cicero（外交游戏 AI）的核心研究者。本讲聚焦于\textbf{外交游戏（Diplomacy）}中 AI 面临的独特挑战。

\begin{knowledgebox}{外交游戏简介}
外交是一款 7 人策略棋盘游戏，设定在一战前的欧洲。每个玩家控制一个国家，核心特点：
\begin{itemize}
    \item \textbf{同时行动}：所有玩家同时提交行动，而非轮流
    \item \textbf{自然语言沟通}：玩家在每轮行动前可以自由交流、结盟、谈判
    \item \textbf{背叛是允许的}：承诺不具约束力，``破坏友谊的游戏''
    \item 核心技能：\textbf{在鼓励不信任的环境中建立信任}
\end{itemize}
\end{knowledgebox}

\section{搜索时计算（Test-Time Compute）}

\subsection{从快思考到慢思考}

\begin{importantbox}{搜索的价值}
Noam 首先回顾了在扑克 AI 中的关键发现：
\begin{itemize}
    \item 训练后的 bot 在困难局面下\textbf{瞬间}做出决策（查表）
    \item 人类在困难局面下会\textbf{花时间思考}（有时数分钟）
    \item 给 bot 加入\textbf{推理时搜索}（test-time compute）——在当前局面重新计算更好的策略——可以用极少的参数达到大参数模型的效果
\end{itemize}
这一发现预示了后来的``思考 token''和 o1 等方向。
\end{importantbox}

\subsection{本章小结}

搜索时计算是 AI 博弈中的关键技术，其思想已扩展到语言模型推理中。

\section{Cicero：外交游戏 AI}

\subsection{系统架构}

\begin{importantbox}{Cicero 的核心组件}
Cicero 由两个主要模块组成：
\begin{enumerate}
    \item \textbf{战略推理引擎}：预测所有玩家的行动，搜索最优策略（类似于扑克 AI 的均衡求解）
    \item \textbf{对话模型}：基于大语言模型的自然语言生成，用于与其他玩家沟通
\end{enumerate}
两个模块的协调是系统的关键——战略意图必须通过语言准确传达。
\end{importantbox}

\subsection{对话生成的挑战}

\begin{warningbox}{对话模型的``愚蠢''泄露}
一个有趣的技术难题：战略引擎会将\textbf{完整的己方计划}（包括对当前对话伙伴的敌对行动）输入对话模型。由于对话模型并不``理解''策略，它可能会\textbf{直接告诉对手你要攻击他}——这种``诚实得过分''的行为需要额外的过滤机制来防止。
\end{warningbox}

\subsection{实验结果}

Cicero 在 webDiplomacy.net 上与人类玩家匿名对战：
\begin{itemize}
    \item 在多局游戏中达到\textbf{前 10\%} 的表现水平
    \item 大部分人类玩家\textbf{未能识别}出 Cicero 是 AI
    \item Cicero 表现出了合作、谈判和适度欺骗的能力
\end{itemize}

\subsection{本章小结}

Cicero 是首个在需要自然语言沟通的多人策略游戏中达到人类水平的 AI 系统。

\section{更广泛的意义}

\subsection{从游戏到现实}

\begin{itemize}
    \item 外交游戏中的技能（谈判、信任建立、策略沟通）直接适用于商业、外交等现实场景
    \item \textbf{语言和推理的结合}是 AI 的下一个前沿——不仅要``说得好''，还要``想得深''
    \item 搜索时计算的思想正在从博弈领域扩展到通用语言模型推理
\end{itemize}

\subsection{本章小结}

外交游戏之所以重要，不是因为它接近真实世界，而是因为它逼迫 AI 同时处理策略、沟通和不完全信息。

\section{构建可沟通智能体的工程原则}

\subsection{战略状态与语言状态必须分离}

像 Cicero 这样的系统揭示了一个很少被讨论但非常关键的工程原则：\textbf{内部战略表示和对外语言表达不应完全混在一起}。前者追求对局面和收益的准确建模，后者则需要考虑合作关系、时机与社会规范。如果二者不分层，系统很容易出现``把私有意图直接说出去''或``语言承诺与行动不一致''的问题。

\begin{knowledgebox}{多智能体系统中的双轨表示}
今天很多 agent 系统也面临类似问题：规划器负责生成内部计划，执行器负责采取动作，对外接口负责与用户或其他 agent 沟通。把三者混成一个 prompt 虽然简单，但在复杂环境里往往不稳定、不可审计，也难以做权限控制。
\end{knowledgebox}

\subsection{需要可追踪的协商日志}

如果智能体会谈判、会承诺、会修改计划，那么系统就必须保留谈判历史、状态快照和约束检查。否则，开发者既无法分析失败原因，也无法判断模型究竟是在``合理改变计划''还是在``前后矛盾地迎合对话对象''。

\subsection{本章小结}

可沟通智能体的难点并不只是生成自然语言，而是让语言、计划和执行保持一致并可审计。

\section{从 Diplomacy 到 LLM 推理代理}

\subsection{test-time compute 的统一视角}

Noam Brown 的工作之所以对今天的 LLM 特别重要，是因为它把``思考时间''重新引入了 AI 系统设计。无论是博弈搜索、tree-of-thought、tool-augmented planning 还是 verifier-guided decoding，本质上都在做同一件事：用更多的推理时计算换取更高质量的行动。

\begin{importantbox}{推理代理的一条通用原则}
当环境复杂、错误代价高、一步做错很难补救时，最应该投入的资源不是再加一点训练数据，而是在\textbf{推理时}给系统更多搜索、验证和回溯空间。
\end{importantbox}

\subsection{不要误读``会说话''}

\begin{warningbox}{语言流畅不代表战略成熟}
Cicero 的成功容易让人误以为``只要语言模型足够强，社交推理自然会出现''。但实际上，系统之所以有效，是因为背后有明确的战略搜索与一致性约束。对现代 agent 也是一样：流畅的话术不能替代真正的规划能力。
\end{warningbox}

\subsection{本章小结}

从外交游戏到 LLM agent，核心延续的是``推理时搜索 + 受约束的沟通''，而不是单纯更会说话。

\section{总结与延伸}

Noam Brown 的工作展示了 AI 在\textbf{需要沟通的策略环境}中的能力。Cicero 结合了博弈论推理和语言模型生成，代表了从``纯棋盘 AI''（AlphaGo、Libratus）到``社交 AI''的重要一步。推理时搜索的思想更是对整个 AI 领域产生了深远影响。

\subsection{拓展阅读}
\begin{itemize}
    \item FAIR et al., ``Human-level play in the game of Diplomacy by combining language models with strategic reasoning,'' Science, 2022
    \item Brown \& Sandholm, ``Superhuman AI for heads-up no-limit poker: Libratus beats top professionals,'' Science, 2018
    \item Snell et al., ``Scaling LLM Test-Time Compute,'' 2024
\end{itemize}

\end{document}
