\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}

\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}

\newcommand{\notetitle}{[LLM Agents SP25] AlphaProof: RL Meets Formal Mathematics — Thomas Hubert}
\newcommand{\noteauthors}{基于 Thomas Hubert 授课内容整理}
\newcommand{\notedate}{2025年3月10日}
\newcommand{\videochannel}{Berkeley RDI}
\newcommand{\videopublishdate}{2025年3月7日}
\newcommand{\videoduration}{约60分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}
\centering
{\Large 课程笔记\par}\vspace{1.2cm}
{\huge\bfseries \notetitle\par}\vspace{0.8cm}
{\large \noteauthors\par}\vspace{0.3cm}
{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}
\tableofcontents
\newpage

\section{引言：从 AlphaGo 到 AlphaProof}
Thomas Hubert 把这场讲座定位在 Berkeley LLM Agents SP25 的“推理-执行”单元，他用 AlphaZero/AlphaTensor 把强化学习的黄金时代串联到 AlphaProof。Hubert 明确指出，数学推理所需的\textbf{严密性}、\textbf{证明性 feedback} 与\textbf{无限创造力}，与 RL 边界探索所需的\textbf{搜索}、\textbf{泛化} 和\textbf{可靠回报}，是高度同构的。这就解释了为何 DeepMind 会把数学放在“RL 下一个战场”。

\begin{knowledgebox}{数学与 RL 的共鸣}
数学是一张高维网络，节点是定理，边是逻辑链；RL 则在动作空间做探索。Hubert 强调：“只要你能把定理抽象成 action policy，理论就能交给优化器去学习。”
\end{knowledgebox}

讲座分三段：第一段回溯数学形式化的演进并梳理 Lean/Mathlib；第二段总结 AlphaZero 的飞轮以及 AlphaProof 如何与证明系统对接；第三段聚焦工程实践、IMO 复现与治理闭环。整堂课按“理论→平台→应用”的教学逻辑展开，每段都留出时间展示经验教训与问答。

\begin{figure}[H]
\centering
\includegraphics[width=0.8\textwidth,height=0.35\textheight,keepaspectratio]{\videocoverpath}
\caption{Lecture 05 封面与 AlphaProof 流程示意（封面提供主视觉/架构意象，强调 RL + 形式化的融合）。}
\end{figure}

Hubert 特别提到，这堂课是 SP25 的第 5 讲，紧接在“生成式 agents 与 reasoning”之后。他把 AlphaProof 视作“数学版的 agent”，需要把 deterministic reward 和 interactive governance 结合，才能让高可信的 proof search 成为可能。

\subsection{本章小结}
介绍部分负责搭建语境：数学与 RL 之间的结构性相似性、AlphaProof 的使命、以及整个 SP25 讲座在“推理链 + 工程实践”之间的节奏定位，为后续内容奠定因果路径。
\newpage

\section{数学形式化的历史与生态}

\subsection{从希腊到计算机：形式化的世代}
数学证明始于希腊，欧几里得开创公理化；Hilbert 将形式化写入语言。从符号化到计算时代，数学逐步借助自动化验证：Gentzen 的归纳证明、Curry-Howard 对应、Coq、Isabelle 逼近“人类可读+机器可验证”的交汇。
\begin{itemize}
    \item 500 BCE：希腊几何绘制 axiom-theorem 网络；
    \item 1900s：Hilbert 计划与形式公理体系；
    \item 1970s：Curry-Howard 让类型即证明；
    \item 2010s：Lean 与 Mathlib 拥抱开放协作，目标“人人都能 formalize”；
    \item 2020s：AlphaProof 将 RL 搜索引擎接入 Lean，以应对 IMO 级别命题。
\end{itemize}

Hubert 还强调，数学形式化并不是一条单向的历史，而是“多代 parallel 更新”：Mathlib 的每个 PR 都被 replay 在 RL 环境中，RL agent 反过来又将失败 trace 反馈给 Mathlib，而 governers 在 GitHub/CI 上形成可解释的讨论，这种交叉反馈推动新公理的采纳。

\subsection{Lean、Mathlib 与规范化}
\begin{importantbox}{Lean + Mathlib 的三大原则}
1）\textbf{可复现}：每次定理都有可编译的脚本；2）\textbf{统一}：同一概念只进一个库，避免定义碎片化；3）\textbf{开放}：Mathlib 通过 PR/CI 把贡献者变成治理节点。Hubert 强调：RL agent 既要读懂 Mathlib，也要对 CI 失败敏感。
\end{importantbox}

这些原则直接体现在 AlphaProof 的部署中：formalizer 与 Mathlib 的 PR/CI pipeline 对齐，每次 agent 生成新的 lemma 都要先过 nightly runner；当 CI failed 时，agent 自动降级 search policy，转而将 trace 分享给 human-in-the-loop 组。

Lean 为 AlphaProof 提供的语义元素：
\begin{enumerate}
    \item \textbf{环境 state}：当前定理、前提与 tactic 栈；
    \item \textbf{动作 catalog}：不同 tactic 构成 action space，可定制 BFS、MCTS、Heuristic；
    \item \textbf{反馈}：证明成功就是 +1，failure 会 trigger trace/log；
    \item \textbf{Observation}：Lean 会返回 proof term、goal 树、type 约束。
\end{enumerate}

\subsection{形式化生态中的协作机制}
Hubert 描述了 Lean 社区的协作闭环：Mathlib 维护者通过 PR/build pipeline 控制质量，AlphaProof 团队把“proof search logs + failed tactics”上传到 governance board，形成 RL trace 的输入。好几个 Lean expert 会打开 replay log 以 human-in-the-loop 方式修复 hallucination。

\begin{knowledgebox}{协作式形式化的关键节点}
1）Crowdsourced replay log：记录 agent 失败的 sequence；2）Fairness dashboard：验证 search 是否偏向某类策略；3）Human review loop：当 RL 触发 drift gate 时，expert 可 rollback knowledge base。
\end{knowledgebox}

\subsection{本章小结}
数学形式化的发展、Lean/Mathlib 的规范化原则与 community-driven 协作机制共同支撑 AlphaProof 的上下文，这一节解释了为什么把 RL 连接到 Lean 会带来“可验证的创造力”。
\newpage

\section{强化学习的成就与门槛}

\subsection{Zero 系列的哲学与方法}
Hubert 把 AlphaZero 的成功归结为两个核心：\textbf{search-integrated learning} 与 \textbf{reliable reward from simulation}。在游戏中，模拟环境提供了 perfect feedback，RL 不再依赖人类 label，而是靠 search 的 wins/losses 作为 ground truth。
\begin{knowledgebox}{Zero 哲学的三个支柱}
1）Self-play generating curriculum；2）Search results distilled into policy/value；3）Preference for small, reusable modules rather than monolithic black-box policies。
\end{knowledgebox}

他说：“Zero 系列的辉煌不是单个模型的成功，而是一种微调过的工程流程：每一次 self-play 都会产出 curriculum，policy/value 会被重构成 search-ready 的 heuristic module。”这种哲学直接影响 AlphaProof 的 policy distillation 期望。

\subsection{搜索-学习飞轮}
AlphaZero/AlphaTensor 构建了一个”探索→学习→优化“的飞轮。Hubert 特别指出：如果没有 strong search，就得不到 high-quality trajectories；如果没有 fast learning，就无法 internalize 新知识；如果没有 policy/value 的紧密结合，search 会陷入 thousand-node dead-end。
\begin{warningbox}{飞轮缺口与潜在失败}
1）Search 质量低：agent 无法发现强解，policy 更新 weak；2）带噪声 reward：学习阶段引入 hallucinated trajectories；3）Compute 受限：search depth 不够导致 learning 无 convergence。
\end{warningbox}

Hubert 把这个飞轮比作“在黑洞旁边开挖”：search 不能停留在浅层，否则 learning 永远没得 push；learning 也要及时 absorb search 发现的新 lemma，否则 search 继续重复旧路。AlphaProof 团队用 two-tier policy buffer 让 search-area 与 learning-rate 跟踪，避免出现 drift。

\subsection{探索、反馈与泛化}
AlphaZero 的 feedback 是 deterministic 的 win-rate；AlphaProof 必须面对“formal proof correctness”——即只要 Lean 证明不通过，feedback 就是 fail。Hubert 讲到：“在数学里，reward 要么+1，要么0，no gray area，这迫使 RL 发展 trace-aware regret minimization。” 搜索 vs heuristics 的对比：
\begin{table}[H]
\centering
\begin{tabular}{p{4cm}p{4cm}p{4cm}}
\toprule
维度 & Search-driven RL & Heuristic/Scripted \\
\midrule
反馈质量 & 完美验证，replay buffer 精度高 & 信号噪声高，容易 drift \\
泛化能力 & 通过 policy distillation 实现跨定理迁移 & 需要手工 engineering \\
可解释性 & 可以 replay trajectory，提供 proof term & 难以化简到可检查步骤 \\
\bottomrule
\end{tabular}
\caption{AlphaProof 的 RL 反馈与启发式方法对比}
\end{table}

\subsection{本章小结}
AlphaZero 成功的三个层面（search、feedback、learning）成为 AlphaProof 的起点；必须关注飞轮中的任何断裂、反馈信号的崩盘以及泛化的限制，才能确保 RL agent 在数学世界里稳定进步。
\newpage

\section{AlphaProof：RL 遇上形式化数学}

\subsection{Lean 作为理想的 RL 环境}
Lean 提供了完整的 state/action/reward/observation tuple。Hubert 演示了一个典型 episode：从 `goal` 抽象出 lemma graph → agent 选择 `apply`/`intro`/`rw` → Lean 尝试化简 goal → 成功或 fail。“我们最终把 Lean 输出当成 RL 环境的 simulator”，他如是说。
\begin{importantbox}{环境剖析}
1）Action space：分层 tactics（primitive tactic、combination tactic、search macro）；2）Observation：goal 树+local context+type info；3）Reward：二值；4）Reset：每次 new theorem 重新初始化 MCTS tree。
\end{importantbox}

\subsection{系统架构与训练 Pipeline}
AlphaProof 由多个网络组成：Formalizer 将自然语言/LaTeX 命题翻译成 Lean 断言；Proof Generator/Actor-critic 负责 search；Verifier 负责二次检查；Runner 记录 trace。
\begin{table}[H]
\centering
\begin{tabular}{p{4.5cm}p{4.5cm}p{4cm}}
\toprule
组件 & 责任 & 杂记 \\
\midrule
Formalizer & 结构化命题、生成 Lean declarations & 基于 seq-to-seq + retrieval \\
Proof Generator & RL + search 生成 tactic sequence & 蒙特卡洛/beam 结合 \\
Verifier & Lean 验证 proof term & 失败即触发 rollback \\
Runner & 记录 proof trace + metrics & 用于 governance gate \\
\bottomrule
\end{tabular}
\caption{AlphaProof 架构组件}
\end{table}
\begin{knowledgebox}{Pipeline 的治理点}
每个 component 都写入 governance log：Formalizer 的 semantic gap 比对、Proof Generator 的 entropy/confidence、Verifier 的 failure rate、Runner 的 chunk gating hit。Hubert 说：“只有把 trace 变成结构化 artifact，才能让 RL 不是黑箱。”
\end{knowledgebox}

训练时，AlphaProof 在多个 dataset 上交替训练：Mathlib core definitions、IMO contest statements、AlphaGeometry proofs。Hubert 强调，每个 dataset 都对应独立 replay buffer（“Lemma buffer”），并在 training schedule 上设置 warm start → search-intensive → human eval 3 个阶段，使得 policy 愈发稳健。

\subsection{实验、IMO 2024 与迭代}
AlphaProof 联合 AlphaGeometry 取得 IMO 2024 银牌，主要突破在于：1）构造了 large-scale formalization dataset；2）借助 replay buffer 在 proof search 中记录 failure trace；3）把 governance board 的 human review 结果当作 reward shaping。Hubert 特别展示了一个说明：当 agent 在 `prime` 定理上 fail 时，会把 trace 上传到 `AlphaProof Repos`，由 math expert 生成 corrected lemma，再 feed 回 policy。
\begin{warningbox}{IMO 级别的部署提醒}
1）要把 search depth、tactic mix、chunk gating 等参数切片化测试；2）在 proof 驻留时间超过 500ms 时要强制 log；3）不能只看 final success rate，还要 tally drift gate triggers。
\end{warningbox}

\subsection{本章小结}
AlphaProof 通过 Lean 提供的 deterministic reward、structured observation、rich action space，把 math proof search 变成可控的 RL pipeline，治理 log 与 human review 让失败也有用。
\newpage

\section{评测与失败模式}

\subsection{指标层级与治理}
\begin{table}[H]
\centering
\begin{tabular}{p{3.5cm}p{4cm}p{3.5cm}p{3cm}}
\toprule
指标 & 描述 & 采集频率 & 触发条件 \\
\midrule
Proof success rate & Lean 证明命题是否成功 & real-time per episode & success < 2\% → 放大 search \\
Entropy drift & Policy entropy drop & epoch & drop > 30\% → drift gate log \\
Chunk hit rate & Search track cache 命中率 & per batch & < 80\% → adjust overlap \\
Human edit count & 需人工干预的 trace 数量 & weekly & > 5/1000 → governance review \\
\bottomrule
\end{tabular}
\caption{AlphaProof 的多层评测指标与响应策略}
\end{table}

Hubert 提到 slides 17-19 展示了整个 metric dashboard：top 部分是 proof success/distribution、左侧是 entropy drift heatmap、右侧是 user feedback count。dashboard 直接与 governance board 的 alert pipeline 相连，一旦某条 track cross threshold，就自动把 replay log push 给 reviewer。

\begin{importantbox}{评测与治理的闭环}
1）多指标并行采集；2）当 proof success rate 低于 baseline 时，增加 search depth 并 log replay；3）Entropy drift 与 manual edits 共同决定是否需要 governance review。
\end{importantbox}

\subsection{失败模式剖析}
AlphaProof 记录的失败多集中在以下几个 pattern：A）semantic gap：formalizer translation 错误；B）search drift：policy 进入 low-entropy zone；C）Lean constraints：type mismatch 造成 goal tree 崩塌；D）compute budget exceed。Hubert 用 “failure funnel” 形象表示：大部分 failure 在 initial seeding 阶段被 filter，只有少数 drift via chunk gating 到 governance board。

\begin{warningbox}{常见失败提醒}
Semantic gap 需要回到 formalizer；drift gate 触发后先分析 entropy heatmap；类型错误要检查 Lean goal stack；budget exceed 时直接降到 low-latency track。
\end{warningbox}

\subsection{复现与稳健}
每个失败 trace 都写入 `failure-repro.json`，包括 time stamp、search track、entropy、human comment。团队会把这些 trace 上传到 experiment repo 生成 `failure curriculum`，让 RL agent 重新 warm start。这个过程由 governance board 监管，确保每条 failure log 都能变成 next training seed。

\begin{knowledgebox}{Failure curriculum 的要素}
1）Trace + entropy + comment 组成 entry；2）Entry 进入 Lemma buffer；3）Training schedule 将其作为 positive/negative sample；4）Result logged back to dashboard。
\end{knowledgebox}

\subsection{本章小结}
评测与失败模式层打通感知（指标）、诊断（failure taxonomy）与复现（failure curriculum），让 AlphaProof 在迭代中把失败变成可控的训练数据。
\newpage

\section{案例回放：Prime 定理的多策略搜索}

\subsection{问题拆解与语义化}
Hubert 把一个 prime 定理拆解成三个子 goal：1）从定义出发构造候选数；2）用 lemma 联结 prime 与 modulus；3）用 tactic 列出推理 steps。每个子 goal 都在 Lean 中形成独立的 goal tree，AlphaProof 会先在 Mathlib 中查找相似 lemma，再调用 policy 生成 tactic。

\begin{knowledgebox}{Prime 定理的语义纹理}
1）定义层：prime number 需要从 basic arithmetic 过渡到 advanced number theory；2）策略层：不同 lemma 如 \texttt{mod\_pow}、\texttt{order\_dvd} 分别用不同 tactic；3）治理层：每个 unsuccessful tactic 都写入 trace，供 human reviewer 复审。
\end{knowledgebox}

\subsection{策略组合与 Chunk gating}
在实际执行中，AlphaProof 同时维持三条 search track：heuristic-run （低成本），beam-run（高保真），MCTS-run（深度 polish）。chunk gating 表里记录了每条 track 的 token budget、overlap、entropy drift；当 heuristic-run 勾勒出可能解时，beam-run 会接手；若 drift 超过阈值则降级到 MCTS-run，确保 eventual proof 的正确性。

\begin{table}[H]
\centering
\begin{tabular}{p{3.5cm}p{3.5cm}p{5cm}}
\toprule
Track & Budget & 说明 \\
\midrule
Heuristic-run & 128 tokens & 快速探索，生成 proof sketch；当 heatmap 低于 0.4 后让 beam 接入 \\
Beam-run & 256 tokens & 保守扩展 top-k candidate，加入 lemmas \\
MCTS-run & 512 tokens & 深度 polish，triggered by drift gate \\
\bottomrule
\end{tabular}
\caption{Prime 定理 search track 与 gating}
\end{table}

\begin{warningbox}{实时调度的注意事项}
Chunk gating 不能只是 threshold table，还要根据 proof term 长度调整 budget；如果 drift gate 频繁触发，说明 Beam track parameter 过 aggressive。
\end{warningbox}

\subsection{本章小结}
Prime 定理案例展现了 multi-track search 与 chunk gating gate 的配合，让 RL policy 在数学定理上既能快速探索又不失准确性；Trace log 让 drift gate 遇到的失败成为治理的素材。
\newpage

\section{工程实践与控制}

\subsection{Proof Search 调度}
Hubert 介绍了一个调度器：Edges 具有不同 cost（Heuristic, Beam, MCTS），每次在 chunk gating 表中选择 search policy；Chunk gating 记录了 token count、Overlap 以及 proof term size。调度器根据 latency budget 选用“浅 search + high replay”或“深 MCTS + low replay”。
\begin{table}[H]
\centering
\begin{tabular}{p{4cm}p{4cm}p{4cm}}
\toprule
Search 类型 & 特征 & 适用场景 \\
\midrule
Heuristic tactics & 低 latency & 前期 exploration \\
Beam search & 保守选择 top-k & lemma discovery \\
MCTS + RL policy & 状态 value + policy & 最终 polish，适合定理级 \\
\bottomrule
\end{tabular}
\caption{Proof search 调度策略}
\end{table}
\begin{importantbox}{调度器的 KPI}
Latency budget、proof-term length、entropy drift 共同驱动 chunk gating gate；超过阈值就降级到 conservative search。
\end{importantbox}

\subsection{Trace 日志与验证}
每次 failed proof 都会录入 `trace.json`：包含 tactic sequence、Lean 提示、search depth。Hubert 强调 trace 里必须有 `human comment` 字段，使 governance team 能快速 triage。他还指出：Lean 验证失败后，RL 需要 replay alternate candidate 以避免 stuck。
\begin{warningbox}{Trace 日志的警示}
如果没有 replay (trail) 就不可能衡量 strategy drift；没有 trace 的 replay buffer 会让 policy 盲目训练 wrong proofs。
\end{warningbox}

\subsection{人机治理与重现}
治理团队会定期把 high-drift chunk 送到 human-in-the-loop board：reviewer 检查 trace/log、评估 fairness、在 newsletter 中更新 knowledge summary。这种做法让 AlphaProof 将每个失败当作复现实验的 seed。
\begin{knowledgebox}{治理要点}
1）High drift chunk 触发 alert；2）Reviewer 生成 corrected tactic；3）Policy replay + reward correction；4）Newsletter 里记录 QA 亮点。
\end{knowledgebox}

\subsection{本章小结}
工程部分强调 Proof search 调度、trace 记录与治理闭环：通过 chunk gating、trace + review、newsletter 三角形，把 RL agent 从未解释的 black box 变成可复现的研发生命线。
\newpage

\section{知识共享与未来迭代}

\subsection{知识流与复现}
AlphaProof 团队把 experiment log、failed proof trace、human comment、newsletter 实验记入单一 repo；每个 release 都附带 `diff`，用来 retrain policy。Hubert 指出：“我们需要把 QA 亮点、governance decision、正负例 proof 共享给新成员，这样 training loop 才能迭代得更快。”
\begin{importantbox}{知识共享机制}
1）Experiment repo，包含 chunk gating journal；2）Newsletter，每周记录 QA + governance highlight；3）Shared slides + transcript，也是新成员 ramp-up 的料。
\end{importantbox}

\subsection{问答亮点}
QA 环节被用来说明是否能将 AlphaProof 扩展到 non-Euclidean geometry 以及 ~hypergraph theorem。Hubert 回答时强调要把 RL policy 设计为 modular，每次只调 search depth 或 tactic mix，就可以逐步扩展到更抽象证明。
\begin{warningbox}{问答中的谨慎点}
不要盲目用 AlphaProof 解决所有问题；在 low-resource 语言或 novel math branch 里，policy 需要重新 warm start，并配合 chunk gating 与 fairness board。
\end{warningbox}

\subsection{本章小结}
知识共享段落展示了 log/newsletter/transcript 如何形成复现网络，以及通过 QA 环节暴露的扩展挑战，进一步说明 iteration 的边界与治理需求。
\newpage

\section{系统启示与未来治理}

\subsection{系统启示板}
Hubert 把 AlphaProof 的设计称为“三层可解释架构”：1）Formalizer/Proof Generator/Verifier 组成 deterministic pipeline；2）Trace/log + dashboard 构成 observability layer；3）Governance review + newsletter 则是 human-in-the-loop layer。AlphaProof 的体验告诉我们：复杂 agent 必须把 pipeline、metric、治理明确分层，才能在 math 这样没灰度的领域安全部署。

\begin{table}[H]
\centering
\begin{tabular}{p{3cm}p{4cm}p{5cm}}
\toprule
层级 & 关注点 & 做法 \\
\midrule
Pipeline & correctness + modularity & Formalizer/Proof Generator/Verifier + Runner 构成 steeped pipeline \\
Observability & metrics & Dashboard + chunk gating + trace log \\
Governance & trust & human review + newsletter + failure curriculum \\
\bottomrule
\end{tabular}
\caption{AlphaProof 的系统启示三层}
\end{table}

\begin{knowledgebox}{系统启示精髓}
把 system design 视为 pipeline + observability + governance 三层架构，可以确保最高敏感的数学推理任务在未知场景也维持可解释与可控。
\end{knowledgebox}

\subsection{未来治理方向}
Hubert 提出“differentiated governance”思路：对不同 search track 设立不同 drift threshold，并把 governance decision 写入 newsletter/backlog。比如 beam search 漏洞由 governance reviewer 直接 patch 相关 policy，而 heuristic track 则由 RL agent 自主重试。他强调：治理不是 judge，而是 feedback policy。

\begin{warningbox}{治理不要简单封杀}
当 governance alert 触发，不是直接 disable agent，而是把 human comment 写回 failure curriculum、提高 reward shaping，再恢复 search；否则会让 system 变成 fragile checkbox。
\end{warningbox}

\subsection{本章小结}
系统启示总结出三层架构，未来治理则通过 differential threshold + feedback loop 让数学 agent 继续拓展边界；这些思考也能反哺其他需要高度可解释的 RL 系统。
\newpage

\section{总结与延伸}
\begin{table}[H]
\centering
\begin{tabular}{p{4cm}p{6cm}p{5cm}}
\toprule
模块 & 关键收获 & 下一步行动 \\
\midrule
数学形式化 & Lean/Mathlib 提供 deterministic environment 以及可协作治理 & 把 Mathlib PR/gen replay log 纳入 experiment pipeline \\
强化学习 & AlphaZero 的 search-feedback-learning 飞轮是 AlphaProof 的设计基座 & 继续强化 search-policy distillation 与 entropy gate \\
AlphaProof 架构 & Formalizer + search + verifier + runner 形成可控 pipeline & 增强 chunk gating 触发机制，丰富 trace artifact \\
评测与失败 & 多层指标与 failure curriculum 让 failure 变成训练数据 & 扩充 dashboard 指标集合并自动触发 failure curriculum \\
工程实践 & Proof search scheduling + trace logging + governance closing loop & 设定 drift threshold，并把每次 alert 视作 retraining seed \\
知识共享 & log/newsletter/transcript 构成复现 network & 让 newsletter 成为 QA + governance highlight 的 archival record \\
系统启示 & Pipeline/observability/governance 三层架构构成信任基础 & 把 differential governance policy 写入 newsletter \& automation \\
\bottomrule
\end{tabular}
\caption{Lecture 05 的技术模块与行动计划}
\end{table}

\subsection{拓展阅读}
\begin{itemize}
    \item Hubert et al., ``AlphaProof: RL Meets Formal Mathematics,'' 2024。
    \item Lean 官方文档与 Mathlib README（GitHub）。
    \item AlphaZero / AlphaTensor 相关论文。
    \item IMO 2024 silver proofs 公开 archive。
    \item Terence Tao 关于形式化协作的博客。
    \item “Governance for autonomous agents”的 workshop notes。
\end{itemize}

\subsection{关键词速记}
\begin{itemize}
    \item Chunk gating：proof search 中的 token/overlap/latency 策略选择器。
    \item Drift gate：entropy 下降触发 fallback + review。
    \item Trace log：每次 failed proof 的 tactic sequence + human comment。
    \item Knowledge pipeline：log + newsletter + transcript 三角形。
\end{itemize}
\begin{knowledgebox}{关键词速记的作用}
用统一术语帮助新成员快速上手 AlphaProof 的 operational playbook，并配合 governance board 形成反馈闭环。
\end{knowledgebox}

\subsection{本章小结}
AlphaProof 是一个把数学形式化、强化学习与可治理工程实践编织在一起的系统：Lean 提供 sandbox，RL 提供 search-policy 飞轮，治理提供 trace/alert/knowledge，而 newsletter 则让整个团队保持同步。

\end{document}
