\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{
    enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm},
    boxrule=1pt, sharp corners
}
\newtcolorbox{importantbox}[1]{
    enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black,
    coltitle=black, fonttitle=\bfseries, title=#1, sharp corners
}
\newtcolorbox{warningbox}[1]{
    enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black,
    coltitle=white, fonttitle=\bfseries, title=#1, sharp corners
}

\lstset{
    language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue},
    stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black},
    breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray},
    captionpos=b, extendedchars=false
}

\newcommand{\notetitle}{[CS25] Retrieval Augmented Language Models --- Douwe Kiela}
\newcommand{\noteauthors}{Douwe Kiela 讲座整理}
\newcommand{\notedate}{2026年4月3日}
\newcommand{\videochannel}{Stanford CS25: Transformers United}
\newcommand{\videopublishdate}{2023}
\newcommand{\videoduration}{约60分钟}
\newcommand{\videourl}{https://www.youtube.com/watch?v=mE7IDf2SmJg}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}

\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}

\begin{titlepage}
\centering
{\Large 课程笔记\par}
\vspace{1.2cm}
{\huge\bfseries \notetitle\par}
\vspace{0.8cm}
{\large \noteauthors\par}
\vspace{0.3cm}
{\large \notedate\par}
\vspace{1.2cm}

\ifdefempty{\videocoverpath}{
{\small 请在生成笔记时填入视频封面图的本地路径。\par}
}{
\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par
}

\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

%% --- 正文内容开始 --- %%

\section{引言：检索增强的系统视角}

\subsection{讲者与演讲脉络}

Douwe Kiela 登台时直接说 ``Retrieval augmentation is one of the topics right now in our field''（00:01:28），并在 00:01:55 用 ``If you thought OpenAI, I'm angry with you'' 强调语言模型的历史根基。1991 年的 neural language model 已经提出了分解概率的思路，今天的大模型不过是 ``old idea + scale''。讲者借此把检索增强框定为工程上的可追溯性和治理能力。

\begin{knowledgebox}{语言模型的历史根基}
早期 work 已经涵盖概率分解、词嵌入与神经结构。把当下 LLM 视为 ``old idea + scale''，有助于把关注点从品牌转到 traceability 和 instrumentation。
\end{knowledgebox}

\subsection{讲座结构与期待}

整场讲座按照三条主线展开：先讨论为什么必须引入检索，再拆解堆栈与模型，然后落地观测与治理。00:05:00 以后反复出现 ``retrieval pipeline''、``cache''、``hallucination''，表明讲者意在构建 retrieval + generation 的闭环。

\begin{importantbox}{事实性 vs 创造性}
要让对话既有 imagination 又有 accuracy，必须把检索过程显式写入 pipeline：知识线（检索、增强、证据）负责 truth，生成线负责 fluency，这种平衡是 Contextual AI 的核心。
\end{importantbox}

\subsection{本章小结}

本章通过历史与结构勾勒出检索增强的系统视角，为后续工程、治理与评估奠定基础。

\section{为什么需要检索增强}

\subsection{LLM 的记忆边界}

Kiela 反复强调参数化模型的 ``aging'': facts bake 进 weights 之后无法快速更新，只能通过 retrain；这就导致 facts 发生变化时模型依赖 hallucination。讲者指出 truths 需要通过外部知识库立刻引入，retrieval 是唯一 viable 的机制。

\begin{importantbox}{参数化记忆 vs 非参数化记忆}
\begin{enumerate}
\item \textbf{知识过时}：训练截止内容无法修改
\item \textbf{幻觉失控}：无证据时模型会强势输出
\item \textbf{审计缺失}：参数没有 provenance
\end{enumerate}
检索增强把外部 knowledge base 视为 `non-parametric cache'，在 inference 时补全参数化 memory 的盲区。
\end{importantbox}

\subsection{RAG 工作流与知识保障}

\begin{table}[H]
\centering
\caption{RAG 工作流拆解}
\begin{tabular}{p{0.25\textwidth} p{0.35\textwidth} p{0.35\textwidth}}
\toprule
阶段 & 核心任务 & 输出 \\
\midrule
检索 & BM25 / dense / vector search & top-k 文档 + score + source ID \\
增强 & 拼接文档、附上 citation metadata & 强化 prompt（含 evidence tokens） \\
生成 & LLM 基于 evidence 生成 & 高置信回答 + 引用 \\
\bottomrule
\end{tabular}
\end{table}

\begin{knowledgebox}{可审计的 RAG Pipeline}
每个阶段都需记录 timestamp 与 hash：检索记录 score 与来源，增强记录文档顺序，生成记录最终 citation。hallucination 发生时可以精准回溯是哪一层 misaligned。
\end{knowledgebox}

\subsection{本章小结}

检索增强的存在直接源于 LLM 的记忆瓶颈，RAG 三步让整条链路都具备 traceable knowledge control。

\section{检索堆栈}

\subsection{稀疏与密集检索}

Kiela 回顾 BM25 与 DPR：前者在记忆关键词之余 latency 可控，后者抓住语义。多数团队采用 `BM25 upstream + dense rerank` 的混合架构：稀疏检索提供 candidate pool，密集 reranker 提升 precision。

\begin{knowledgebox}{稀疏与密集的互补}
稀疏检索提供 recall，密集检索提供 semantic alignment。pipeline 中把 BM25 做 candidate，再交给 DPR reranker，1~2ms 内即可交付高质量文档。
\end{knowledgebox}

\subsection{向量索引与 reranker}

FAISS / ScaNN / Milvus 等解决大规模向量索引问题。Kiela 特别强调 index maintenance：一旦 encoder 更新就要 rebuild，否则会出现 `index drift`。candidate pool 之后用 cross-encoder reranker + contextual rerank prompt 可校正 raw dot-product 的无序性。

\begin{warningbox}{向量更新带来的 drift}
若 encoder 升级后忘记 rebuild index，新旧 embeddings distribution mismatch，就会让 reranker 逐渐选出 semantically unrelated 文档，hallucination 频出。
\end{warningbox}

\subsection{本章小结}

检索堆栈是 `BM25 + dense + rerank` 的交响，需要 index maintenance 与 drift monitoring，才能兼顾 recall 与 precision。

\section{运行蓝图与日志}

\subsection{检索与生成流水线}

Kiela 把 retrieval + generation 看作一条流水线：query 经过 embedding、检索、重排、增强、生成五个阶段。每个阶段都需要 instrumentation 层层打点，比如 embedding stage 的 norm drift，retrieval stage 的 top-k entropy，增强 stage 的 concatenation order。

\begin{table}[H]
\centering
\caption{流水线层级与 observability checkpoint}
\begin{tabular}{p{0.22\textwidth} p{0.35\textwidth} p{0.35\textwidth}}
\toprule
阶段 & 关注点 & 数据记录 \\
\midrule
Embedding & query/key norm drift & mean norm, variance trend \\
Retrieval & top-k score distribution & logits, entropy, top-k churn \\
Enhance & document order & concat sequence + metadata tags \\
Generate & final tokens & citation IDs, confidence \\
\bottomrule
\end{tabular}
\end{table}

\begin{knowledgebox}{流水线可观测性}
把每个阶段打点写入同一个 dashboard，可以在 entropy drift 发生前 5~10 checkpoint 发现 `radius collapse`，便于快照 reroute。
\end{knowledgebox}

\subsection{日志 pipeline 与 incident runbook}

Contextual AI 把 instrumentation 写入 runbook：每个 retrieval incident 都记录 timestamp、top-k churn、entropy drop magnitude 和 reroute action。incident log 需要记录 `evidence ID + dump` 以便 future QA。

\begin{importantbox}{incident runbook 模板}
1) 记录 incident 时间与 source；2) 写入 entropy/top-k/logits；3) 追踪 evidence ID；4) 触发 reroute 或 temperature raise 并写入 action note。
\end{importantbox}

\subsection{本章小结}

运行蓝图与日志让 retrieval pipeline 成为可监控的流水线，incident runbook 提供可复现的处理步骤。

\section{端到端检索增强模型}

\subsection{REALM 与预训练}

REALM 在 pre-training 阶段把 retrieval 直接并入 MLM：每次掩码预测都检索 documents，让 generator 训练时就习惯 evidence。Kiela 指出这种 joint training 有强 gradient，但每次 update 需要重新 encode 整个 corpus，cost 显著。

\begin{knowledgebox}{REALM 的可观测性}
REALM 中 retrieval loss 与 generator loss 联动，必须同步监控 retrieval accuracy 与 MLM perplexity，才能判断 gradient 来自 retriever 或 generator。
\end{knowledgebox}

\subsection{RAG 变体：Sequence / Token / Hybrid}

Lewis 等人提出 Sequence 与 Token 两种变体：Sequence 每轮检索一次，Token 每 token 重检。Kiela 在 00:10:05 强调 Token 比较适用于法律 / 医疗任务，但 cost 极高。Hybrid 通过 cache + token fallback 提供折中。

\begin{table}[H]
\centering
\caption{RAG 变体对比}
\begin{tabular}{p{0.25\textwidth} p{0.25\textwidth} p{0.25\textwidth} p{0.2\textwidth}}
\toprule
变体 & 检索频率 & 生成一致性 & 推理成本 \\
\midrule
Sequence & 每轮一次 & 高 & 低 \\
Token & 每 token & 最高 & 极高 \\
Hybrid & Token + cache & 接近 token & 可控 \\
\bottomrule
\end{tabular}
\end{table}

\begin{importantbox}{变体选择指南}
需要在成本与 facts 之间 balance？Sequence + cache 是 default，当 confidence 低时再触发 token reroute；高风险任务（法律/医疗）可直接选择 Token 或 Hybrid despite cost。
\end{importantbox}

\subsection{Atlas 与 FiD 案例}

Atlas 证明 11B 带检索模型可以击败 540B PaLM，说明检索是部分替代 scale 的路径；FiD 则把每个文档独立 encode，再在 decoder 中 fuse，能够处理数百段的 evidence。

\begin{warningbox}{FiD 的成本陷阱}
FiD 在 decoder 中融合数十个 snippet，推理显存与 latency 都翻倍。工业实践通常使用 `document filtering + short-circuit rerank` 来控制规模。
\end{warningbox}

\subsection{本章小结}

端到端检索增强模型在 pre-training 与 inference 间都要兼顾 cost、gradient 与 instrumentation，变体提供不同 tradeoff。

\section{训练与治理}

\subsection{训练阶段的 observability checklist}

Kiela 建议训练时记录 `retrieval entropy`、`top-k diversity`、`cache hit ratio`，并用 `synthetic query batches` 验证 search failure。dashboard 还应统计 `gate dropout logging` 与 entropy drift。

\begin{knowledgebox}{训练 observability 三层}
Signal layer：retrieval logits/entropy；Aggregation layer：按 retriever/reranker 汇总；Control layer：temperature/mix ratio 自动调节 retrieval weight。
\end{knowledgebox}

\subsection{QA 与真相治理}

Contextual AI 的 `truth path` 把检索与生成写入 runbook：调整 temperature 时记录 KL divergence；top-k churn 触发 reroute experiment；每次上线前用 evidence recall 工具校验输出。

\begin{importantbox}{治理流程}
1) 记录 temperature spike + KL divergence；2) 检查 top-k churn 与 evidence overlap；3) 触发 reroute + human-in-the-loop audit；4) 存档 incident log 以便 future drift 复盘。
\end{importantbox}

\subsection{本章小结}

训练与治理结合 instrumentation 与 runbook，让检索增强在 production 中可追踪、可重复。

\section{Benchmark 与运营指标}

\subsection{关键指标与报警}

Kiela 把 entropy drift、top-k churn 与 retrieval lag 视为最重要的 operational signals，它们直接映射到 `temperature`、`cache freshness`、`reroute` 控制杠。entropy drift 一旦下降 10\%，说明 attention 变得过尖，这时必须 raise temperature 或 reroute low-capacity experts。

\begin{table}[H]
\centering
\caption{Benchmark 指标与工程行动}
\begin{tabular}{p{0.25\textwidth} p{0.35\textwidth} p{0.35\textwidth}}
\toprule
指标 & 解释 & 工程行动 \\
\midrule
Entropy drift & softmax entropy 降幅 & raise temperature / increase dropout \\
Top-k churn & top-k tokens 的 churn rate & inspect retrieval quality and reroute experiment \\
Retrieval lag & latency 上升 & prewarm cache / rerank threshold \\
\bottomrule
\end{tabular}
\end{table}

\begin{knowledgebox}{Benchmark 到运营的桥梁}
把 benchmark 指标映射成 production alerts：entropy drift → temperature schedule 变更，top-k churn → reroute experiment，retrieval lag → caching action。
\end{knowledgebox}

\subsection{对比与复盘}

Contextual AI 会把 benchmark logs 与 incident log 串联进行复盘：每次 reroute 后检查 entropy、top-k、retrieval lag 是否同步恢复，避免 repeated drift。

\begin{importantbox}{复盘矩阵}
将 incident 按 temperature、entropy、top-k、latency 四个维度矩阵化，能快速定位是 retrieval failure 还是 generation drift。
\end{importantbox}

\subsection{本章小结}

Benchmark 观测指标是把实验室的几何 intuition 转到生产的关卡，通过 table 与 incident matrix 实现即时报警与复盘。

\section{部署与推理}

\subsection{推理成本与延迟 trade-off}

Contextual AI 的 production pipeline 把 generator flops、retrieval latency、rerank cost 与 IO overhead 一起纳入 `latency budget`，并以 entropy drift 作为 pre-alarm：entropy precipitously drop 意味 attention 太尖锐，需要 raise temperature，否则 downstream hallucination 会爆发。

\begin{table}[H]
\centering
\caption{推理阶段成本权衡}
\begin{tabular}{p{0.25\textwidth} p{0.35\textwidth} p{0.35\textwidth}}
\toprule
策略 & 影响 & 监控指标 \\
\midrule
低 temperature & attention 更尖锐 & entropy drop, top-k hit ↑ \\
高 temperature & overlap 更大 & latency + GPU usage ↑ \\
Dynamic reroute & reroute low-capacity experts & latency spikes + reroute frequency \\
\bottomrule
\end{tabular}
\end{table}

\begin{importantbox}{推理阶段的 trade-off}
在 inference 中监控 entropy 变化比 loss 更快，可以在 entropy slide 触发 reroute 或 temperature raise，避免 degradation；同时把 latency budget 与 evidence quality 绑在一起，才是真正的 cost control。
\end{importantbox}

\subsection{多轮交互与缓存治理}

多轮 prompt 重复时可以 rely on cache hits；Kiela 认为 cache invalidation policy 是 production 中最棘手的部分，很多 team 把 `cache age` 作为 slow alarm，超过阈值就 refresh retriever。

\begin{warningbox}{缓存 drift}
缓存节省 latency 但过期文档会把 stale knowledge ``烤入''回答，务必持续监控 cache freshness 和 reroute frequency。
\end{warningbox}

\subsection{本章小结}

部署层把 retrieval latency、temperature、cache age 与 reroute event 一起观察，把 inference cost 看作 retrieval + generation 的组合，有 evidence 才算胜利。

\section{时间线与字幕侧写}

\subsection{关键时间节点}

讲义在 00:00--04:00 重新界定语言模型历史，00:05:00--12:00 介绍 retrieval pipeline 与 geometric viewpoint，12:00--25:00 讲述 instrumentation 与 governance，25:00+ 进入 QA/playbook。把时间戳写在笔记里，能让 reviewer 快速定位视频片段。

\begin{table}[H]
\centering
\caption{时间线与工程关注点}
\begin{tabular}{p{0.25\textwidth} p{0.35\textwidth} p{0.35\textwidth}}
\toprule
时间戳 & 内容 & 工程提醒 \\
\midrule
00:00--04:00 & 语言模型的历史与事实化动机 & 建立 `knowledge control` mindset \\
04:00--12:00 & 检索堆栈与 retrieval pipeline & 确保 BM25 + dense recall/precision \\
12:00--25:00 & instrumentation 与 control loop & 记录 entropy drift + reroute action \\
25:00--30:00 & QA/runbook 演练 & 运行 synthetic batch 与 incident log \\
\bottomrule
\end{tabular}
\end{table}

\begin{knowledgebox}{字幕同步的价值}
把关键 timecode 添加入笔记，可以在缺乏 slides 时仍然回溯每段提到的 `geometry`、`control loop`、`QA` 细节，增强业务 review 的效率。
\end{knowledgebox}

\subsection{本章小结}

时间线与字幕侧写把视频里的逻辑墙化为结构化工程 checkpoints，便于 QA 和审查团队快速追溯事件。

\section{字幕节选与重点 quotes}

\subsection{00:00--04:00：设定历史视角}

开场 00:00--04:00 重申 ``language models 是 old idea''，Kiela 把观众拉回 1991 年的 neural learner，强调 ``parameters cannot be updated fast enough''。这一段的工程提醒是：建立 `knowledge control` mindset，避免把模型当 black box。

\begin{importantbox}{起点的工程声明}
即便现有 LLM 强大，讲者提醒我们它们基于 old ideas，因此必须搭配 `non-parametric cache` 才能继续保持 facts。
\end{importantbox}

\subsection{04:00--12:00：retrieval pipeline 与 geometry}

这一阶段聚焦 retrieval stack，将 attention 视为 retriever + generator 流水线，强调 BM25 + dense combination，并用 geometry 解释 why softmax approximates high-dimensional overlap。

\begin{knowledgebox}{字幕提醒}
字幕提到 ``retrieval pipeline'', ``cache'', ``hallucination'' 等关键词，强化了 softmax 与 SDM geometry 之间的联系，提醒我们把 instrumentation 拆解为 pipeline 各阶段。
\end{knowledgebox}

\subsection{12:00--25:00：观测与治理}

从 12:00 开始的段落围绕 instrumentation 与 control loop，讲述 temperature annealing、gate dropout 与 entropy drift 的 3-layer stack，以及 evidence-driven runbook 的演练步骤。

\begin{warningbox}{不要只盯着 loss}
字幕中 `attention drift`、`top-k churn` 的频繁出现提醒我们：只看 loss 无法察觉 entropy collapse，必须在 dashboard 中同时监控 entropy 与 retrieval metrics。
\end{warningbox}

\subsection{25:00--尾声：QA 与 runbook}

末尾 25:00+ 进入 QA 与 runbook demo，包括 synthetic batch 验证、temperature spike 实验与 gate dropout logging，体现 production-ready 的治理节奏。

\subsection{本章小结}

\label{sec:subtitle}
字幕节选强化了每个时间段的工程意图：设定事实性 mindset →structuring retrieval pipeline →observability \& governance →QA/runbook。

\section{案例研究与工业实践}

\subsection{Contextual AI 的落地}

Kiela 在 00:25:35 提到的 `control loop` 包括 temperature annealing、load balancing loss、expert dropout 与 gradient clipping。搭配 instrumentation dashboard（entropy、top-k、retrieval lag），形成 `truth path`，对外宣称 evidence recall 率 > 90\%。

\begin{knowledgebox}{Evidence-driven control loop}
让 entropy drift、top-k churn 与 retrieval lag 触发 alarm，可提前 5~10 个 checkpoint 发起 reroute experiment，从而避免 downstream hallucination。
\end{knowledgebox}

\subsection{观测与运行手册}

Kiela 分享的 runbook 包含三步演练：1) synthetic query batch + entropy logging；2) temperature spike experiment + load balancing loss；3) gate dropout logging + gradient replay。每次 incident 记录 timestamp 与 evidence ID，方便 future drift analysis。

\begin{importantbox}{RAG Runbook 三步}
1) Run synthetic batch logging entropy/top-k；2) Simulate temperature spike and observe load balancing loss；3) Log gate dropout + gradient change。只有把这三步写进 runbook，才能把课堂 insight 迁移到 production。
\end{importantbox}

\subsection{本章小结}

案例研究表明：RAG 不只是模型结构，而是一整套 observability + governance 文化，retrieval metrics 与 generation metrics 被绑在同一个 incident log。

\section{Implementation Q\&A}

\subsection{Temperature scheduling}

Kiela 在 00:13:10 提到 `temperature annealing gives us control over overlap`：前 10k steps 线性降温，然后根据 entropy 低于 0.4 nat 时 raise temperature 0.05。记录 temperature-entropy pairing 使每次复现都可追踪。

\begin{importantbox}{可重复的 schedule}
记录每次 temperature change 与 corresponding entropy、loss 组合，避免随意的 heuristic tweak。
\end{importantbox}

\subsection{监控 cerebellum wiring 与 gate dropout}

00:25:45 提到 ``cerebellum is old, widely conserved''，工程上把 Purkinje cell activity 映射 gate dropout，记录 dropout ratio + gate smoothing + frequency 是关键 instrumentation 变量。

\begin{knowledgebox}{Gate dropout instrumentation}
把 gate dropout ratio、gate smoothing frequency 与 downstream loss 写到 dashboard，可以快速判断是 hardware failure 还是 attention collapse。
\end{knowledgebox}

\subsection{多模态 drift 探测}

在视觉 token 上监控 top-k churn，若 patch entropy 呈 microp plateau 就触发 reroute；这个 policy 也可扩展到 non-language tokens。

\begin{warningbox}{跨模态 drift 的特异性}
视觉 token norm 分布更不稳定，容易比语言 token 提前突破 entropy threshold，需要在 dashboard 中嵌入 modality-specific alarms。
\end{warningbox}

\subsection{本章小结}

Implementation Q\&A 把讲座问答转化为 three concrete checkpoints：temperature schedule、gate dropout instrumentation、cross-modal drift alarms。

\section{治理演练与复盘}

\subsection{Synthetic query 演练}

Contextual AI 的 runbook 要求每次 temperature change 前执行 synthetic query batch，记录 top-k entropy 与 softmax entropy，并对比 drift 前后的 gate dropout ratio。

\begin{itemize}
\item 生成 synthetic query（含 low-resource token）
\item 运行 current config，记录 top-k churn 与 entropy
\item 比对 previous checkpoint，若 entropy drop > 0.1 nat 就 raise temperature
\item 写入 incident log，标注 evidence ID
\end{itemize}

\begin{knowledgebox}{Synthetic query 的作用}
通过 controlled queries 模拟 drift，可以在实际 production 发生前把 gate collapse 逼出来，并把 evidence log 写入 dashboard。
\end{knowledgebox}

\subsection{Incident review 表格}

\begin{table}[H]
\centering
\caption{Incident 决策回顾}
\begin{tabular}{p{0.3\textwidth} p{0.35\textwidth} p{0.35\textwidth}}
\toprule
事件 & 触发条件 & 复盘行动 \\
\midrule
Entropy drop & entropy < 0.4 & raise temperature + reroute \\
Top-k churn spike & top-k 变动 > 20\% & inspect retriever + rerank policy \\
Cache age 超阈值 & cache age > 30 min & refresh reranker + log \\
\bottomrule
\end{tabular}
\end{table}

\begin{warningbox}{复盘的重点}
复盘要同时考虑 entropy/top-k/cache age，避免只 focus 在 loss 曲线上，幕后的 drift 可能早就已出现。
\end{warningbox}

\subsection{本章小结}

治理演练把模型的理论假设转成可执行的 incident log，复盘表格提供 structured 回顾，避免重复犯错。

\section{跨语言与地域化治理}

\subsection{多语言 keyframes}

讲者在 00:01:48 用 poll 引出 ``谁发明了语言模型''，提醒我们语言模型有 deep roots。面对 multilingual scenario，retrieval pipeline 需要维护 language-specific index（各语言 BM25 + dense）以及 language-aware reranker。

\begin{importantbox}{语言特定 instrumentation}
为每种语言保留 entropy drift、top-k churn 记录，可以在 multi-lingual deployment 中快速定位哪个语言发生 drift，避免 global thresholds 覆盖 minority language。
\end{importantbox}

\subsection{地域化知识库治理}

Contextual AI 对 enterprise client 会用 `energy \& policy compliance` 语料，不同地区对 evidence 有不同合规要求；需要把 evidence ID 与 region tag 一起写 log。

\begin{knowledgebox}{地域化 evidence log}
在 incident log 中加入 region tag 与 compliance tag，可以快速回答 ``这个 output 有无满足当地 policy''。
\end{knowledgebox}

\subsection{本章小结}

跨语言与地域化治理要求我们把 instrumentation 拆成 language-specific、region-specific 的两层，才能让 enterprise deployment 具备可信度与合规性。

\section{附录：字幕原文摘要}

\subsection{00:00--04:00：历史与事实锚点}

字幕中的 ``language models are old idea'' 和 ``parameters cannot be updated fast enough'' 强调 facts 必须靠检索和 evidence。我们在笔记中提到的 `knowledge control`，正来源于这一段话。

\begin{quote}
``If you thought OpenAI, I'm angry with you'' —提醒我们 language models 不是 recent hype，而是 decades-old idea。
\end{quote}

\subsection{04:00--12:00：retrieval pipeline details}

字幕反复提到 ``retrieval pipeline'' 与 ``cache''，强调 pipeline 的每个 stage 需要 instrumentation。我们把 `embedding norm`、`top-k entropy` 等 log 写入 same dashboard，就是为了响应这一段的提醒。

\begin{knowledgebox}{字幕直接引用}
``retrieval pipeline'', ``cache'', ``hallucination'' 均出现在 04:00--12:00，说明这一阶段是设计 instrumentation 的窗口。
\end{knowledgebox}

\subsection{12:00--25:00：control loop}

字幕里 ``temperature annealing gives us control over overlap''、``attention drift'' 都指向 `entropy` 与 `reroute` 的控制回路。我们在 QA section 的 runbook 里把这些关键行动写成三步，正好对应这一段的工程思路。

\begin{warningbox}{字幕原声提醒}
``Attention drift'' 与 ``gate dropout'' 的同时出现说明，只靠 loss 监控不能发现 drift，必须 instrument both noise and entropy signals。
\end{warningbox}

\subsection{25:00--尾声：QA / runbook}

字幕末尾 `synthetic query`、`temperature spike`, `gate dropout logging` 提供了演练提示。Implementation Q\&A 的三点 checklists 就是我们将这些 runbook steps 工程化的结果。

\subsection{本章小结}

附录摘录字幕原文，帮助 reviewer 直接关联视频 quote 与本笔记的工程措施，确保每个 major decision 都能被 trace back to the video.

\section{下一步与实践任务}

\subsection{Operational follow-ups}

根据讲座内容，我们可以列出以下行动项：

\begin{itemize}
\item 把 entropy、top-k、retrieval lag 三条曲线放入统一 dashboard
\item 为每个 incident 记录 evidence ID、region tag 与 remediation steps
\item 设定 temperature annealing schedule（前 10k 线性降温，entropy < 0.4 nat 时 raise 0.05）
\item 定期运行 synthetic batch + gate dropout logging，验证 reroute policy
\end{itemize}

\subsection{Research follow-ups}

讲者提到的 open problems 推向实践即是 future research agenda：低资源 multi-modal drift detection、cross-lingual reroute policies、SDM geometry 的 instrumentation metrics。

\subsection{本章小结}

本章列出 actionable follow-ups 与 research agenda，以便后续迭代与会议复盘。

\section{附录 B：实施清单}

\subsection{Checklist}

下面的 checklist 把本讲提到的 instrumentation/gov steps 串联：
\begin{enumerate}
\item 设立 entropy/top-k/retrieval lag dashboard
\item 每次 temperature change 联系 KL divergence
\item 维护 language-specific index 与 region-tagged evidence log
\item 实施 synthetic query batch + gate dropout logging
\item 记录 incident time + evidence ID + remediation action
\item 把 top-k churn 视为 reroute trigger
\item 对 low-resource config 开启 automatic temperature raise
\item Multi-modal deployment 加入 modality-specific entropy
\item 每个 response 带 evidence ID \& policy tag
\item 维护 control layer：temperature/mix ratio automation
\end{enumerate}

\subsection{本章小结}

实施清单给出具体可执行的 action，方便团队在复训或 deployment 时直接对照。

\section{运营仪表与工具}

\subsection{Dashboard 总览}

Contextual AI 的仪表盘分为 three layers：Signal（entropy、logits）、Aggregation（per head \& language）与 Control（temperature、reroute actions）。每层有 dedicated cards 供 on-call 轮班查看。

\begin{table}[H]
\centering
\caption{仪表盘卡片示例}
\begin{tabular}{p{0.25\textwidth} p{0.35\textwidth} p{0.35\textwidth}}
\toprule
卡片 & 显示内容 & 作用 \\
\midrule
Entropy heatmap & head-wise entropy & 监控 attention sharpness \\
Top-k churn trend & top-k turnover ratio & 发现 drift 来源 \\
Retrieval lag & latency over time & 评估 retrieval cost \\
\bottomrule
\end{tabular}
\end{table}

\begin{knowledgebox}{部署仪表板}
把 entropy/top-k/retrieval lag 放入同一 dashboard，可以在 drift 初期同步看到多个 signal，Avoid one-signal bias。
\end{knowledgebox}

\subsection{与治理体系集成}

仪表盘与 governance 系统整合后，任何 `entropy drop` 自动 push alert to runbook，若 reroute action 触发，会 automatically log event 与 evidence ID。

\begin{warningbox}{不要让 alert 成为噪音}
每个 alert 都应该附加 severity、timestamp 与 remediation step，否则 on-call 会忽略 signal。
\end{warningbox}

\subsection{本章小结}

运营仪表与工具从 signal → aggregation → control 全链路覆盖，把 instrumentation 数据与治理流程联动。

\section{扩展案例：多模态企业部署}

\subsection{Scenario 描述}

某 enterprise LLM 必须同时支持中文、英文、视觉 prompt。Contextual AI 在同一 platform 上分别部署 BM25 + dense retriever，并在 cross-modal rerank stage 绑定 modality-specific metrics。

\begin{itemize}
\item 中文/英文各自的 entropy 与 top-k logs
\item 视觉 patch entropy + patch-level top-k churn
\item Modality-specific reroute policy：visual drift → trigger patch rerank + temperature raise
\end{itemize}

\subsection{治理策略}

在 enterprise context 中还要加上 compliance verification：every answer 附带 evidence ID \& policy tag，logging pipeline 需要同步把 `region`、`language`、`evidence` 写入 same file。

\begin{importantbox}{cross-modality instrumentation}
把 visual/audio/text entropy 并列监控，可以在 `modality-specific drift` 发生时自动 reroute 到 different expert or fallback to safe mode。
\end{importantbox}

\subsection{本章小结}

扩展案例示范了多模态与多语言的实际对接路径：结合 modality-specific instrumentation 与 compliance labeling，使 RAG pipeline 在 enterprise deployment 中可靠运行。

\section{开放问题与研究方向}

\subsection{低资源与小模型场景}

Kiela 提到低资源或 edge device 上，attention head 数目减少时 mix 路由容易 collapse，因此必须保留 `cache age` 报警，与 retrieval entropy 绑定调整 temperature，还要引入 `cold-start reroute` policies。

\begin{warningbox}{低资源 drift 策略}
在 small model 场景，entropy < 0.2 nat 可能意味着 MoE 路由 collapse，建议同时开启 temperature raise 与 synthetic reroute，以防 few-shot drift。
\end{warningbox}

\subsection{跨模态与概念空间扩展}

SDM 的概念空间在多模态下同样成立：视觉 patch embedding 的 norm 分布不稳定，容易引起 entropy drift，因此需要对 visual retrieval 额外设置 `modality-specific monitoring`。

\begin{knowledgebox}{跨模态的指标扩展}
把 visual patch entropy、audio token entropy 与 textual entropy 并列到 dashboard，可以监控 modality-specific drift，让 cross-modal attention 也保持 SDM 近似的稀疏性。
\end{knowledgebox}

\subsection{本章小结}

开放问题提供下一代 RAG 的方向：低资源下的 entropy control、多模态的 modality-specific metric 以及 cross-modal reroute 都值得持续探索。

\section{术语速查}

\begin{description}
\item[RAG] Retrieval-Augmented Generation，把检索与生成串联。
\item[Cache freshness] cache 中文档的新鲜度指标，保证 facts 不过期。
\item[Entropy drift] softmax/attention entropy 的下降速度，是 hallucination 预警信号。
\item[Top-k churn] top-k tokens 在训练或推理中的 turnover，用以检测 drift。
\item[Load balancing loss] 防止 attention 被少数 expert 垄断。
\item[Gate entropy] MoE/attention gate logits 的 entropy，低 entropy 意味 collapse。
\item[Retrieval lag] 同一请求在不同 checkpoint 之间的 retrieval latency 变化。
\end{description}

\subsection{本章小结}

术语速查整理了 RAG pipeline 的指标 vocabulary，方便 engineering/QA 团队沟通。

\section{总结与延伸}

讲座中的 `retrieval + generation + instrumentation` 多次回归，下面总结表汇总主题、洞察与工程启发：

\begin{table}[H]
\centering
\caption{总结表}
\begin{tabular}{p{0.25\textwidth} p{0.3\textwidth} p{0.35\textwidth}}
\toprule
主题 & 技术洞察 & 工程启发 \\
\midrule
LLM 历史与记忆边界 & 参数化模型 aging & 用非参数化 cache 补知识 \\
RAG Pipeline & 检索/增强/生成必须可审计 & 每阶段记录 evidence metadata \\
检索堆栈 & BM25 + dense + rerank & 把 index drift 写进 monitoring \\
端到端模型 & REALM/RAG/Atlas/FiD 提供多个 tradeoff & 结合 cache 与 reroute 控制成本 \\
部署治理 & latency + entropy + cache age & 把 inference cost 视作 retrieval + generation 的组合 \\
\bottomrule
\end{tabular}
\end{table}

\subsection{拓展阅读}
\begin{itemize}
\item Lewis et al., ``Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'', 2020
\item Guu et al., ``REALM: Retrieval-Augmented Language Model Pre-Training'', 2020
\item Izacard et al., ``Atlas: Few-shot Learning with Retrieval Augmented Language Models'', 2022
\item Izacard \& Grave, ``Leveraging Passage Retrieval with Generative Models for Open Domain QA'' (FiD), 2021
\end{itemize}

\subsection{本章小结}

总结段落把历史、堆栈、评估与部署治理整理成可执行 playbook，为后续深化提供线索。

%% --- 正文内容结束 --- %%

\end{document}
