\documentclass[a4paper]{article}
\usepackage[fontset=fandol]{ctex}
\usepackage{amsmath, amssymb}
\usepackage{graphicx}
\usepackage[margin=2.5cm]{geometry}
\usepackage[most]{tcolorbox}
\usepackage{etoolbox}
\usepackage{listings}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{subcaption}
\usepackage{float}

\newtcolorbox{knowledgebox}[1]{enhanced, colback=blue!5!white, colframe=blue!75!black, colbacktitle=blue!75!black, coltitle=white, fonttitle=\bfseries, title=#1, attach boxed title to top left={yshift=-2mm, xshift=2mm}, boxrule=1pt, sharp corners}
\newtcolorbox{importantbox}[1]{enhanced, colback=yellow!10!white, colframe=yellow!80!black, colbacktitle=yellow!80!black, coltitle=black, fonttitle=\bfseries, title=#1, sharp corners}
\newtcolorbox{warningbox}[1]{enhanced, colback=red!5!white, colframe=red!75!black, colbacktitle=red!75!black, coltitle=white, fonttitle=\bfseries, title=#1, sharp corners}

\lstset{language=Python, basicstyle=\ttfamily\small, keywordstyle=\color{blue}, stringstyle=\color{red!60!black}, commentstyle=\color{green!60!black}, breaklines=true, frame=single, numbers=left, numberstyle=\tiny\color{gray}, captionpos=b, extendedchars=false}

\newcommand{\notetitle}{[CS25] Common Sense Reasoning — Yejin Choi}
\newcommand{\noteauthors}{基于公开课程资料整理}
\newcommand{\notedate}{2023}
\newcommand{\videochannel}{Stanford CS25}
\newcommand{\videopublishdate}{2023}
\newcommand{\videoduration}{约55分钟}
\newcommand{\videourl}{}
\newcommand{\videocoverpath}{cover.jpg}
\newcommand{\repourl}{https://github.com/hqhq1025/ai-course-notes}


% Footer with repo info
\usepackage{fancyhdr}
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[C]{\thepage}
\fancyfoot[R]{\footnotesize\color{gray}\href{\repourl}{AI Course Notes}}
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}

\begin{document}
\begin{titlepage}
\centering
{\Large 课程笔记\par}\vspace{1.2cm}
{\huge\bfseries \notetitle\par}\vspace{0.8cm}
{\large \noteauthors\par}\vspace{0.3cm}
{\large \notedate\par}\vspace{1.2cm}
\ifdefempty{\videocoverpath}{}{\includegraphics[width=0.82\textwidth,height=0.45\textheight,keepaspectratio]{\videocoverpath}\par}
\vfill
\begin{tcolorbox}[width=0.9\textwidth, colback=black!2!white, colframe=black!60, sharp corners]
\textbf{视频作者/频道}：\videochannel\par
\textbf{发布日期}：\videopublishdate\par
\textbf{视频时长}：\videoduration\par
\ifdefempty{\videourl}{}{\textbf{视频链接}：\href{\videourl}{\nolinkurl{\videourl}}\par}\par
\textbf{项目主页}：\href{\repourl}{\nolinkurl{\repourl}}\par
\end{tcolorbox}
\end{titlepage}

\tableofcontents
\newpage

\section{引言：常识推理与 ChatGPT 时代}

Yejin Choi 教授介绍了\textbf{神经符号常识推理}（Neurosymbolic Common Sense Reasoning）的研究。她首先回应了``ChatGPT 是否已解决 NLP''的疑问，通过一个经典的 Winograd Schema 例子展示：

\begin{warningbox}{ChatGPT 的常识脆弱性}
``The trophy doesn't fit in the brown suitcase because it's too big.''（it = trophy）

ChatGPT 在标准表述下回答正确，但稍微改变问法就会出错——说明它\textbf{没有真正理解物理常识}，而是在做模式匹配。这种``看似聪明实则脆弱''的行为是当前 LLM 的核心局限。
\end{warningbox}

\section{David vs. Goliath：小模型的逆袭}

\subsection{规模不是万能的}

\begin{importantbox}{规模 vs. 质量}
Yejin 认为``更大 = 更好''的叙事过于简单化：
\begin{itemize}
    \item 大模型在很多任务上表现优异，但在常识推理的\textbf{可靠性}上仍有严重问题
    \item 小模型通过更好的训练策略和数据质量，可以在特定任务上超越大模型
    \item 关键不在于参数数量，而在于模型\textbf{学到了什么样的知识}
\end{itemize}
\end{importantbox}

\subsection{本章小结}

在常识推理领域，模型规模不是唯一的解决方案——知识质量和推理机制同样重要。

\section{常识知识图谱与神经符号方法}

\subsection{ATOMIC 与 COMET}

\begin{importantbox}{构建常识知识}
\begin{itemize}
    \item \textbf{ATOMIC}：大规模常识知识图谱，包含日常事件的因果关系、意图、反应等
    \item \textbf{COMET}：在 ATOMIC 上训练的生成式常识模型——给定一个事件，可以推断相关的常识
    \item 核心思想：将\textbf{人类标注的常识}与\textbf{神经网络的泛化能力}结合
\end{itemize}
\end{importantbox}

\subsection{道德推理}

\begin{knowledgebox}{AI 的道德判断}
Yejin 介绍了将常识推理应用于\textbf{道德判断}的研究：
\begin{itemize}
    \item Delphi 系统：基于众包数据训练的道德判断模型
    \item 能处理自由形式的道德问题（如``杀熊是否道德？''vs.``为救孩子杀熊？''）
    \item 但仍然是\textbf{描述性的}（描述人们认为什么是对的）而非\textbf{规范性的}（什么真的是对的）
\end{itemize}
\end{knowledgebox}

\subsection{本章小结}

常识知识图谱和神经符号方法为补充 LLM 的常识短板提供了重要思路。

\section{价值多元主义与 AI 安全}

\subsection{谁的价值观？}

\begin{warningbox}{AI 伦理的复杂性}
在为 AI 注入道德判断时面临的根本问题：
\begin{itemize}
    \item 不同文化、宗教、个人有\textbf{不同的道德标准}
    \item 不应该将某一种道德框架强加为``正确的''
    \item 应采取\textbf{价值多元主义}——尊重多样化的文化和个人偏好
    \item 需要 AI、哲学、心理学、政策制定者的\textbf{跨学科合作}
\end{itemize}
\end{warningbox}

\subsection{AI 安全过滤器}

关于 AI 内容过滤：
\begin{itemize}
    \item 可以让 AI 过滤器\textbf{高度公平和包容}（避免微攻击等）
    \item 这\textbf{不违反}言论自由——只是让 AI 本身不说有害的话
    \item 但需要更多研究来确定``什么应该被过滤''
\end{itemize}

\subsection{本章小结}

AI 的道德推理需要在技术能力和价值多元性之间找到平衡。

\section{数据、评测与偏见控制}

\subsection{为什么常识数据总是显得不够}

常识推理看起来像``每个人都懂一点''，但真正把它写成可训练数据却非常困难。原因在于，常识不是事实库那样的静态知识，而是带有情境依赖、文化背景和默认前提的弱结构信息。同一句话换一个上下文，合理推断就可能完全不同。

\begin{knowledgebox}{常识评测的三类典型失真}
\begin{itemize}
    \item \textbf{语料偏见}：数据集中更常见的群体经验被模型误当作普遍规律。
    \item \textbf{任务过窄}：多项选择题会把开放式常识问题压缩成套路化模式。
    \item \textbf{上下文缺失}：很多推理错误并不是模型``不懂常识''，而是题目没有给出关键前提。
\end{itemize}
\end{knowledgebox}

\subsection{构建更可靠的评测闭环}

如果团队真的要做常识系统，至少要同时准备反事实案例、跨文化标注和开放生成评测。仅靠单一 benchmark 排行榜，很容易得到``会做题但不会判断''的模型。

\begin{warningbox}{高分 benchmark 可能掩盖低质量判断}
常识和道德任务尤其容易被模板化。模型也许学会了哪类答案在数据集里更常见，却没有形成稳健的因果理解。这种情况下，离线分数和真实世界可用性之间会出现很大断层。
\end{warningbox}

\subsection{本章小结}

常识研究的核心不是找到一个更大的数据集，而是建立能暴露偏见、情境依赖和推理脆弱性的评测方法。

\section{常识系统的产品落地策略}

\subsection{LLM、知识图谱与工具调用的分工}

从工程角度看，最可行的路线往往不是让一个模型独自承担全部常识能力，而是让不同组件分工协作：LLM 负责语言理解与生成，知识图谱负责提供结构化先验，检索或工具负责补充最新事实，人类策略层负责定义边界条件。

\begin{importantbox}{一个务实的部署原则}
把常识当作系统能力，而不是单模型属性。换句话说，可靠常识来自``模型 + 结构化知识 + 评测治理''的组合，而不是期待某个更大的基础模型自动解决一切。
\end{importantbox}

\subsection{面向 AI 安全的直接启示}

一旦系统会参与教育、医疗、陪伴或高风险建议，常识缺陷就不再是``偶尔答错一道题''，而会变成真实伤害。因此，常识系统上线前必须明确哪些问题允许开放回答，哪些问题必须触发保守策略或人工升级。

\subsection{本章小结}

把常识能力产品化的关键，不是追求单点完美，而是通过组件分工与治理设计降低系统性失误。

\section{总结与延伸}

Yejin Choi 的演讲揭示了当前 LLM 在常识推理方面的深层局限，并展示了神经符号方法如何补充纯规模化方法的不足。常识推理、道德判断和价值对齐是 AI 发展中不可回避的核心挑战。

\subsection{拓展阅读}
\begin{itemize}
    \item Hwang et al., ``COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs,'' AAAI 2021
    \item Jiang et al., ``Delphi: Towards Machine Ethics and Norms,'' 2021
    \item Sap et al., ``ATOMIC: An Atlas of Machine Commonsense,'' AAAI 2019
    \item Choi, ``The Curious Case of Commonsense Intelligence,'' Daedalus, 2022
\end{itemize}

\end{document}
