# 场景考什么能力，skill 和工具有没有被内化（截至 2026-10-23）

口径：只看成片效果。证据来自 Argon 试点（S1、E1）、三份缺陷普查、两份前沿批评、轨迹。每格只跑一次，单个对比有噪声，下面的判断以多题重复出现的模式为准。

## 一、能力拆分

专项能力（每项都能单独出题考）：

| 编号 | 能力 | 典型的失败 |
|---|---|---|
| A | 版式、排版、配色 | 小字、文字重叠、深色底加霓虹 |
| B | 动效与时间节奏 | 关键转变太短，片头片尾太长；画完就定格 |
| C | 用画面讲道理 | 只靠计数器和字幕，不把过程画出来（Q1 有 8/10） |
| D | 叙事与角色表演 | 主角是小图标，情绪靠天气交代；结局趋同 |
| E | 3D 空间与相机 | 视角错（不是第一视角）；尺度自相矛盾 |
| F | 物理与材料 | 没有重量和惯性；材料只是整体缩放；物体不影响环境 |
| G | 多模态输入理解（图、音频、视频） | V4-Pro 看不到图，把《星月夜》猜成海面 |
| H | 世界知识与文化记忆 | 认出《星月夜》《泰坦尼克号》船头那一幕、《晴天》的情绪 |
| I | 工具的获取与选择 | 不会主动装 ASR；做物理不用物理引擎 |
| J | 自检与迭代 | 看了自己的画面但不知道该看什么；不听自己的音轨 |
| K | 工程交付 | 软件渲染太慢导致超时；色彩通道接错（dsh-bare-I1 自己修好了） |

## 二、每个场景考到哪些能力，瓶颈在哪

| 场景 | 主要考的能力 | 实际决定成败的瓶颈 | 依据 |
|---|---|---|---|
| S1 科普讲解 | C、A、B | C 和 B：比喻准不准、关键转变给没给够时间 | Argon 和 subagent 的前四名都是 Opus 5.5 和 Astra；共同短板是“蓝变橙只用 2.5 秒” |
| M1 零文字证明 | C、A | 约束遵守加 C | dsh-bare-M1 出现了公式，还声称“没有文字” |
| Q1、Q3 数据讲解（第一轮） | C、A、数字正确性 | C | 只有 Opus 5.5 画出了往返过程；Opus 5 算错倍数 |
| E1 第一视角抓杯 | E、F | E 决定能否及格，F 决定上限 | dsh-hf、sol 视角错；最新三家都没有重量感 |
| R1 名场面复刻 | H、E、F、人体姿态 | H 和 E：认出要素、站位对 | dsh 两个运行的船不动；张臂都是对称 T 字 |
| P1 四视角穿针 | E、F、多视角一致、K | F（尺度、线的柔性） | 时间同步已饱和；针和小臂一样长 |
| P2 捏面团和解压球 | F | F | 只有 Astra 区分了塑性和弹性；V4.1-Flash 两档都分不清 |
| I1 让名画动起来 | G、H、对题意的解读 | 对题意的解读：“要像原画”让所有模型只敢轻微扭曲 | 9 个成片运动量都很小 |
| B1 无提示的 MV | G（音频）、I、D、B | I：没人去拿歌词 | 9 个运行只有 1 个试过 ASR，失败后没装 |
| B2 有 whisper 的 MV | G、D、B、A | D：意象停在字面，各家趋同 | 7 个都有叙事，但都是逐句配图 |
| C1 三幕小故事 | D、B、E | D | 只有 dsh-hf 的纸飞机有情绪；结局全是“越飞越小” |
| V2 真实视频复刻 | G（视频理解）、E、F、B | F 和 G | 切镜时间全对（已饱和）；起跳、悬停、亮度差距大 |

综合场景的规律：

1. 成败取决于最弱的那一项能力。B1 的瓶颈是 I，叙事能力根本没机会发挥；V4-Pro 的瓶颈是 G，后面的能力全用不上。所以综合题的分数主要反映短板。
2. 综合题的区分度更高，也更晚饱和。几项能力相乘，差距会被放大：E1 单项接近饱和，P1、P2、V2 仍能明显拉开差距。
3. 综合题的问题是难以归因。只看 B1 的成片，分不清模型是不会讲故事，还是没拿到歌词。需要配对的控制题来拆：B1 对 B2 拆出了“工具获取”，I1 对文本版拆出“视觉”，P2 单独测材料。
4. 各模型的长板不同：讲解和设计（C、A）是 Opus 5.5；3D 和物理（E、F）以及工程交付是 Astra；叙事（C1）和勤奋自检（J，中位 44 次看图）是 V4.1-Flash。但 V4.1-Flash 看得多，不代表看得准。

评测设计上的结论：综合题用来排名，因为它贴近真实需求，也不容易饱和；专项题和配对控制题用来归因，回答“差在哪一项”，并直接对应训练信号。

## 三、skill 有没有用，有什么用

### 有 skill 对无 skill 的直接对决（Argon，左右两种顺序，满分 2）

| 题 | 模型 | 整体 | 非默认感 | 讲述与连贯 | 画面手艺 |
|---|---|---|---|---|---|
| S1 | Opus 5.5 | 1.0 | 2.0 | 1.0 | 1.0 |
| S1 | Astra | 2.0 | 2.0 | 2.0 | 2.0 |
| S1 | V4.1-Flash | 2.0 | 2.0 | 2.0 | 2.0 |
| E1 | Opus 5.5 | 0.0 | 0.0 | 0.0 | 0.0 |
| E1 | Astra | 2.0 | 2.0 | 2.0 | 2.0 |
| E1 | V4.1-Flash | 0.0 | 2.0 | 0.0 | 0.0 |

### skill 起作用的地方

- 去掉默认习惯。非默认感一项，6 组对决里有 5 组是有 skill 的赢。S1 的 codex-bare 带“ATMOSPHERE / 0N”顶栏，非默认感胜率 7%；codex-hf 是 100%。
- 门槛类规则：首帧空白从 18/38 降到 0/19（第二轮）；结尾停留不足从 10/20 降到 4/20；Q3、Q4 的深色底从 9/10 降到 2/10（第一轮）。
- 暴露工具。B1 里唯一试着转写歌词的是 cc-hf，用的是 skill 带的 `hyperframes transcribe`。
- 给出可执行的检查。`hyperframes check` 能报小字和对比度问题。

### skill 不起作用或帮倒忙的地方

- 不增加能力。E1 上 Opus 5.5 和 V4.1-Flash 有 skill 反而输：cc-hf-E1 加了 “TARGET LOCKED” 这类 HUD；dsh-hf-E1 变成了第三人称。3D 和物理能力不会因为一份写作和动效规范变好。
- 带来新的默认值。I1 有两档按 HF 默认的 1920×1080 输出，给画加了黑边，改变了原画比例。Q3 有 3/5 的 skill 运行用整屏红底加大数字收尾，没有 skill 时没出现过。
- 规则互相冲突：“信息卡片要停住让人读”和“3 秒以上不能静止”方向相反。有 skill 后中段停滞从 6/20 增加到 10/20。
- 模型知道规则，但不照做。`check` 报了小字，cc-hf-Q4 在交付说明里解释成“网页质感”。V4.1-Flash 读了 skill，仍是深色底，小字占比还在 0.6 以上。
- 有成本。Opus 5.5 每题从 1.39 美元涨到 2.62 美元；Astra 的输入量从 48 万 token 涨到 218 万。

### 小结：skill 能管住规则，管不住品味和能力

skill 本质上是一份写给模型看的规范，加一组工具。它在“能写成明确规则、能自动检查”的地方有效；在“需要判断”和“需要能力”的地方无效，甚至会把旧的默认值换成新的默认值。

### 净效果取决于“能补的”减去“带来的约束”（2026-10-23 按昊卿的框架重写）

不宜用“模型听不听话”解释差异。更贴合数据的解释是：skill 的净效果 = 模型自己的默认做法比 skill 差多少（skill 能补的）− 框架、规则和固定流程限制了模型本来能做好的部分（skill 带来的约束）。模型越强、越接近内化，前一项越小，约束不变，净效果就会转负。

Argon v2 七题的直接对决（有 skill 对无 skill，满分 14，7 为打平）：

| 模型 | skill 能补的 | skill 带来的约束 | 整体 | 非默认感 | 言外之意（v3 四题，满分 8） |
|---|---|---|---|---|---|
| Opus 5.5（最强） | 少：无 skill 时非默认感已不差，整体胜率 84% 第一 | 明显，见下 | 5/14 | 5/14 | 8/8 |
| Astra | 多：无 skill 时 AI 味最重（S1 非默认感 7%） | 小：工程化做法与框架契合 | 8/14 | 9.5/14 | 4.5/8 |
| V4.1-Flash（较弱） | 只补表面 | 能力不够，skill 要求的做不到 | 5/14 | 10/14 | 5.5/8 |

强模型被约束的例子：I1 被套上 1920×1080 画幅加黑边；cc-hf-R1 为过 lint 把 shader 改成 JS 字符串、拆子合成；“卡片停住让人读”与“不能静止 3 秒”冲突，中段停滞从 6/20 增到 10/20；B2 的 MV 加 skill 后画面手艺 34%（skill 没有剪辑和音乐方法，动效规则照样生效）；Q3 出现整屏红底大数字的新模板；Opus 5.5 每题成本 1.39 → 2.62 美元、用时 15 → 20 分钟。

保留一点：skill 的构思流程（先写三条故事线再选）对最强模型仍有帮助，言外之意四题全胜。所以是规范和框架限制强模型，构思流程仍有用。

对训练的含义：内化以后，skill 里的规则不再提供信息，只剩约束；训进模型的应是流程和判断，而不是把强模型绑在一份固定规范上。可以做的消融：只给构思流程、只给规则、只给框架三种 skill，分别在强弱模型上跑，每格 3 到 5 次。

## 四、有没有被内化

判断标准：无 skill 时的表现接近有 skill 时，就算内化了。

| 方面 | 是否内化 | 依据 |
|---|---|---|
| 去掉深色底、HUD、装饰标签等默认值 | 没有 | 最新模型无 skill 时仍然是深色底、顶栏、编号（codex-bare-S1、第一轮各题）；有 skill 才改 |
| 首帧和结尾这类门槛规则 | 没有 | 无 skill 时首帧空白 18/38，有 skill 时 0/19 |
| 写 SPEC、先规划后制作 | 没有 | 无 skill 时没有模型写 SPEC |
| skill 对整体质量的净效果 | 分化 | Astra 略正，Opus 5.5 和 V4.1-Flash 为负；第一轮 V4.1-Flash 读了 skill 仍是深色底，单看成片分不清“不会”还是“不做”，只记现象 |
| 知道什么时候该用什么工具 | 没有 | B1 没人去装 ASR；做物理没有一家用物理引擎，全靠缓动曲线；没人听自己的音轨 |
| 告诉它有工具时会不会用 | 会 | B2 写明“装了 whisper”后，7 个运行都用了，叙事质量明显提升 |

### 工具内化的三层

1. 会不会用：已经会。B2 告诉它有 whisper，7 个都用了；渲染管线、ffmpeg、Chrome 都用得很熟。
2. 知不知道该用：还不会。B1 需要歌词，但没人主动去拿；做物理该用仿真器，没人用；做 MV 该听音轨，没人听。
3. 用了能不能用对：部分会。看图次数和质量不对应：V4.1-Flash 看图最多，质量居中；Sol 看图最少，问题最多。看了以后知道看哪里，需要内化的判断标准，这一点和 skill 管不住品味是同一个问题。

## 五、对训练和评测的意义

- skill 最终会训进模型。训进去的应该是第 2 层和第 3 层，即“该用什么工具、怎样算好”的判断；不是第 1 层，模型本来就会用工具；也不是逐条规则，规则写在 skill 里就能执行。
- 评测上长期以无 skill 的成绩为准，跟踪“有 skill 减无 skill”的差距。差距收窄到零，说明规范已经内化，hf 档可以退役。
- 工具获取单独测：同一题给和不给工具提示（B1 对 B2），差距就是“知道该用”的缺口。物理题可以测“有没有选用仿真器”，以及选用后效果是否变好。
- skill 本身也要评。它会引入新默认值和规则冲突，应该按版本记录它带来的新模板，像对模型一样做回归测试。

## 局限

- skill 对决只有 S1、E1 两题，每格一次，各 6 组对决，样本小。
- B2 的“告诉它有 whisper”同时改了题面（要求贴合歌曲内容），工具和要求两个变量没有分开。要严格归因，需要补一档“装了 whisper 但不提示”。
- “没有一家用物理引擎”来自前沿批评对成片和轨迹的判断，还没有逐个轨迹搜 cannon、rapier、ammo 等关键词核实。