# 最前沿模型还能提升什么，怎么写 rubric、怎么 judge（截至 2026-10-23）

口径：只看成片。依据是 frontier-critique-narrative.md、frontier-critique-physical.md、highlights-*.md、judge/report_v2.md 和 report_v3.md。每格只跑一次，下面的“差距”以多题、多模型反复出现的现象为准。

## 一、还值得提升的方向

| # | 方向 | 现状证据 | 最好的现有成片 | 为什么是前沿 |
|---|---|---|---|---|
| 1 | 物理与动力学的真实性 | 端起杯子没有重量感：液面不晃、手臂不下沉，这一轮没有任何成片做到；45 个物理类运行没有一个调用物理引擎，全靠缓动曲线 | cc-bare-P2 面团留指痕、球延迟 0.5 s 回弹；cc-hf-R1 船首浪 | 只有 Opus 5.5 会给局部现象写小模型，其他家是整体缩放 |
| 2 | 时间分配与节奏 | 关键转变太短、片头片尾太长：cc-bare-S1 蓝变橙只用 2.5 s；dsh-hf-S1 片头加片尾占 47% | 无明显正例 | 三家共同问题，现有规则（静止超过 3 s）测不出 |
| 3 | 意象超越字面，减少同质化 | B2 里“看你不见”5 部都画成女孩淡出；C1 有 5 部都以纸飞机越飞越小结尾 | cc-hf-B2 水洼倒影；cc-hf-C1 墙上的画在结尾兑现 | 新老两代一样差，不随模型代际改善 |
| 4 | 声音 | 三家都“测过但没听”；codex-hf-C1 的 45 s 里 29 s 是数字静音；镜头运动和音乐起音的相关都不超过 0.21 | cc-hf-B1 把节拍落到故事事件上 | 模型听不到自己的音轨，是能力缺口 |
| 5 | 角色表演与镜头语言 | 主角多是小图标，情绪靠天气交代，关键节拍没有近景 | cc-hf-C1 撞玻璃、过夜低落、窗开后不敢跳 | 只有个别成片做到 |
| 6 | 知道什么时候该用什么工具 | B1 只有 1/9 试过 ASR；没有一家用物理引擎；没人听音轨 | cc-hf-B1 试了 `hyperframes transcribe` | 给了提示就会用，不给就不会想到 |
| 7 | 有参考时的精确贴合 | 切镜时间已饱和（8 个复刻都在 6.6 s 切），轨迹和光影差距大 | cc-bare-V2 落地区亮度曲线与原片相关 0.99 | 连续指标离满分很远 |
| 8 | 多轮修改不回退 | 本轮没测 | 无 | 文献（FronTalk）发现新一轮修改常覆盖旧功能 |

不再值得作为前沿测的：时长、画幅、出片率、首帧空白、显性穿模和悬空、多视角时间同步、复刻的切镜时间。这些新一代已经基本都能做到，降为门槛。

## 二、每个方向怎么写 rubric、谁来判

| 方向 | rubric 写法 | 判定方法 | 为什么这样判 |
|---|---|---|---|
| 1 物理与动力学 | 每题写可测的物理量：停止后的超调和衰减、液面倾角与 a/g 的误差、松手后的形变保持率和恢复时间常数、船相对海面的光流方向 | 白盒：渲染时由评测方插桩导出每帧位姿，程序验证；或用密集跟踪脚本（phys-measure/） | Argon 只看 24 帧，看不出加速度和超调；物理对错交给 VLM 会出现佩里加尔那样的稳定误判 |
| 2 时间分配 | 先写节拍表：哪一段是“关键转变”；指标为关键转变时长 ÷ 最长静止段、片头加片尾占比、答案出现后的停留时长 | 确定性脚本，配合 Argon 标出关键转变的时间段 | 比例类指标可计算，不依赖审美 |
| 3 言外之意与同质化 | 成对比较里单列“言外之意”维度；同题跨模型算画面描述相似度（意象重合率）；同一模型同题多跑几次算多样性；加分项按稀有度计，过半运行做到就降为及格线 | Argon 成对比较的独立维度，加嵌入相似度 | v3 证明独立维度能把被整体偏好埋没的亮点找回来（cc-hf-B2 从第 5 升到第 1） |
| 4 声音 | 数字静音占比、各幕响度差、音效与画面事件的时间差、镜头运动与音乐起音的相关 | 确定性音频测量；judge 若能收音频再加一层（未测） | 当前 judge 听不到声音 |
| 5 角色与镜头 | 关键情绪节拍时主角的画面面积占比、景别分布；成对比较问“哪段的主角有可见的情绪变化” | 代理指标加 Argon 成对比较 | v3 里“人物是否做了具体动作”这类二元题偏宽，改用成对比较 |
| 6 工具选择 | 配对题：同一题给工具提示和不给提示各跑一次，成片的差距就是“不知道该用”的缺口 | 两版成片各自按原 rubric 评，比较分差 | 只看成片，不评过程，符合口径 |
| 7 参考贴合 | 轨迹 nDTW 和 Hausdorff 距离、关键事件时刻（起跳、最高点、落地）、分区亮度曲线相关 | 确定性脚本（phys-measure/v2compare.py 等） | 有标准答案，分数连续，不易饱和 |
| 8 多轮修改 | 第二轮给一条修改意见，检查要改的地方改了、其余部分不变 | 未要求改动的区域做逐像素或特征比对，改动处用 Argon 判断 | 回归检查可以完全自动 |

## 三、rubric 的整体结构

```text
门槛（只扣分）   时长、画幅、可播放、首帧、显性穿模 …… 新一代都能过，失败才扣
   │
前沿维度（分开报告，不合成总分）
   ├─ 画面手艺        Argon 成对比较
   ├─ 讲述与节奏      Argon 成对比较 + 节拍比例指标
   ├─ 言外之意        Argon 成对比较（独立维度）
   ├─ 物理与正确性    白盒验证 / 密集跟踪（不交给 VLM）
   ├─ 声音            音频测量
   └─ 参考贴合        参考对比指标（有参考的题）
   │
加分项（只加分）  具体、可核对、要求给时间点；过半运行做到就移入门槛
```
图：rubric 分三层，前沿维度各自排名。

不合成一个总分的原因：v2 数据里 Argon 的整体偏好和画面手艺两列结论完全相同。一旦合成总分，创意和物理正确性会被画面精致度淹没；作为训练奖励，还会把模型引向“画得精致但没想法”。

## 四、judge 要怎么升级

Argon 试点得出的边界：

| 能力 | Argon 的表现 | 对策 |
|---|---|---|
| 明显破坏（冻结、打乱、倒放、模糊） | 检出 100% | 继续用 |
| 新老两代、整体档次 | 可靠 | 继续用 |
| 头部几名的排序 | 置信区间重叠，与 subagent 分歧 | 多跑几次生成、多个 judge 样本，报告区间 |
| 创意、言外之意 | 看得到，但整体偏好里权重低 | 独立维度 |
| 抽象的二元加分题 | 系统性偏宽，几乎全答“是” | 改成成对比较，或改写成具体可核对的条件 |
| 数学、物理对错 | 会稳定地判错（佩里加尔） | 白盒验证 |
| 动力学和声音 | 看不到、听不到 | 密集测量、音频测量 |

升级方向：

1. 反事实对照检验 judge。code-to-video 有源码，可以只改一个前沿属性重新渲染：删掉水洼倒影、让面团松手后完全回弹、把落地时刻提前 0.5 秒、去掉船首浪。原版和改版成对给 judge，它该选原版。这把“人为缺陷检验”从冻结、模糊这类表层破坏，推进到前沿维度上，也不需要人。
2. 让 judge 变成能用工具的 agent。它可以读源码、在指定时间点密集抽帧、调用测量脚本、重新渲染插桩版本，再下结论。对正确性类问题，先让它写验证程序，而不是看图判断。
3. 加时间分辨率和声音。现在受 coproxy 每请求 10 张图的限制，每段只看 24 帧。可以按节拍表在关键段加密抽帧，或者试 Gemini 原生的视频和音频输入（还没在网关上验证过）。
4. 分歧处做对抗核实。两个 judge 样本、或 judge 和测量指标意见不一致时，让找茬 agent 给出带时间戳的证据，辩护 agent 逐条反驳，再由第三方判。
5. 评测项退役机制。每轮用老模型和反事实对照做灵敏度检查：分不开的项降为门槛；过半运行做到的加分项移入门槛；新的前沿项从缺陷普查和亮点报告里补充。

## 五、局限

- 方向 4 的“判断 judge 能否收音频”、方向 8 的多轮修改、第四节的反事实对照和 agent 化 judge，都还没有实测，是方案。
- 每格只跑一次；方向 1、3、5 的“最好成片”是单个样本，不能说明模型稳定具备这些能力。