AI 数据生意：从专家经验到训练环境与评测
导读
为什么为大模型提供训练数据的公司估值能飙升到百亿美元？当AI从日常对话走向自己写代码、操作软件，除图片标注等基础数据外，它还需要人类专家把隐性工作经验变成可执行的训练环境。本讲义基于《硅谷101》与Scale AI研究总监何允中、加州大学伯克利分校博士后孙一铀的对话整理。读完本文你将搞懂：不同背景的数据公司各靠什么能力交付数据？专家写的评分细则如何帮弱模型批改强模型的作业？榜单高分与真实好用之间隔着哪些差距？以及在采购行业私密素材、定制训练难度和防范专家造假时，行业正在经历怎样的工程与商业博弈。
数据公司究竟在交付什么
随着大模型从对话问答走向复杂任务执行，训练数据的内涵已远超早期的人工打标签。本章结合产业界与学术界视角，拆解当前AI数据公司的核心分类、业务基因与交付物演变，厘清专家网络、内部全职团队、合成环境与垂类数据经纪各自的运作机制与取舍。
从标注劳动力到专业知识供给
随着大模型能力不断进阶，模型公司对训练数据的需求变得越来越复杂，硅谷也因此涌现出一批增长迅速的数据公司。主持人 Yiwen 在节目开场介绍，AfterQuery 在宣布 A 轮融资时估值为 3 亿美元，不到半年后的新一轮融资估值已推至 32 亿美元；Scale AI 在 Meta 入股时的估值超过 290 亿美元，Mercor 的融资估值也达到 100 亿美元级别。这些融资数字反映了市场对数据赛道的关注热度，而要理解模型公司为何愿意持续采购，关键在于看清数据公司的交付物究竟发生了什么变化。
围绕行业分工，两位嘉宾分别从产业研发与学术评测的视角切入（04:14）。Scale AI 研究总监何允中所在的团队负责后训练（Post-training）和评测研究，对外发布基准测试（Benchmark）与强化学习数据配方（RL Data Recipe）文章，同时作为行业的外包数据研究团队提供数据与方法论支持。加州大学伯克利分校博士后孙一铀则联合 Berkeley RDI 与 300 多位行业专家牵头构建了智能体评测基准 Agents' Last Exam（简称 ALE），用于衡量智能体在具有可验证结果的长期、高经济价值任务中的表现；该项目第一阶段公开了覆盖 50 多个细分行业的 150 多个任务，并计划在 V2 版本中扩展至 1000 多个任务。
模型训练目标从基础能力向专业任务延伸，推动了 2024 年以来数据需求结构的演进。在 2024 年之前，行业谈论数据主要集中于预训练（Pre-training）语料，以及依靠众包完成图片打标签、回答打分等基础标注；随着 Deep Research 等复杂搜索与推理应用的兴起，需求进一步延伸到智能体数据（Agentic Data）与真实工作流数据（08:46）。何允中回顾自己在 Meta 入股前夕加入 Scale AI 的经历时指出，大约一年多以前，各家实验室都在探索评分细则数据（Rubric Data，即由人类专家编写的评判标准）；一年之后，行业焦点进一步扩展到了强化学习环境（RL Environment，包含任务、工具、执行沙箱与验证机制的交互系统）。这并不意味着新交付物完全取代了旧需求——预训练和评分细则依然重要，但数据公司交付的重心已从单一标注劳动力，扩展到结构化的专业知识与可执行任务环境。
专家网络与内部团队的取舍
面对不断翻新的需求，市面上的数据供应商因“出身基因”不同，发展出了不同的能力来源与商业模式（05:28）。何允中指出，像 Scale AI、Mercor、Surge 这类大型数据商通常试图覆盖全品类需求，并非严格互斥的分类，但从能力来源上看，行业主要呈现出五种路径：
- 招聘平台出身：以 Mercor、Handshake 为代表，依托原本的人才招募网络切入专家数据供给；
- 传统众包网络出身：以 Scale AI 为代表，从大规模众包标注网络起步并向专业领域延伸；
- 内部培养团队：以 Surge 为代表，侧重在公司内部全职培养数据人员；
- 研究与工程型合成数据：以 Bespoke Labs、Snorkel 等新秀及几人规模的精品小团队（Shop）为代表，依靠研究与工程能力，主攻代码或终端工具环境（如 Terminal 类环境）的合成生产；
- 垂直领域转型与数据经纪（Broker）：例如部分具身智能（Embodied AI，结合物理实体进行感知与行动的 AI）公司原本投入大量精力采集素材，在模型尚未盈利时顺势做起素材生意，或是好莱坞等行业内掌握版权资源的人士充当数据经纪人，以及由垂直领域专家组建的小型数据公司。
在讨论大型数据商的运作模式时，主持人曾将 Mercor 与 Surge 一并归为招聘公司，何允中对此做出了纠正（07:11）：Mercor 确实是做招聘起家，拥有自动 AI 面试等产品，其特点在于能够在短时间内筛选并调动足够数量的领域专家，构建起外部专家网络；而 Surge 并不是招聘平台，它的模式是将数据团队内部化（In-house），依靠自己全职培养的人员来生产数据。这一区分体现了数据行业在组织生产方式上的不同路径。
全职内部团队与外部众包或专家网络之间，存在着现实的工程取舍。何允中分析，如果完全依靠自己全职培养团队，人员的专业能力和交付稳定性通常会更强，但代价是组织灵活度不足、产能扩张受限；反之，如果更多依赖外部众包或灵活的专家网络，数据商在面对跨领域的短期需求时灵活性更大，但每个参与者的产出质量较难统一保障。为了应对外部网络的质量波动，像 Scale AI 这类从众包网络演进而来的公司，需要将质检经验同时用在最终交付的数据本身和参与生产的“人”身上（07:32）。
厘清Surge与Mercor的模式差异
主持人提问时曾将Mercor和Surge统称为招聘公司，何允中特别纠正：Mercor是招聘起家，靠AI自动面试产品快速组建外部专家网络；而Surge走的是内部全职培养（In-house）路线。前者赢在跨领域扩充产能的灵活度，后者重在单兵质量可控，代表了专家供给的两种不同解题思路。
后训练数据交付物的三次演进与并存
大模型后训练（Post-training，即预训练之后通过微调与强化学习提升模型任务表现的阶段）的数据交付物经历了三层演进：最初是依赖众包网络进行基础图文打标签与偏好打分；随后发展出请领域专家把评判标准写清楚的评分细则（Rubric）数据；如今进一步扩展到提供包含任务定义、操作工具、执行沙箱与验证器的强化学习环境（RL Environment）。在当前产业中，这三类需求与预训练语料依然同时存在，并在不同训练阶段配合使用。
| 能力来源与代表机构 | 核心能力来源 | 主要优势与面临的取舍 |
|---|---|---|
| 招聘平台出身（Mercor、Handshake） | AI面试筛选与外部专家招募网络 | 能快速聚集海量跨领域专家，灵活度高，但需持续管控外部人员交付质量 |
| 传统众包网络出身（Scale AI） | 大规模众包网络与沉淀的质检体系 | 产能弹性大、覆盖面广，需结合对“数据”和“人”的双重质检经验 |
| 内部培养模式（Surge） | 公司内部全职招募与培养的数据团队 | 人员能力强、产出质量稳定，但组织灵活度较低、短期产能扩张受限 |
| 研究与工程型新秀（Bespoke Labs、Snorkel） | 算法研究与软件工程合成技术栈 | 擅长合成代码与终端类训练环境，依赖公开技术生态与工程能力 |
| 垂类转型与数据经纪（具身素材商、好莱坞Broker） | 行业自有素材积累或独家版权资源渠道 | 掌握稀缺垂类原生资产与变现通路，但业务高度局限于特定单一领域 |
正文梳理了数据交付物从基础标注向专业知识与环境的演进，以及五类供应商的出身差异。本图直观汇总了不同基因的数据公司究竟依靠哪四种核心能力来组织生产并达成交付。
读图：数据公司究竟在交付什么
图中上排自左向右并列四个方框，代表四种非互斥的能力来源：蓝框为“招聘网络，找到领域专家”；绿框为“众包组织，灵活调配产能”；橙框为“内部培养，积累质量经验”；紫框为“工程合成，搭建任务环境”。四框底部各有箭头向下汇入同一个绿色长框“交付可用的训练信号”，说明不同组织路径最终都服务于模型训练。
看清了外部专家网络、众包质检、内部培养与工程合成的组织取舍后，下一章将进入后训练技术内部，解析人类专家的隐性判断具体如何转化为评分细则与强化学习环境。
本章小结
本章梳理了AI数据行业从基础人工标注向专业知识与强化学习环境演进的产业脉络。围绕模型后训练与智能体评测的新需求，不同基因的数据公司分化出招聘专家网络、众包质检、内部全职培养、工程合成以及垂类版权经纪五种路径，并在产能灵活度与交付质量之间形成了各自的取舍机制。
把专家判断变成可学习的反馈
梳理完数据公司的不同出身与组织取舍后，一个更底层的问题随之浮现：这些专家网络或内部团队产出的知识，究竟以什么形态交给大模型？本章将顺着后训练技术从文本问答走向智能体操作的演进，解析评分细则、强化学习环境与复杂验证机制如何协同运转。
教授、助教与评分细则
虽然预训练依然重要，但在推理模型跑通强化学习（RL，即让模型在不断尝试中根据奖惩信号自我改进的训练方法）后，大模型研发者的注意力明显转向了后训练阶段。节目讨论的这类推理任务强化学习依赖可验证的反馈（verifiable signal）。在数学或基础代码领域，这种信号非常直观，比如核对选择题选项或比对算出的数字；然而当模型扩展到医疗、金融或复杂的指令遵循任务时，情况就变了。这些专业问题不同于早期仅凭人类笼统喜好来训练奖励模型（reward model）的阶段，它们往往存在客观的标准答案，只是答案形态高度非结构化。何允中在 10:28 附近用历史考题作比：题目明明有标准答案，但每个考生的表述千差万别，无法靠简单的字符模式匹配（pattern match）来判分。
为了解决非结构化答案的判卷难题，行业广泛采用了评分细则（rubric）。何允中将其比作大学里的改卷分工：领域专家就像教授，提前把脑海中的专业判断拆解成一条条清晰的打分规则；负责判卷的模型则像助教（TA），哪怕自身能力不算顶尖，也可以对照教授写好的规则去批改试卷。这一机制支撑起了大模型数据领域的概念——弱到强监督（weak-to-strong supervision，即用较弱的模型去监督和评估较强的模型）。本节的评分细则方案依托于人类专家预先把隐性知识写下来，帮助弱模型检查它原本不会独立解答的任务；但判卷效果仍取决于细则是否覆盖了关键质量要求，以及验证器能否可靠执行这些规则。这一需求也带动了 Mercor、Surge 等公司在专家规则收集业务上的崛起。
从检查文本到检查任务结果
随着各大实验室将容易获取的纯文本专家规则收集得越来越充分，模型研发的重点开始从“聊天回答”转向“动手做事”。在智能体（Agent）场景下，模型不再只是输出一段话，而是需要调用工具、修改环境并解决一整套实际问题。此时的交付物升级为强化学习环境（RL Environment），它包含四个核心要素：
- 任务定义：明确要求智能体完成的目标与初始状态
- 可用工具：供模型调用的软件接口或外部程序
- 执行沙箱：隔离且可复现的运行环境（sandbox）
- 验证机制：与具体任务绑定的多维检查手段
在 11:36 附近，何允中指出，环境并没有抛弃 rubric，而是将其包容在内——验证时既可能用程序化检查（programmatic check）去核实环境变量是否执行、数据库是否写入或删除，也可能在生成带图文档时，派一个智能体拿着 rubric 去检查综合质量。不同基准也有各自的取舍，例如在真实终端沙箱中测试端到端任务的 Terminal-Bench，就倾向于纯程序化测试脚本而不依赖主观细则。
围绕“评分细则是否已经做到头”，两位嘉宾起初展现出不同的观察视角，随后在交流中厘清了分歧的边界。孙一铀在 12:36 附近提出不同看法，认为专家主观判断的细则还远远不够；他以自己参与构建的 Agents' Last Exam（ALE）为例，说明团队希望把编程领域因确定性验证而快速发展的“vibe coding”趋势推广到各行各业的“vibe everything”。何允中随即澄清，他所说的“到头”特指静态单轮或多轮纯文本知识问答的细则需求相对放缓，而动手干活的知识工作（knowledge work）场景下，各个垂直领域依然有大量专业判断尚未通过评分细则表征出来。
执行与决策需要怎样的验证
一旦进入复杂的工程与创作产出，除非把输入限制得极死，否则任务往往具有“多解性”（multi-answer），强行与单一标准答案（ground truth）做确定性比对就会导致不一致。孙一铀在 14:45 附近举例说，让模型生成一个游戏，甚至某些数学题的解法，结果都不是唯一的；他提出一种研究设想：就像部分游戏设计入门教科书会讨论奖励曲线是否平滑、是否契合大脑多巴胺反馈一样，未来或许可以探索用更科学的指标去量化“好玩、好看”，但目前市面上还没有公开评测能把这套体系完整做出来。何允中对此分享了数据行业的实践思路：验证器与模型能力是“左脚踩右脚”共同演进的，在设计上通常希望“评分细则加上验证器”的总知识和判断能力超过待训练模型。面对高度主观或多解的任务，细则会被迫写得相对模糊，把判断空间留给更强的验证模型。他在 17:13 附近结合自身经验，以图像生成为例讨论了一种可能的混合验证方案：
- 指令遵循部分：如图中要有猫有狗、背景板写哪几个字，用明确细则配合光学字符识别（OCR，将图像中的文字转换为可编辑文本的技术）把字提取出来核对；
- 主观体验部分：如字写得好不好看、猫可不可爱，则可以探索单独训练一个掌握人类主观偏好的奖励模型来配合细则打分。
要理清验证方式的边界，还需要看人与智能体在工作流中的角色分工。孙一铀分析，早期人们使用 Cursor 等工具时，人参与代码执行，智能体只负责写小模块；如今智能体可以承接大项目，分工逐渐演变为“人负责决策，智能体负责执行”。当智能体仅承担执行角色、人类把任务要求说得很清楚时，输出接近固定唯一，可以用基于成品的确定性细则来打分。但如果未来讨论让智能体逐步参与人类的决策部分——比如在 19:35 附近孙一铀提到的上市公司领导层决策——由于企业每天面临的任务都在变化，相似决策样本少、结果反馈周期长，很难收集到足够的高频数据来直接套用常规奖励模型的训练方法。何允中赞同这一判断：在 Meta 这样的平台上可以靠用户行为反馈来训练判断“猫可不可爱”的模型，但公司级决策很难靠日常用户反馈收集，未来需要探索更好的激励方式，引导专家把过往做过的项目与重要决策交出来并尽量回溯当时的决策过程。
弱到强监督（Weak-to-Strong Supervision）
本节讨论的评分细则方案通过人类专家规则，帮助较弱的判卷模型监督和评估较强的模型。专家预先将领域标准拆解为评分细则（rubric），帮助弱模型去检查它原本无法独立完成的复杂任务；在实际训练中，一般希望“验证模型 + 专家细则”组合起来的判断力高于待训练模型，同时其效果仍受限于细则本身的覆盖度与验证器的执行可靠性。
强化学习环境与 Rubric 并非替代关系
行业话题从 Rubric 转向 RL Environment，并不意味着评分细则被淘汰。强化学习环境是包含任务、工具、执行沙箱和验证器的完整闭环；当验证环节不仅要查数据库状态或代码运行，还要评估生成文档、图表或综合方案的质量时，Rubric 依然是验证器内部不可或缺的打分依据。
| 任务与验证场景 | 解决的核心问题 | 运作机制与现实取舍 |
|---|---|---|
| 纯文本专业问答（如历史考题） | 答案有客观标准但表述不固定，无法做简单字符匹配 | 专家编写结构化 Rubric，交由判卷模型按条核对打分 |
| 确定性工程执行（如终端与代码任务） | 检验智能体动手操作工具后是否真正跑通工作流 | 在沙箱中用测试脚本或程序化检查核对变量与数据库状态，要求输入目标清晰固定 |
| 多解与审美创作（如生图、做游戏） | 单一标准答案会误杀合理创意，主观体验难以逐条写死 | 客观要求可用细则配合光学字符识别（OCR）等工具检查，主观审美可探索结合专用奖励模型混合评判 |
| 复杂组织与商业决策（如高管决策） | 任务天天变化、相似样本少且回报慢，缺乏高频重复反馈 | 难以直接套用高频用户行为训练奖励模型，需探索激励机制收集并回溯专家的历史决策项目 |
正文解析了弱到强监督、强化学习环境四要素以及多解任务的混合验证。本图将这些概念串联起来，直观展示在智能体动手做事的闭环中，任务环境与评分细则如何协同运转。
读图：把专家判断变成可学习的反馈
图中上排自左向右依次连接四个节点：从蓝框“任务目标”出发，进入紫框“智能体，工具与沙箱”，产出橙框“执行结果”，再交给右侧绿框“验证器”。下排是一个橙色长框“程序检查＋专家评分细则＋偏好判断”，由箭头向上汇入验证器；验证器则通过顶部虚线箭头将反馈送回智能体，表明评分细则是验证器内部的打分依据之一。
理解了环境与验证器如何给智能体提供学习反馈后，下一章将视角转向外部生态，探讨当带验证的任务变成公开评测榜单时，榜单分数如何连接真实能力并影响数据生意。
本章小结
本章追踪了训练反馈从静态文本细则到动态强化学习环境的演进。通过专家撰写的 Rubric，弱模型得以在非结构化问答中监督强模型；而在智能体动手执行的环境中，程序化检查、模糊细则与专用奖励模型开始混合协同。面对缺乏高频重复反馈的复杂人类决策，如何激励专家交出可回溯的历史经验，成为数据行业的新课题。
榜单分数怎样连接真实能力
通过评分细则与强化学习环境将专家判断转化为反馈后，行业还需要用评测基准来检验模型能力。在每周都有新榜单涌现的生态下，评测与训练数据在商业上遵循着不同的边界，榜单的任务分布决定了总分的真实含义，而长程任务与前沿领域的物理限制也让离线基准依然不可或缺。
评测与训练数据的两种角色
在大模型产业链中，发布评测基准（benchmark，衡量模型能力的标准化测试集）与售卖训练数据往往由同一批团队参与，但两者的定位截然不同。在[00:20:35]的讨论中，主播与嘉宾提到了两套名字相近但形态不同的基准：一套是 Scale AI 联合推出的 Humanity's Last Exam（HLE），另一套是孙一铀所在团队牵头的 Agents' Last Exam（ALE，由 UC Berkeley RDI 与 300 多位行业专家构建、衡量智能体在长程高经济价值任务中可验证表现的评测基准）。何允中指出，评测从原理上体现的是模型当前状态与理想目标之间的差距（gap），本质上是一套科学研究的衡量基准。然而，构建出高水准评测的团队通常对该垂直领域认识极深，这种专业度自然赋予了他们售卖数据的权威性，模型厂商也会更信任其手里的数据，围绕评测卖数据的生意便由此产生。
由于提升特定能力的训练数据与榜单的评测方式息息相关，行业必须在能力建设与单纯刷分之间寻找平衡。在[00:22:18]的交流中，孙一铀专门敲响警钟：评测开发者会面临将评测集直接当成训练数据售卖的商业诱惑，甚至有公司私下踩过这条红线。一旦直接售卖测试题，不仅会彻底污染评测基准的权威性，也会误导其他模型厂商的研发判断。他将两者的生态位严格区分开来：评测面向未来，负责指出模型尚未解决的问题；训练数据面向现在，负责填补评测暴露出的能力需求。例如 ALE 在一二月份刚构建时，当时主流模型的平均分只有 10% 到 20%，大量题目得分为零，团队一度担心题目太难会导致基准失去意义，但后来意识到面向未来的评测本就应当刻画尚未跨越的门槛。
只要严守不直接泄漏和污染测试题的底线，针对榜单优化模型（benchmaxing，围绕特定评测指标最大化得分的做法）未必是一个贬义词。当评测任务本身高度贴近真实用户的日常工作体验时，围绕该评测所揭示的短板去生产同类训练数据，模型分数的上涨就会转化为实打实的日常工作能力提升。在何允中与孙一铀看来，决定训练回报率（ROI）的关键在于区分两类目标：
- 通用认知能力：在某个基准上的训练能泛化并惠及其他榜单，若只有单一榜单分数上涨而其他纹丝不动，往往说明训练过度特化；
- 真实应用场景：即便任务不够通用，只要精准反映了人们看重的实际场景（如个人助手），甚至能帮助排查智能体运行框架（harness，连接模型与工具环境、负责调度与执行的工程外框）中的工程缺陷，这类评测依然具有极高的指导价值。
任务分布决定总分的含义
面对每周都在涌现的新基准，模型厂商在选择优化目标时，看重的是评测集的任务分布（distribution，不同类型与领域任务在评测中所占的构成与权重）。孙一铀以行业内常引用的 Artificial Analysis（简称 AA，将多家独立评测按特定权重综合折算为总分的第三方评测平台）为例指出，将不同榜单加权汇总看似直观，但权重的设定与迭代方式带有主观性。因此，业界对综合榜单的讨论往往不是质疑被测模型本身，而是质疑榜单的权重分布是否代表了实际需求。由于外部基准较难契合各家心目中的理想分布，像 Anthropic 或 OpenAI 这样的头部实验室倾向于自建内部评测体系来贴合自身的目标分布，将第三方基准作为对外发布模型时增强说服力的佐证；而成立不久或内部评测团队尚不完善的实验室，则会更依赖外部评测来把精力集中在模型训练与开发上。
相比综合榜单，垂直领域评测与抽象推理测试呈现出不同的价值取向。对于法律、药物发现（drug discovery）或 AI 辅导（AI tutor）等垂直场景，其任务分布对应了特定从业群体的日常工作；如果评测题目贴近真实业务，围绕该场景把能力做扎实，并结合未见任务与实际工作表现加以检验，就能服务于该群体的使用体验，模型公司内部负责对应垂类的团队也会专门搜集这些小众基准。相反，像 ARC-AGI-2、ARC-AGI-3 这类通过解小游戏来测试智能体抽象推理与智力的基准，初衷虽是检验通用智力，但在实践中却可能被高度特化，甚至用一个经过针对性训练的小模型也能做出高分，因而未必能直接代表真实世界的工作能力。
此外，一个具体评测能否成为行业广泛引用的标准，除了任务质量，还掺杂着发布节奏与传播的随机因素。何允中在[00:28:23]分享了其团队开发 SWE Atlas（一套包含代码仓库问答、代码重构与编写测试三种软件工程任务的评测集）时的亲身经历：团队原计划分三个阶段推出这三个模块并最终合并，其中最简单的代码仓库问答（Q&A）模块最先上线。然而在更复杂的重构与测试模块还没来得及发布合并前，先上线的 Q&A 模块就被 Artificial Analysis 收录了。一旦进入综合大榜，各家技术报告便开始纷纷引用这一单项，瞬间推高了市场对代码问答数据的需求。这让花费大量心血打磨后续复杂任务的研发团队感到哭笑不得，也直观说明公开报告与热门榜单背后存在着时间窗口与偶发采纳的随机性。
长任务为什么难以收集用户反馈
既然人工设定的榜单权重总是存在主观争议，那么最理想的真实分布其实就是直接采集真实世界中的用户体验。孙一铀指出，如果存在一个完美的黄金标准（ground truth），它的形态应当类似于 LM Arena（通过让真实用户对多个匿名模型的盲测输出进行对比投票来排名的平台）：用户在日常向智能体下达指令时，后台同时运行多个模型并由用户直接对结果打分。在早期的问答（Q&A）时代，这种模式运转得极好，因为单次回答开销极低，几秒钟就能生成结果，用户可以迅速给出偏好判断。
然而进入智能体时代后，长程任务动辄需要连续执行几个小时，这套在线盲测机制在现实中便遇到了算力与反馈收集的限制。普通用户在处理日常工作时，通常没有条件每次都同时开启几个智能体并行跑数小时的任务，产品端也缺乏顺畅的机制把长周期的完整反馈收集起来。因此，尽管大模型公司内部会尝试让部分真实用户测试不同版本的模型，但在公开生态中，长程任务较难像简短问答那样靠大众实时投票来沉淀出大规模的真实评测分布。
即使在能够开展线上 A/B 测试（A/B test，将用户随机分组以对比不同模型版本线上表现的实验方法）的场景中，用户的主观偏好也会与客观评测产生差异。何允中提到，在聊天场景中，给用户提供事实性内容（factual），与提供迎合喜好的标题党或讨好型回答（clickbait），在线上测试出的用户反馈可能并不一致。孙一铀也结合自己当时使用编程工具的个人体验做了对比：在他看来，Claude Code 在竞技场类平台受青睐，一个特点是其输出格式贴合中英文用户的阅读习惯、易于理解；而 OpenAI 的 Codex 在他当时的个人体验中执行得更细致、犯错更少，但输出内容相对没那么直观易读，因此在主观打分中稍微吃亏。至于像科学发现这类前沿方向，现实中科学家用户数量有限、实验周期长，很难收集到具备统计显著性的大规模线上 A/B 测试结果，模型迭代依然需要依靠场景设计与评测基准来建立评价标准。
严防评测集直接沦为训练数据
构建评测基准的团队往往因领域认知深而获得售卖数据的商业信任，但绝不能将评测集题目直接卖给模型公司做训练。一旦踩过这条红线，不仅会造成数据污染、彻底摧毁评测基准自身的公信力，还会扭曲整个行业的研发方向。良性的做法是保持评测集独立，仅围绕其暴露的能力短板开发同领域的训练数据。
两类有价值的评测优化方向
针对榜单提升分数（benchmaxing）在两种条件下能产生积极作用：一是聚焦核心认知能力，训练后不仅目标榜单上涨，还能泛化并带动其他未见评测共同提升；二是聚焦高价值真实场景（如个人助手或垂直行业工作流），当基准贴近真实工作且不发生测试题泄漏时，围绕其暴露的短板做优化有助于改善特定场景体验，或帮工程团队排查智能体运行框架（harness）的缺陷。
| 评测或反馈机制 | 解决的核心问题 | 运作机制与现实取舍 |
|---|---|---|
| 前沿能力基准（如 HLE / ALE） | 刻画模型当前水平与未来理想目标之间的差距 | 由领域专家设计高难度闭卷题或长程任务；面向未来指路，但若直接售卖原题会毁掉基准公信力 |
| 综合加权榜单（如 Artificial Analysis） | 将多个分散的评测基准折算为单一总分以便横向对比 | 为不同榜单赋予权重并汇总；外部声量大，但权重设定与收录时机带有主观性与偶发因素 |
| 垂直领域基准（如药物发现、代码专项） | 衡量特定从业群体日常工作流中的专项能力 | 贴合单一行业工作流，结合实际业务检验做针对性优化可服务于该类用户体验，但大众知名度往往较低 |
| 在线盲测与 A/B 测试（如 LM Arena） | 直接捕捉真实用户的实际体验与主观偏好分布 | 短问答开销低、反馈快；但长程任务耗时长、算力贵，且用户容易偏爱排版讨巧而非执行细致的输出 |
正文讨论了评测与卖数据的边界、综合榜单的主观权重以及长程任务难以收集线上反馈的局限。本图浓缩了从单项测试汇总为榜单总分、再与真实体验对照的完整逻辑结构。
读图：榜单分数怎样连接真实能力
图中上排并列三个评测维度：蓝框“代码任务”、橙框“行业任务”和紫框“长程工作流”。三者通过箭头共同向下汇入中间的绿色长框“任务分布与权重 \(\rightarrow\) 综合得分”。在绿框正下方，以一行独立文字“同时对照：跨任务表现 · 真实用户体验”作为提醒，标明综合得分受分布与权重影响，需与泛化表现及真实体验并列参照。
既然贴近真实工作流的垂直评测与用户体验如此重要，数据团队又该如何深入各行各业把原始工作流搬进沙箱？下一章将拆解行业原材料采购与训练环境加工的两段式供应链。
本章小结
本章厘清了评测基准与训练数据在商业生态中的边界：评测负责面向未来暴露能力差距，数据负责在当下补齐短板，守住不售卖测试题的底线才能让针对性优化转化为真实生产力。同时，榜单价值受任务分布、收录偶发因素及用户主观偏好影响，在长程任务与科学发现等难以开展线上 A/B 测试的领域，高质量离线评测依然不可或缺。
先拿到原材料，再造训练环境
评测能够揭示模型与真实工作要求之间的差距，但要填补这些差距，数据供应商不能只靠人工打标签。随着行业从静态文本转向智能体执行，数据生产分化为原材料采购与环境加工两项独立能力，并进一步演变为针对垂直行业的研发竞赛。
采购与加工是两种能力
随着数据需求从人工标注过渡到交付整套强化学习环境（RL Environment，即包含任务指令、工具接口、执行沙箱与结果验证机制的交互系统），市面上涌现出一批规模只有几人的初创团队。何允中指出，这类年轻团队之所以能在短期内跑通业务，是因为它们大多聚焦于合成环境，并投入了大量工程能力，基于强模型或半成品项目构件（artifact）批量生成可运行的训练任务。这一路径在代码赛道之所以率先成立，离不开软件行业的特殊属性：一方面，开源社区提供了海量公开代码与文档；另一方面，数据公司的工程师本身就懂编程，既是生产者也是领域专家，无需跨行业沟通就能自行构造和检验训练数据。
然而，当训练需求跳出通用代码、走向更广泛的行业工作流时，后训练数据的生产就明确拆解为两道环节（35:15）：
- 数据采购（Sourcing）：把散落在各行业中的真实原始项目、软件许可、私有仓库或业务文档买回来，或者通过新的激励机制收集上来，解决“有没有原材料”的问题。
- 环境加工（Processing）：通过人工标注或自动化智能体流水线（agent pipeline），将原始素材改造并封装成带有工具和验证器、可供大模型反复试错学习的训练环境。
即便在看似公开的代码领域，谁能采购到未公开的私域代码仓库，依然能建立显著壁垒；一旦进入非软件的垂直行业，采购的复杂度更会成倍上升。何允中总结说，小团队靠工程合成在代码风口站稳脚跟后，下一步能否跨越到垂直领域，很大程度上取决于能否补齐原材料获取与工具链整合的能力。
垂直领域需要软件、资料与专家
在芯片设计、系统运维和生物医药等垂直场景中，仅有行业专家口述知识或编写评分标准远远不够，模型还必须拥有能够实际动手的工具和真实的业务底座。何允中举例说（35:41），如果要构建芯片设计的训练环境，数据团队不仅要还原设计流程，还会碰到商业软件授权的门槛——如何拿到工业级商业软件的版权并将其合法封装进沙箱，本身就是一道棘手的采购与工程难题；而在系统运维（DevOps）场景中，为了让智能体像系统工程师一样操作云服务，甚至有创业公司专门开发了一整套 AWS 模拟器。每个垂直赛道都藏着这类需要专门采购或定制软件的深水区。
除了软件工具，原始业务资料的采购成本与合规风险同样是行业卡点。孙一铀分享了团队在筹备 Agents' Last Exam（ALE）V2 版本时的真实经历（36:45）：一方面，通过众包向专家征集历史项目时，有人甚至把法院证据等高度私密、不符合规范的材料交了上来，团队必须逐一筛除；另一方面，商业采购往往伴随高昂报价，例如他们在尝试收集 Steam 游戏开发任务时，曾就一款用户体量不大的游戏向开发方询价购买源码，对方在该次询价中给出的要价高达两三百万元人民币一条。对于这一具体询价案例，孙一铀坦言，无论是学术评测团队还是数据公司，都很难承受按这种单价规模化采购源码的成本。
更广泛的挑战在于，人类社会的专业工作流还有大量空白尚未被触及。何允中提到，医疗领域的病例数据较为敏感，谁能合规拿到谁就有优势；而在药物研发中，连分子交易中的尽职调查（DD）这样具体的环节，外行如果不和从业者深聊甚至不知道其存在。孙一铀也用团队的粗略梳理印证了这种稀缺性（38:36）：他们按照《Nature》出版物的子学科分类，将生物学领域的工作流展开成树状结构，发现在展开到第三级时大约有 3000 个细分节点；而把市面上已有的生命科学和生物评测基准汇总统计后，粗略估计覆盖率连 5% 到 10% 都不到。这说明无论在成型评测还是对应任务数据上，都有大量细分工作尚未被覆盖，需要先系统梳理领域工作流。
数据公司的持续研发
既然大模型能力越来越强，模型实验室内部也有后训练团队专门负责买数据、合数据与验证数据，外部数据供应商为什么没有被取代？面对孙一铀关于“过去靠影印奥数课本造出的数学数据如今已近乎零价值、非头部公司入场门槛是否越来越高”的提问，何允中认为，如果供应商只盯着手上已有的常规业务，随着竞争者涌入，利润率（margin）确实会不断被压缩；因此，优秀的数据公司本质上做的是研发（R&D）生意——像软件公司一样提前预判未来需求，把赚到的钱投入下一个未开拓行业的采购与环境攻关中。
何允中进一步分析，大模型实验室在运作机制上存在几处客观限制，使它们难以完全包揽所有数据工作（41:07）：
- 商业利益冲突（Conflict of Interest）：一些大模型公司会派驻场部署工程师（FDE，进入客户企业现场协助部署与定制 AI 系统的工程师）服务企业客户，如果同时又有一拨人在收集和提炼这类企业的业务数据，企业出于商业机密顾虑，往往不太放心把核心数据直接交给模型公司，反而需要第三方机构在中间完成采购与深入行业的加工。
- 研发周期与截止期（Deadline）约束：模型实验室的研究员通常背负着严格的版本发布时间表，较难获批半年时间去从头摸索一个陌生行业的工作流；当外部数据商已经提前投入研发、买回行业资料并验证了评测或训练数据的有效性时，实验室出于效率考虑往往愿意采购或参考。
当然，大模型实验室也有打造第一方数据的动力，因为它们不希望竞争对手能从同一个供应商手里买到完全相同的能力，因此市面上也出现了实验室通过专家匹配（expert matching）直接把外部专家派驻到内部团队的做法。针对“同一份第三方数据卖给多家模型公司如何体现区分度”的疑问，何允中指出，商业上通常有直接的解决方式：预算充足的模型公司会选择多付钱，将高质量数据集或训练环境独家买断（44:15）。在海量行业工作流尚未被蒸馏完毕的阶段，内部自建与外部采购将会长期并行。
后训练数据的两段式供应链
当交付物从静态问答升级为强化学习环境，数据生产便拆解为“采购”与“加工”。采购负责获取私域代码、商业软件授权与行业真实项目；加工则通过标注和智能体流水线，将原始素材封装成带验证器的可交互环境。
垂类原始资料的合规与成本门槛
向垂直行业收集真实项目时，数据团队既要防范专家上传法院证据或敏感病例等不合规素材，又要面对高昂的商业报价。例如 ALE 团队在收集 Steam 游戏开发任务时，针对一款用户体量不大的游戏单次询价源码，对方报价达两三百万元人民币一条，难以靠直接买断规模化复制。
| 领域或场景 | 核心原材料与工具需求 | 主要获取壁垒与解决机制 |
|---|---|---|
| 通用软件与代码 | 开源代码仓库、公开技术文档、私域代码库 | 公开资料多且数据工程师自备专业能力，小团队易做合成；高壁垒在于私域仓库采购 |
| 芯片设计与系统运维 | 工业级商业设计软件、AWS 等云环境操作接口 | 需解决商业软件版权授权并封装入沙箱，或专门研发云服务模拟器 |
| 医疗与药物研发 | 真实患者病例、私有药物数据库、分子交易尽调流程 | 数据高度敏感且细分工作流隐蔽，需深度访谈行业专家并突破合规采购瓶颈 |
| 游戏开发项目 | 完整游戏工程源码、带版权的游戏画面与视频 | 针对一款用户体量不大的游戏单次询价源码曾达两三百万元人民币，纯靠资金买断难以规模化，需探索新激励机制 |
正文对比了代码领域的开源合成优势与医疗、芯片、游戏等垂直行业的采购壁垒。本图将后训练数据的供应链清晰拆解为上排的“原材料获取”与下排的“环境加工”两道工序。
读图：先拿到原材料，再造训练环境
图中呈U型顺时针流向：上排从左向右，依次由蓝框“专业知识，项目材料”指向橙框“获取资料，明确使用许可”，再指向右上角紫框“设计真实任务”；随后箭头向下接入下排右侧紫框“工具与沙箱”，并从右向左依次经过中间绿框“验证任务结果”，最终抵达左下角绿框“交付训练环境”。底部文字点明获取与加工能力共同决定交付。
走通了从行业原材料采购到训练环境交付的供应链后，模型公司拿到环境却不能原封不动地直接开训。下一章将解析数据商如何配合下游训练方案完成定制转化。
本章小结
本章拆解了训练环境背后的供应链：代码领域的开放性让小团队得以靠工程合成快速起步，但迈向芯片、运维、生物医药等垂直领域时，数据公司必须同时解决商业软件授权、私有资料合规采购与专业环境加工。由于模型实验室受限于研发排期与企业客户利益冲突，能够提前开展行业研发并支持独家买断的数据商仍掌握着关键生态位。
一份好评测为何未必能直接训练
拿到了行业原材料并搭出环境后，数据工作并未结束。节目讨论的部分结果型评测只需客观检验模型最终有没有完成任务，而模型训练则必须提供可消化的学习信号。数据供应商需要配合模型公司的训练方案（training recipe），在学习方式、防作弊、资源预算与难度匹配上完成转化。
按学习方式准备数据
当模型公司从供应商手中采购回数据或环境时，通常要先匹配内部的训练方案（training recipe，即模型训练的具体方法与配比流程）。何允中在 44:29 附近梳理了后训练阶段常见的两套基础方式：针对结构相对简单的数据，模型团队通常会采用监督微调（SFT，Supervised Fine-Tuning），把正确的答案或操作步骤直接提供给模型去学习；而对于配备了评分细则或验证器的任务，则会进入强化学习（RL，Reinforcement Learning）流程，让模型在环境中不断生成尝试，并由打分模型持续给出反馈信号。
然而，当行业焦点转向长程智能体任务时，原有的固定配方开始变得模糊。何允中以当时备受关注的RSI（Recursive Self-Improvement，递归自我改进，即让AI在环境中自主研发和优化AI）为例指出，这类任务动辄需要在配有GPU的复杂环境里连续运行几天甚至一个星期，让模型在里面真正执行“模型训练模型”的工作。面对如此超长周期的交互，到底该如何截取反馈信号、如何设计更新机制，业界尚未形成统一的共识。这也意味着，数据供应商不能只满足于搭建一个逼真的模拟任务，还必须提前考虑下游客户究竟打算怎样训练模型，并围绕具体的训练方式对环境与数据形态做深度定制。
为了帮助模型降低初期探索的难度，供应商有时还会围绕交互轨迹（trajectory，即智能体在环境中可记录的操作动作、工具调用与环境反馈序列）做采集与加工。何允中在 48:16 左右补充道，如果客户把模型跑出的轨迹交回，数据团队可以代为采集和筛选；甚至当模型自己做不出某类难题时，供应商可以组织人类专家操作，构造出能够解决问题的轨迹交付给客户。这样客户就可以先直接利用这些轨迹做监督微调（SFT），减少直接在强化学习中盲目试错的困难。
防捷径、控预算与匹配难度
从评测基准走向训练环境，孙一铀在 45:34 提出了一个追问：如果团队参照 ALE（Agents' Last Exam）这类任务去构造一批训练数据，怎样在不完整训练一个模型的前提下，系统化地评判这批数据能否带来泛化能力提升？何允中回应称，造训练环境时大家很怕遇到奖励作弊（reward hacking，即模型未真正完成任务，而是利用规则漏洞使手脚骗取高分）。如果在环境里留有捷径，模型明明没有完成核心任务却拿到了高分，训练出来的就会是一个“耍滑头”的模型。为此，常用的技术是引入智能体开展红队测试（red teaming，模拟攻击者或用强模型主动寻找系统漏洞的测试方法），先让能力较强的模型去任务里尝试能不能找到捷径，提前排查验证漏洞。
除了防范作弊捷径，训练环境对任务执行过程的考量往往比单纯的结果型评测更多。何允中结合个人猜想（不代表 Scale AI 或特定客户）分析道，许多评测基准的设计可能主要关心模型最后有没有完成任务；但在模型训练中，“怎样完成任务”也会起到重要作用。他在 46:46 处举了预算（budget）的例子：训练模型时可能会关心它是否消耗了过多的词元（token）或执行步数。因此，在拿类似 ALE 的复杂任务数据做训练时，最终的奖励（reward）设计可能会比较复杂——不仅看问题有没有解出来，还可能结合资源消耗情况与多维度的防作弊检查，共同构成一套适配客户需求的训练方案。
在此基础上，训练数据最常见的一项定制工作是难度适配。评测与训练在难度诉求上存在差异：
- 评测基准的难度取向：通常希望客观反映行业难度且不要太快饱和，往往倾向于偏难，只要不至于让模型完全得零分即可；
- 强化学习训练的难度要求：需要对目标模型做特化，让题目难度保持适中，既不能太简单，也不能太难。
何允中在 47:56 解释了背后的原因：在节目讨论的以任务成败为主要反馈的强化学习设置中，模型需要在环境里自己尝试（rollout），如果尝试对了就能学到东西；但如果给的题目太难，模型什么都做不出来、所有尝试全是零分，就难以产生可区分的有效学习信号。因此在实际业务中，一些模型厂商会把尚未发布的模型交给数据供应商，由供应商帮它筛数据，挑出对该模型而言难度适中的题目交付训练。
防范环境中的奖励作弊（Reward Hacking）
在强化学习环境中，模型可能找到验证规则的漏洞，通过篡改测试状态或伪造输出等“耍滑头”手段在不解决实际问题的情况下骗取高分。何允中提到，可以在交付前使用较强模型开展红队测试（Red Teaming），主动排查并封堵环境中的投机捷径。
为什么太难的好题反而无法用于强化学习
在以任务成功或失败作为主要反馈信号的强化学习设置中，模型依赖自主尝试并从成功样本中获取正反馈。如果训练题像前沿评测一样过难，待训练模型在尝试中什么都做不出来、得分全为零，就难以区分哪些行为更好。因此供应商常需用客户的未发布模型先行试跑，筛选出难度适中的题目。
| 应用形态 | 核心目标 | 信号机制与难度取舍 |
|---|---|---|
| 评测基准（Benchmark） | 客观衡量模型与理想能力的差距 | 节目讨论的部分结果型评测侧重验证最终是否完成任务；难度通常偏高以反映行业门槛并防饱和 |
| 监督微调数据（SFT） | 让模型直接模仿正确的解题动作 | 直接提供标准答案，或采集筛选模型与人类的可记录操作轨迹，降低初期探索难度 |
| 强化学习环境（RL） | 让模型在试错探索中自主提升能力 | 奖励设计可能综合任务结果、词元/步数预算与防作弊检查；题目难度需与当前模型水平适中匹配 |
正文阐述了监督微调与强化学习的不同需求，以及防奖励作弊、控制预算和匹配难度的工程细节。本图总结了同一套任务与环境如何分流转化为适配模型的两类学习信号。
读图：一份好评测为何未必能直接训练
图中顶部居中为蓝框“任务与环境”，底部引出两条箭头向左右分流：左支路接入紫框“答案与轨迹 \(\rightarrow\) 监督微调”，对应正文采集人类或强模型轨迹直接供模型模仿；右支路接入绿框“执行反馈 \(\rightarrow\) 强化学习”，让模型在试错中根据打分改进。图最下方是一行居中说明文字“共同条件：难度匹配 · 资源预算 · 捷径检查”，概括了转化时的三项定制要求。
无论训练配方与难度适配做得多么精细，一旦源头专家交上来的任务或答案存在缺陷与造假，整条管线仍会失效。下一章将回到数据源头，探讨质量防线与专家激励。
本章小结
本章揭示了评测基准与训练数据在工程落地上的本质差异。节目讨论的部分结果型评测侧重最终完成情况，难度需反映行业任务；训练还要匹配模型水平和具体的 training recipe。无论是通过红队测试封堵reward hacking、在奖励中加入token与步数预算限制，还是用客户未发布模型筛选适中难度、录制人类轨迹做SFT，核心都是为了让模型获得真实、可消化的学习信号。
专家数据的质量与激励
当训练环境做好难度匹配与防捷径设计后，真正的瓶颈往往回到源头：人类专家交上来的材料本身是否可靠。本章结合评测失效案例与一线收数经验，拆解数据污染、脚本缺陷与专家造假的区别，并探讨如何通过合理的激励机制与持续研发，让高价值行业经验进入模型训练循环。
分清污染、错题与伪造材料
在评测分数逐渐接近上限时，分数失真往往来自完全不同的源头。主播在[00:48:43]提到，OpenAI 宣布停止报告模型在 SWE-bench Verified（让 AI 修复真实开源软件项目问题并运行测试判分的评测集）上的成绩，并指出了两类核心原因：一类是测试本身存在缺陷，导致功能上正确的解法被判错；另一类是数据污染（模型在训练阶段已接触过评测题目或原始修复代码，在特定提示下能直接复现人类解法，使测试分数难以反映真实能力）。何允中进一步区分说，很多代码评测暴露出的首先是任务设计粗糙与“假错误”，例如测试脚本要求过于苛刻，或者题干要求本身没有交代清楚；而预训练阶段混入公开评测题则是另一重独立问题，可以先检索公开来源和内容重合线索，再结合模型复现等现象判断污染风险。
顺着 SWE-bench Verified 的例子，孙一铀补充了他对基准饱和的个人印象：该榜单在过去六个月里似乎仅从 74% 提升到 80%，而未解题目中有一部分可能存在测试脚本写得过于严苛（harsh）或题目本身不可解等问题，当剩余约 20% 空间受这类问题影响较大时，基准便逐渐失去了横向对比模型的意义。相比能够检索到公开来源的内容重合线索，更棘手的质量问题来自专家源头提交的错误或伪造材料。在构建 ALE（Agents' Last Exam）时，团队采用论文作者署名（authorship）作为激励：贡献者提交的任务一旦被采纳，就能进入作者列表。但在实际征集中，少数参与者为了拿到署名而敷衍提交，甚至直接调用智能体合成杂乱数据，部分材料连肉眼都能看出是编造的。
当伪造行为发生在高门槛的垂直学科时，验证和排查会变得十分耗时。孙一铀在[00:52:10]以化学模拟任务为例说明：如果一位提交者根本没有实际跑过模拟，而是自己编造了一套看似合理的假数据交上来，项目组可能几个月都查不出问题。在实际运行中，一种发现异常的线索是：当多个智能体的能力远超该问题本身、它们各自算出的答案高度一致却唯独与提交者给出的“参考答案”不符时，团队才会意识到题目可能有问题并展开核查；但如果在收集之初就聘请第二位同领域专家去复核这道原本就要花一两周才能做完的难题，不仅成本高昂，复核专家本人也同样可能为了省事而敷衍放行。
专家为什么愿意交出经验
既然事后依赖人工复核成本高且存在风险，数据生产就需要探索激励与过程约束的结合。何允中指出，无论是学术项目提供署名，还是商业数据公司发放按小时计费的报酬，参与者都可能寻找偷懒或作弊的途径。为此，他提出一种个人设想，即在采集中探索类似工作量证明（Proof of Work，通过要求记录完整工作流程与时长来提高造假门槛的验证思路）的机制：例如针对特定任务，要求参与者把整段工作流程录制下来并满足一定的操作时长（比如踏实做满 12 个小时、交出每一步动作）。当合成假数据也必须录制完整动作、耗费同样精力时，造假的动机就会减弱；不过不同形式的问题需要匹配不同的奖励与验证机制，这类过程记录同样存在成本取舍，并不能彻底消除人性博弈。
除了防范造假，激励方式也会影响哪些专家愿意参与数据供给。孙一铀在[00:57:10]对比了商业采购与学术众包的差异：面对原始项目与代码高昂的商业收购价，普通按时计酬在吸引高端人才上有其局限。他以自己在 Mercor 官网上看到的公开专家时薪为例，制造业工程师的报价大约在一两百美元一小时；在他看来，这样的价格区间较难招到行业里最顶尖的高级工程师。相比之下，高校主导的学术基准之所以能吸引到这一级别的人参与，是因为许多专家并不图按小时计算的劳务费，而是出于共同把行业基准做好的目标，或是看重学术声誉与署名荣誉，从而愿意无偿把过往的真实项目经验贡献出来：
- 论文署名与共同目标：依靠学术名誉与共建愿景吸引不计较短期劳务费的高阶专家，适合征集复杂长程任务，但需防范少数人蹭署名而合成假题；
- 按时计酬的商业合作：通过每小时一两百美元等明码标价组织外部产能，可配合过程记录控制质量，但孙一铀认为受限于时薪水平，在触达最顶层专家时存在门槛。
把数据研发做成持续的循环
当讨论从“谁来提供经验”转向“工作流数据究竟长什么样”时，主播提出了一个常见疑问：既然市场一直在强调真实行业工作流，为什么大家看起来还是在扎堆卷代码数据？孙一铀在[00:53:33]给出了他的判断：真实工作流本质上大多可以被划归为代码问题。他以三维建模为例，像 FreeCAD 这类软件本身就提供了现成的 API（应用程序编程接口），智能体并不是在做传统的算法竞赛题，而是通过写代码去调用工具、完成建模工作流。在他看来，只要具备足够完善的 MCP（Model Context Protocol，模型上下文协议，用于连接大模型与外部工具及数据源的接口规范）与 API 调用支持，经验上约 95% 以上的任务都能被转化为代码执行问题。何允中认同这一机制，并总结道：让智能体干活时，不同领域的任务目标与环节虽然各异，但代码就是智能体的“手和脚”。
既然各行各业的深层工作流都需要被转化为智能体可执行的环境，而医疗、工业等私域数据又极难单纯靠小时工买到，行业内甚至出现了通过资本并购来获取数据的苗头。何允中结合自己的行业见闻提到，传统的私募股权（Private Equity）业务过去习惯收购传统企业、通过裁员或引入 AI 提效来包装转卖；而现在听说多了一层新玩法——买下垂直行业公司后，除了做 AI 提效重组，还能把企业内部沉淀的业务数据发掘出来售卖变现。在他看来，如果未来五到十年大模型依然保持高速演进且不遇瓶颈，把各行各业的隐性知识与数据资产挖掘出来，甚至可能与大模型本身并列成为最大的两个产业方向。
不过，无论数据生意眼前多么繁荣，两位嘉宾都强调它绝不是一门可以“躺着吃老本”的生意。孙一铀指出，社交或搜索巨头一旦积累起庞大的用户网络，就能依靠平台杠杆持续获得收益；但数据公司的估值逻辑不同，因为模型迭代速度极快，昨天的难题今天就可能失去训练价值。何允中总结说，随着新实验室（neolabs）不断入场，市场蛋糕确实在变大，但具体的数据品类会迅速折旧，数据公司最终拼的是持续的研发（R&D）能力——也就是能否把“洞察下一个未解行业、提前采购原料、研发验证环境”固化成一条持续运转的飞轮（flywheel）流水线。
警惕把“代码占主导”当成只做算法题
嘉宾估计“95%以上任务可归结为代码”，并非指数据公司只需生产传统的软件工程或算法题，更不是行业统计数字。其核心机制是：三维建模等非编程领域的真实工作流，在智能体执行时仍需通过编写代码来调用 FreeCAD API 或 MCP 接口，代码在此充当智能体操作外部软件的“手和脚”。
按时计酬与过程录制只是博弈取舍
无论是何允中设想的要求录制完整操作流程与时长（如做满 12 小时）的“工作量证明”思路，还是商业平台提供的一两百美元时薪，都是工程与商业上的博弈取舍而非绝对保证。前者通过增加过程记录要求来削弱合成假数据的动机；后者则如孙一铀所观察，在触达最顶层行业专家时可能受限于时薪激励的上限，商业与学术模式各有其适用边界。
| 问题类型 | 对评测或训练的影响 | 嘉宾提到的排查或应对思路 |
|---|---|---|
| 测试脚本或题目缺陷（如 SWE-bench Verified 部分未解难题） | 测试脚本要求过于严苛或题干不清，产生“假错误”，将功能正确的解法误判为错 | 复核题目与脚本合理性，或在缺陷占比较高时不再将其作为核心对比指标 |
| 公开数据污染（如预训练混入开源仓库原题与修复代码） | 模型在特定提示下直接复现原本的人类代码，导致测试分数难以反映真实能力 | 检索公开来源与重合线索，再结合模型复现等现象判断污染风险 |
| 专家伪造材料（如为获取署名用智能体编造任务材料） | 似是而非的假数据表面逼真，单靠短期测试难以识破，长期误导任务评判 | 借多模型结果一致但与参考答案不符的线索触发核查、请第二位专家复核，或探索过程录屏约束 |
本章结合SWE-bench Verified停报争议与化学模拟假数据等案例，剖析了源头数据的失真原因与激励困境。本图将三类核心质量风险及其对应的处理方向进行了结构化对比。
读图：专家数据的质量与激励
图中分为三列上下对应结构：左列由上排蓝框“数据污染”垂直指向下排绿框“隔离测试内容”；中列由上排橙框“测试或答案错误”指向下排绿框“复核标准与解法”；右列由上排紫框“伪造任务材料”指向下排绿框“核对过程与结果”（正文讨论了多模型一致性排查、二次复核与过程录屏等具体思路）。底部文字“贯穿全程：让提交者与复核者的激励对齐”点明核心挑战。
至此，本讲义从数据公司分类、验证机制、评测分布、原料采购、训练转化到专家质检激励，完整梳理了AI数据产业链的运作逻辑，接下来将在总结中收束全文核心洞见。
本章小结
本章从 SWE-bench Verified 的停报争议切入，区分了测试脚本过严、预训练数据污染与专家主动造假三类质量风险。围绕化学模拟假数据与 Mercor 时薪案例，讲义对比了商业时薪、过程录制与学术署名在防作弊和吸引顶尖人才上的取舍，并阐明代码作为智能体“手脚”如何支撑跨行业数据研发飞轮。
总结与延伸
回顾整条 AI 数据产业链，数据公司的核心交付物已从早期的众包标签，扩展为专家撰写的评分细则以及包含任务、工具、沙箱与验证器的强化学习环境，而不同阶段的交付物至今仍在各自场景中并行发挥作用。当模型训练迈向复杂的行业工作流，代码成为智能体调用外部接口的“手和脚”，数据生产也随之拆解为高门槛的行业原材料采购与贴合训练方案的环境加工。
在产业链源头，如何让人类专家交出真实的隐性经验并确保质量，始终是一场关于激励与验证的博弈。孙一铀指出，商业平台按小时计酬（如每小时一两百美元）虽能快速组织产能，但在他看来较难单凭这一时薪吸引最顶层的工程师；而学术项目依靠论文署名与共建行业基础设施的共同目标，能够吸引高阶专家无偿贡献复杂项目，却也必须防范少数人为蹭署名而编造假数据，或辅以过程录制、二次复核等高成本手段。
展望未来，两位嘉宾一致认为数据生意缺乏传统社交或搜索巨头“躺着吃老本”的网络杠杆。随着模型快速迭代，旧题库与常规标注会迅速折旧；无论是挖掘私域行业资产，还是为长程智能体任务定制训练信号，数据公司最终比拼的是能否把“洞察未解行业、合规采购原料、研发验证环境”固化为持续运转的研发飞轮。
拓展阅读
以下资料供回看节目、查阅术语与继续学习。
- 硅谷101：原节目：https://www.bilibili.com/video/BV1imaq6mEof/
- Humanity's Last Exam 官方仓库：https://github.com/centerforaisafety/hle
- Terminal-Bench 官方仓库：https://github.com/laude-institute/terminal-bench