跳转至

Karpathy 谈 Coding Agent、AutoResearch 与 AI 的未来

LaTeX 源码 · 备用 PDF · 观看视频

字段 内容
作者/整理 基于公开课程资料整理
来源 No Priors Podcast（Sarah Guo 主持）
日期 2026年3月

从写代码到指挥 Agent：工作范式的根本转变

2024年12月：分水岭时刻

Karpathy 用了一个词来描述自己的状态——AI psychosis（AI 精神错乱）。他说自己一直处于这种状态中，因为个人能力被解锁到了前所未有的程度。过去你的瓶颈是打字速度，而现在有了 Agent，一切都不同了。

“Code's not even the right verb anymore. I have to express my will to my agents for 16 hours a day.”

——写代码已经不是对的动词了。我每天得花16个小时向 Agent 表达我的意志。

他将2024年12月定义为分水岭：在那之前，他自己写80%的代码、Agent写20%；之后比例翻转为20/80，而且到现在可能更极端——从12月起他基本没手写过一行代码。

他试图向父母解释这件事，但发现普通人完全没有意识到变化有多剧烈。如果你随便找一个软件工程师看看他的工作台，会发现他做事的默认流程从2024年12月起已经完全不同了。

核心洞察：约束条件的迁移

过去至少十年，很多工程任务中人们并不觉得受算力约束。但现在有了这次能力跳跃，你突然发现约束不再是计算资源——你自己才是瓶颈。这其实令人振奋，因为你可以变得更好，所以这件事会上瘾。

Sarah Guo 补充了一个场景：她在 Conviction 基金的工程团队，所有人都不手写代码，工程师们全部佩戴麦克风，对着 Agent 低声说话。她说一开始觉得他们疯了，后来才意识到他们只是走在前面。

多 Agent 并行与 Token 吞吐量

Karpathy 提到 Peter Steinberger 的工作方式作为标杆。Peter 同时在十几个代码仓库之间切换，每个 Agent 用 high effort 模式大约需要20分钟完成任务。操作单位不再是"写一行代码"或"加一个函数"，而是"这个功能交给 Agent 1，那个不会冲突的功能交给 Agent 2"，然后根据你对代码质量的在意程度来审查结果。

“What is your token throughput and what token throughput do you command?”

——你的 Token 吞吐量是多少？你能指挥多少 Token 吞吐量？

他用 PhD 时期的经历做类比：当时 GPU 闲着没跑实验就会焦虑——那代表浪费了算力。现在焦虑的对象从 FLOPS 变成了 Token。如果你还有订阅额度没用完，就意味着你没有最大化自己的 Token 吞吐量。

Peter Steinberger

奥地利开发者，OpenClaw 开源 Agent 项目的创始人。OpenClaw 是一个可以通过 WhatsApp、Telegram 等消息平台操控的自主 AI Agent，2026年初在 GitHub 上获得超过24万颗星。Steinberger 于2026年2月加入 OpenAI。

一切都是 Skill Issue

当被问到现在做项目的瓶颈是什么时，Karpathy 说一切感觉都是 “skill issue”（技能问题）——不是能力不够，而是你还没找到怎么把现有能力串起来。Agent 的 instructions 写得不够好，memory 工具不够成熟——出问题时总觉得是自己没搞对。

他描述了一个层层递进的结构，像洋葱的层：LLM 被视为理所当然 \(\rightarrow\) Agent 被视为理所当然 \(\rightarrow\) Claw 实体被视为理所当然 \(\rightarrow\) 可以有多个 \(\rightarrow\) 可以有 instructions \(\rightarrow\) 可以优化 instructions。每一层都无限延伸。

“This is why it gets to the psychosis — this is like infinite and everything is skill issue.”

——这就是为什么会到精神错乱的地步——这是无限的，一切都是技能问题。

本章小结

2024年12月是 AI 编程范式的分水岭。工作单位从代码行变为宏操作（macro actions），衡量指标从 FLOPS 变为 Token 吞吐量，瓶颈从计算资源变为人类自身。多 Agent 并行成为常态，工程师需要发展全新的"肌肉记忆"来适应这种工作方式。

Agent 的灵魂：个性设计与 Claw 架构

什么是 Claw

Karpathy 提出了 Claw（爪子）的概念——一种比普通 Agent 更"持久"的实体。它有自己的 sandbox，有更成熟的 memory 系统，即使你不看着它也在循环运行。他认为 OpenClaw 在 memory 系统上比默认的 Agent 工具成熟得多：默认的 memory 机制只是在 context window 满了之后做一次压缩，而 OpenClaw 有更精细的方案。

Peter Steinberger 在 OpenClaw 上同时在至少五个方向上创新——memory 系统、工具访问、持续循环、WhatsApp 统一入口——以及一个常被忽视但极其重要的方面：SOUL.md（灵魂文档），定义 Agent 的性格。

Agent 个性的重要性

Karpathy 对比了几家的 Agent 个性：

Claude Code——感觉像一个队友，它会跟你一起兴奋。Karpathy 认为 Anthropic 在"拍马屁的程度"上把握得不错：当他提出一个不太成熟的想法时，Claude 不会特别激动；但当他自认为提出了一个真正好的想法时，Claude 确实会给出更积极的反馈。

“When Claude gives me praise I do feel like I slightly deserve it... I'm trying to earn its praise which is really weird.”

——当 Claude 夸我的时候，我觉得自己是有点配得上的。我发现自己在试图赢得它的称赞，这真的很诡异。

OpenAI Codex——编程 Agent 版本非常干燥冷冰冰。ChatGPT 里的 Codex 很活泼，但 coding agent 版不在乎你在做什么——"噢，我实现了"，你问"你理解我们在造什么吗"，它没反应。

设计启示：个性不是装饰

很多工具低估了个性设计的重要性。Agent 的"灵魂"——它如何回应你的想法、是否理解项目的意义、是否让你觉得在和一个队友合作——直接影响用户的工作体验和投入程度。

Dobby the Elf：三个提示词接管一整个家

Karpathy 建了一个叫 Dobby the Elf Claw（家养小精灵 Dobby）的家庭自动化 Agent。过程出奇简单：

  1. 他告诉 Agent "我家好像有 Sonos 音箱，你能找到它吗"
  2. Agent 扫描局域网上所有设备，找到 Sonos 系统——完全没有密码保护
  3. Agent 登录、搜索 API 接口、逆向工程控制流程
  4. 三个提示词之后，书房开始播放音乐

灯光、HVAC、窗帘、泳池、水疗设备都是同样的流程。安防系统的设计尤其有趣：外部摄像头做变化检测，然后把画面发给 Qwen 视觉模型分析，最后通过 WhatsApp 发消息——"一辆 FedEx 货车刚刚停下来，你可能收到了快递"。

过去他需要六个不同的 App 来控制智能家居设备，现在一个都不需要了。Dobby 用自然语言处理一切。

Agent 优先的互联网

这个家庭自动化案例引出了一个更深层的问题：人们真的需要今天这些软件吗？

Karpathy 认为 App Store 里的那些智能家居 App 在某种意义上"不应该存在"。应该只有 API，Agent 直接调用。一个 LLM 可以驱动工具、调用所有接口、做相当复杂的跨系统整合——而任何一个单独的 App 都做不到。

行业重构的方向

客户不再是人类了，是代表人类行事的 Agent。行业必须在很多方面重新配置。一两年内，这些东西会变成基本门槛，变成 ephemeral software（临时性软件）——Claw 有一台机器，它会帮你搞定所有细节，你不需要参与，你只需要说话。

本章小结

Agent 的架构正在从单次交互走向持久化的 Claw 实体。个性设计（SOUL.md）是被低估的关键维度。家庭自动化案例展示了 Agent 统一多系统的能力，预示着从"人用 App"到"Agent 调 API"的根本转变。

AutoResearch：递归自我改进的试验田

核心理念：把自己从循环中移除

Karpathy 之前发过一条推文，成为 AutoResearch 的哲学基础：

“To get the most out of the tools that have become available now you have to remove yourself as the bottleneck.”

——要充分利用已有工具的全部潜力，你必须把自己作为瓶颈移除。

你不能在那里等着提示下一步。你要安排好一切，让系统完全自主运行。当下竞争的本质是增加你的杠杆——你偶尔投入一点 Token，大量的事情代替你发生。

nanochat：两个十年的经验 vs 一个晚上的 Agent

很多人对 Karpathy 痴迷训练 GPT-2 级别的模型感到困惑，但对他来说，这是递归自我改进（recursive self-improvement）的试验田——正是所有前沿实验室都在追求的方向。

他已经用"老派"方式把 nanochat（他的精简 LLM 训练框架）调得相当好——做了二十年研究，做了大量超参数搜索和实验。然后他让 AutoResearch 跑了一个晚上。

Agent 回来的时候带着他没发现的优化：

  • Value embeddings 上的 weight decay 漏了
  • Adam 优化器的 beta 参数没调够
  • 这些参数之间有联合交互效应——调了一个，其他的最优值也变了

过度自信的陷阱

Karpathy 坦言自己有"两个十年的earned confidence"，自认为已经调好了。但 AutoResearch 一个晚上就发现了他遗漏的优化。他的结论是：研究者不应该成为瓶颈——不应该是你在跑超参数搜索、不应该是你在看结果。有客观标准的地方，就应该让系统自主运行。

AutoResearch 公开成果

AutoResearch 于2026年3月7日开源，核心是一个约630行的 Python 脚本，让 AI Agent 在单 GPU 上自主循环运行实验。两天连续运行约700次实验，发现约20个叠加有效的改进，将"Time to GPT-2"排行榜指标从2.02小时降到1.80小时——在一个已经调好的项目上获得了11%的效率提升。Shopify CEO Tobias L\"{u}tke 用同样的方法在自己公司内部数据上跑了37个实验，获得了19%的性能提升。

program.md：每个研究组织都是一组 Markdown 文件

Sarah 问：什么时候模型能写出比你更好的 program.md？

Karpathy 展开了一个框架：

“Every research organization is described by program.md. A research organization is a set of markdown files.”

——每个研究组织都是由 program.md 描述的。一个研究组织就是一组 Markdown 文件。

不同的 program.md 会产生不同的研究进展。一个组织可以少开晨会（因为没用），另一个可以多承担风险。你可以想象让多个"研究组织"竞赛，然后分析改进来自哪里，用分析结果让模型生成更好的 program.md——这就是元优化（meta-optimization）。

Sarah 提出了一个竞赛想法：让不同的人写不同的 program.md，在相同硬件上比谁获得最大改进，然后把所有数据交给模型写出更好的 program.md。Karpathy 认为这100%可行——"我们一定会得到更好的东西。"

从单循环到分布式：Open Ground 的设想

AutoResearch 当前是单线程的——一个 Agent 在循环中不断改进。Karpathy 一直在思考如何并行化，特别是引入互联网上的不可信工作者（untrusted workers）。

他的设计思路类似区块链：

  • Commits 对应区块——任何人都可以从互联网上提交一个 commit，声称这段代码能优化性能
  • 实验 对应工作量证明——产生一个好 commit 需要大量搜索工作（可能尝试了一万个想法，只有一个成功）
  • 验证便宜但搜索昂贵——你训练一次就知道 commit 是否有效，但产生它可能需要上千次尝试

“A swarm of agents on the internet could collaborate to improve LLMs and could potentially even run circles around frontier labs.”

——互联网上的 Agent 集群有可能协作改进 LLM，甚至可能绕着前沿实验室跑圈。

逻辑是：前沿实验室有大量可信算力，但地球更大，有海量不可信算力。如果你能设计好验证系统，分布式集群未必不能胜出。

类比：SETI@Home 与 Folding@Home

SETI@Home 和 Folding@Home 是两个著名的分布式计算项目，前者搜索外星文明信号，后者模拟蛋白质折叠。都利用全球志愿者的闲置电脑算力。AutoResearch 的分布式版本遵循相同的架构：产生结果很难，但验证结果很便宜。

他还进一步设想：如果一切都被重构为 AutoResearch，算力就是你贡献给公共事业的新货币。你关心某种类型的癌症研究？不用只是捐钱——你可以购买算力，加入那个项目的 AutoResearch 池。

本章小结

AutoResearch 的核心是"把人从循环中移除"。单循环版本已经在调好的项目上发现了11%的优化空间。program.md 框架将研究组织抽象为可优化的代码。分布式版本（Open Ground）如果成功，可能根本性地改变前沿研究的格局——从中心化实验室转向互联网 Agent 集群。

AI 的参差性：天才 PhD 与10岁小孩

在轨道上是超级智能，脱轨是10岁小孩

Karpathy 用了一个极其精准的比喻来描述当前 AI 的状态：

“I simultaneously feel like I'm talking to an extremely brilliant PhD student who's been a systems programmer for their entire life and a 10-year-old. This is so weird because humans wouldn't have that combination.”

——我同时感觉在跟一个极其聪明的终身系统程序员 PhD 和一个10岁小孩对话。这太奇怪了，因为人类不会出现这种组合。

人类的能力更加"耦合"——各方面水平差不多。但 Agent 有远超人类的参差性（jaggedness）。有时候你让它实现一个功能，它回来的东西完全离谱，然后你们陷入错误循环，让人抓狂。

为什么参差性存在：强化学习的盲区

Karpathy 分析了根本原因：模型是通过强化学习（RL）训练的，所以它们能改进的只有可验证的东西——程序是否正确？单元测试是否通过？但更"软"的能力，比如理解你的意图、知道什么时候该追问，不在 RL 的优化范围内。

他用了一个直观的例子：你去问最先进的 ChatGPT 讲个笑话，知道你会得到什么笑话吗？

“Why do scientists not trust atoms? Because they make everything up. — This is the joke you would get three or four years ago and this is the joke you still get today.”

模型在 Agent 任务上已经能连续跑几个小时、移山倒海，但讲笑话还是和五年前一模一样。因为笑话在强化学习的优化范围之外。

流行叙事的问题

有一个流行假说：在可验证领域（编程、数学）变强就会在所有领域变强。Karpathy 认为这并没有发生，或者只发生了一点点，远不到令人满意的程度。"我们不会免费地在所有领域获得智能和能力"——有些领域在被优化，有些不在，而这一切都压缩在不透明的神经网络里。

一个模型还是一千个大脑：物种分化的缺失

Sarah 问了一个她自称"有点亵渎"的问题：既然参差性持续存在，是否应该把单体模型拆开——拆成可以在不同领域分别优化的专业化版本？

Karpathy 认为当前的实验室在追求单一的monoculture——一个模型在所有领域都要聪明。但他觉得应该有更多speciation（物种分化）。动物界有极其多样化的大脑，有些动物的视觉皮层过度发达。AI 也应该如此：保留认知核心但特化到具体任务。

但他坦承目前还没有看到太多物种分化，原因有二：

  1. 实验室不知道用户会问什么，必须覆盖所有可能
  2. 操纵大脑的科学还不够成熟——通过 context window 做定制简单又便宜，但真正触碰 weights（微调而不丢失能力、持续学习、领域特化）风险大得多

Context Window vs Weights

当前获得个性化的主要方式是通过 context window——简单、便宜、安全。但真正的物种分化需要触碰 weights，而动了 weights 就是在改变整个模型和它的智能。微调而不丢失能力、持续学习、领域特化——这些技术还在发展中，这是物种分化的技术瓶颈。

本章小结

AI 的参差性（jaggedness）是当前阶段的核心特征：在可验证的 RL 优化领域表现出超级智能，在优化范围之外则停滞不前。这挑战了"通用智能免费涌现"的叙事。物种分化可能是解决方案，但受制于"操纵大脑的科学"尚未成熟。

就业、开源与行业格局

翻转比特比加速物质快一百万倍

Karpathy 提出了一个分析框架：当前正在发展的主要是数字 AI——可以在数字世界中操纵信息的"幽灵实体"，目前没有物理实体。翻转比特和复制粘贴数字信息，比加速物质快一百万倍。

因此他预测了一个三阶段路线图：

  1. 数字空间大规模解除束缚（unhobbling）——之前因为人类思考周期不够而没被充分处理的数字信息，会被 AI 大量重写
  2. 数字与物理的接口——传感器（看见世界）和执行器（对世界做点什么）。很多有趣的公司会出现在这个接口上
  3. 物理世界的全面渗透——市场规模可能远大于数字空间，但难度也大一百万倍

杰文斯悖论（Jevons Paradox）与软件需求

经典案例：当年很多人担心 ATM 会取代银行柜员，但 ATM 降低了银行网点的运营成本，于是开了更多网点，反而雇了更多柜员。Karpathy 认为类似的事情正在软件领域发生：软件变便宜了，海量被压抑的需求会释放。代码现在是"临时性的"、可修改的——整个数字基础设施有巨大的重写需求。

他对软件工程"谨慎乐观"——需求弹性等因素会起作用，但也坦承自己在预测方面不是专业的。

“I went around OpenAI and I was like, you guys realize if we're successful, we're all out of a job. We're just building automation for Sam or something like that.”

——我在 OpenAI 里到处跟同事说，你们知道吗，如果我们成功了，我们所有人都失业了。我们本质上就是在给 Sam 或者董事会造自动化系统。

开源：意外地落在了一个还不错的位置

开源与闭源前沿的差距在持续缩小：从最初的完全没有，到落后18个月，到现在大约落后6到8个月。

Karpathy 用 Linux 做类比——Linux 运行在绝大多数的服务器上，因为行业需要一个共同的开放平台。AI 领域也是同样的需求。两个挑战：

  • 资本支出是硬约束——训练前沿模型需要大量资金
  • 前沿智能的需求依然存在——诺贝尔奖级别的工作或巨型项目可能是闭源实验室的地盘

“Centralization has a very poor track record in my view.”

——中心化的历史记录在我看来很差。

他提到东欧的历史教训，以及机器学习中的集成模型（ensemble）永远优于任何单一模型。他希望当最难的决策到来时，有更多人在房间里。

进一步中心化的隐忧

Karpathy 指出了一个让他不安的趋势：即使在闭源端，领先者的圈子也在进一步缩小。不是所有前沿实验室都保持在最顶尖。他希望有更多实验室，有更多声音参与决策。

为什么不回前沿实验室

Sarah 替 Noam Brown 问了一个问题：你明明可以在前沿实验室里做 AutoResearch，有大规模算力，有同事——为什么不去？

Karpathy 列出了几个原因：

第一，利益冲突。你在前沿实验室有巨大的财务激励。而你自己承认 AI 将以极其戏剧性的方式改变人类社会。你在这里一边造这项技术、一边从中获益、一边被财务手段深度绑定——这个矛盾正是 OpenAI 最初试图解决的问题，至今没有真正解决。

第二，你不是完全自由的主体。

“If you're inside one of the frontier labs, there are certain things that you can't say, and conversely there are certain things that the organization wants you to say. They're not going to twist your arm but you feel the pressure.”

——在前沿实验室内部，有些话你不能说，有些话组织希望你说。不会扭你的胳膊，但你能感受到那种压力。

第三，员工对组织行为的实际影响力有限。当真正的高风险时刻到来时，你在房间里贡献想法，但你并不真正掌控那个实体。

他认为理想方案可能是阶段性进出：进去一段时间做有价值的工作、了解实际进展，然后出来保持独立性。他也承认离开后判断力会漂移——实验室是不透明的，你对系统实际工作原理的理解会逐渐过时。

本章小结

数字空间将率先经历大规模改造，物理世界滞后。软件工程可能因杰文斯悖论而需求增长。开源落后闭源6--8个月是"还不错的位置"。前沿实验室的中心化趋势令人担忧，Karpathy 选择留在外面是因为独立性和利益冲突的考量。

机器人、信息市场与物理世界

原子比比特难一百万倍

Karpathy 从 Tesla 的自动驾驶经历出发：十年前有大量自动驾驶创业公司，大多数最终没活下来。原因是资本密集、时间漫长、需要巨大的信念感。

他重申了数字优先的路线图：数字空间的 unhobbling \(\rightarrow\) 数字/物理接口 \(\rightarrow\) 物理世界全面渗透。物理世界的总可寻址市场可能远大于数字空间，但难度也大一百万倍。

Periodic Labs

由前 OpenAI 研究 VP Liam Fedus 和前 DeepMind 材料科学主管 Ekin Dogus Cubuk 联合创办，2025年获得3亿美元种子轮融资。公司目标是构建能自主运行物理实验的"AI 科学家"。这是数字/物理接口的典型案例——传感器不只是摄像头，还有昂贵的实验室设备。

缺失的信息市场

Karpathy 指出了一个有意思的缺失：如果 Polymarket 等预测市场有越来越多的自主 Agent 参与，如果伊朗正在发生什么事，从德黑兰拍一张照片应该值10美元——不是人在看，是 Agent 在试图判断预测市场和股票的走势。但目前没有这种机制。

他引用了 Daniel Suarez 的科幻小说《Daemon》——书中的超级智能把人类既当传感器又当执行器，社会围绕着这台机器的需求重新组织。他觉得某种类似的事情正在发生：越来越多的自动化有特定需求，人类会开始服务于那台机器的需求。

本章小结

物理世界是更大的市场但更难攻克。数字/物理接口（传感器和执行器）是近期最有趣的创业方向。信息市场的缺失意味着 Agent 经济的基础设施还远未建成。

MicroGPT 与 Agent 时代的教育

200行代码的艺术项目

MicroGPT 是 Karpathy 十几年来反复简化 LLM 到本质的痴迷的终点。之前有 nanoGPT、micrograd、makemore。MicroGPT 是目前的最简形态：约200行纯 Python，零依赖，包含完整的 GPT 训练和推理所需的一切——数据集、分词器、autograd 引擎、GPT-2 架构、Adam 优化器、训练循环、推理循环。

他强调：训练神经网络和 LLM 需要大量代码，但所有那些代码都是效率带来的复杂度。如果你不需要它跑得快、只关心算法本身，那个算法就是200行 Python。

不再向人解释，而是向 Agent 解释

过去 Karpathy 会为 MicroGPT 录一个视频逐行讲解。他确实试了——录了一部分，也写了一些引导材料。但他意识到这已经不太需要了。

“I'm not explaining to people anymore, I'm explaining it to agents. If agents understand it, they can be the router — they can target it to the human in their language, at their level, with infinite patience.”

——我不再是向人类解释了。我是向 Agent 解释。如果 Agent 理解了，它们可以做路由——用读者的语言、按读者的水平、以无限的耐心来讲解。

他设想未来可能会做一个 “skill”（课程脚本），描述 Agent 应该按什么顺序带你走过 MicroGPT 的代码——不是传统的教程，而是指导 Agent 如何教学的元信息。

Agent 做不到的事才是你的工作

Karpathy 试过让 Agent 自己写出 MicroGPT 的极简版本——做不到。200行是他十几年痴迷的结晶，Agent 无法从零创造，但完全能理解它并解释为什么这样设计。

教育的重定向

  • 不是为人写 HTML 文档了，而是为 Agent 写 Markdown 文档
  • 不是你向人解释了，而是 Agent 替你解释
  • 你的工作是提供 Agent 做不到的那几个关键洞察——课程的正确顺序、更好的解释方式、只有深度理解才能做出的简化
  • Agent 做不到的事，才是你的工作。Agent 能做到的事，它们很快就能做得比你好

“My contribution is kind of these few bits, but everything else in terms of the education that goes on after that is not my domain anymore.”

——我的贡献就是那几个 bit。其他一切，Agent 都能做。

本章小结

MicroGPT 证明了 LLM 训练的核心算法可以压缩到200行。教育正在被重定向：从直接教人变为教 Agent、从写文档变为写 skill。人的价值在于提供 Agent 无法从零产生的关键洞察。

总结与延伸

核心论点回顾

整场66分钟的对话中，Karpathy 反复回到几个核心论点：

  1. 工作范式已经不可逆地改变——从2024年12月起，软件工程师的默认工作流完全不同。衡量生产力的单位从代码行变为 Token 吞吐量。
  2. 把自己从循环中移除——AutoResearch 不是一个项目，而是一种哲学。有客观指标的地方，人类不应该是瓶颈。
  3. AI 的参差性是结构性的——在 RL 优化范围内是超级智能，范围外几乎停滞。这不会因为模型变大而自动解决。
  4. 数字空间优先，物理世界滞后——翻转比特比加速物质快一百万倍，这决定了变革的节奏。
  5. 教育从教人变为教 Agent——你的价值在于那几个 Agent 产生不了的关键 bit。

三个值得持续关注的信号

  • AutoResearch 的分布式版本（Open Ground）能否真正运转——这将直接影响前沿研究是继续集中在少数实验室，还是分散到互联网 Agent 集群。
  • 模型的参差性是暂时的还是结构性的——如果在可验证领域的进步确实不能泛化到其他领域，那自主 Agent 的可靠性天花板会比预期更低。
  • 前沿实验室进一步中心化的趋势——当决策权集中在越来越少的人手里，Karpathy 所说的"不能说的话"会变成什么？

拓展阅读