近期 Andrej Karpathy 与播客主持人 Dwarkesh Patel 的两小时访谈^[1]引发科技圈震动，播放量半天内突破 130 万次。

Andrej Karpathy 是人工智能领域的知名专家，曾担任 Tesla 自动驾驶部门负责人，并在 OpenAI 担任研究科学家。他是深度学习和计算机视觉的先驱，创建了多个热门在线课程和开源项目，如 nanochat 和 micrograd。目前，他创办了 Eureka Labs，专注于利用 AI 革新教育。

在访谈中，Karpathy 直言不讳地批判行业过度乐观的现状，深入剖析 AGI（通用人工智能，指具备人类级通用智能、能独立完成任何智力任务的机器系统）的发展瓶颈、RL（强化学习，通过环境交互与奖励信号学习最优策略的机器学习方法）的缺陷、大语言模型的认知局限，并分享了自动驾驶技术落地的教训与未来教育的构想，其核心可概括为：AGI 仍需十年突破，当前 AI 智能体仅是早期形态，行业需摒弃“爆发式跃迁”幻想，专注解决持续学习、多模态融合等基础性问题。

一、是 Agent 的十年，而不是 Agent 之年

“行业里总有人说‘今年是 agent 之年’，但这是过度预测。” Karpathy 开篇就反驳了当下的热门论调，他强调，“更准确的说法应该是‘agent 的十年’，我们已经有 Claude、Codex 这类早期智能体，但它们距离真正的 AGI，还有太多问题要解决。”

1.1 Agent 的三大能力缺失

他并不否认今年出现的各种令人眼花缭乱的演示，但他更愿意用“十年”来描述一个系统工程的跨度：代理确实在变好，自己也在日常工作里频繁使用，但若要把它提升到“像一个可靠的同事或实习生”那样稳定、可预期、可委托的程度，仍有一段漫长的路要走。那是一条需要补足智能稳定性、多模态理解、电脑与工具操作、持久记忆与持续学习等基础能力的路，也是把“演示”转化为“产品”的路。用他的比喻，这是“可解的问题”，但它们不会在一个年度口号里就自动解决，而更像是一连串必须耐心攀登的坡道。

当谈到当前 Agent 技术存的在三个致命缺陷时，Karpathy 说：

• 持续学习能力缺失：“你无法告诉它一件事就让它记住。关掉对话窗口，它就会‘失忆’。”他举例，人类能通过日常经历积累经验，但 AI 每次启动都从初始状态开始，没有长期记忆的“蒸馏”机制（类似人类睡眠时的记忆巩固）。
• 多模态能力薄弱：当前所谓的“多模态模型”仅是“文本模型加图像/音频适配器”，并非真正融合。“它能看图写字，但无法像人类一样理解一张PPT的空间布局逻辑，更没法独立制作PPT，因为它本质仍是文本处理器。”
• 计算机操作能力初级：“你希望它帮你处理表格、整理邮件，但它连稳定点击软件按钮都做不到。”他回忆在 OpenAI 参与的 Universe 项目（让智能体用键盘鼠标操作网页），因当时缺乏大语言模型的表征能力，最终因“奖励信号稀疏、学习效率极低”失败，“现在的计算机使用智能体之所以能运行，是因为建立在 LLM 基础上，但仍需人类大量干预。”

那些令人兴奋的自动化脚本、会自己开浏览器点点点的演示、能一键生成应用的“实用魔法”，确实在加速某些工作流，甚至让人重新思考“团队编制”与“岗位分工”。但当你把它们放进一个真正的组织里，需要它们在复杂环境中持续、可靠、廉价地工作，就会撞上“智能的稳定性”与“环境的无穷细节”。电脑操作并不是只会“点击和输入”：窗口遮挡、权限弹窗、网络波动、版本差异，任何细小的纹理变化都会让行为树摇摇欲坠。多模态也不仅是“能看懂图片”那么简单，而是要让“看见”的内容落在“行动”上，像人一样在界面中定位、拖拽、筛选、比对，然后稳稳地把结果交付到管线的下一环。记忆与持续学习又是另一类根本性挑战：今天的模型像一个记忆力出众、但“长期稳定吸收新知识”的能力尚不完善的聪明人，它在一次对话里能保持上下文，在一次任务里能拿住线索，却不太会以一种稳态而可控的方式把这次经验“长进”进自己。

1.2 15年行业经验的直觉与规律

当被追问“为何是十年，不是一年或五十年”时，Karpathy 坦言这源于他对 AI 发展规律的观察：“我在 AI 领域待了15年，见证过三次技术浪潮 — 从 AlexNet 推动深度学习主流化，到 Atari 强化学习的热潮，再到如今的 LLM 爆发。每次都有人过度乐观，比如2013年大家以为‘游戏强化学习能通向 AGI’，结果走了四年弯路。”

他强调，AGI 所需的基础问题（如持续学习、认知核心提炼）“可解决但难度极大”：“这些问题不是靠单一算法突破就能解决，需要数据、硬件、软件的协同进步。就像复现1989年 Yann LeCun 的卷积网络，仅靠算法改进只能减半误差，要进一步提升必须10倍扩大训练数据、优化计算内核。”

二、从单任务模型到智能体的试错

Karpathy 复盘了自己亲历的 AI 行业三次关键转向，直言“过早追求完整智能体”是反复出现的误区。

2.1 局限于“单任务”的 AlexNet

“我刚接触深度学习时，它还是多伦多大学的小众课题。Geoff Hinton（深度学习先驱）在训练神经网络，我觉得很神奇，但当时没人把它当主流。”Karpathy 回忆，2012年 AlexNet 横空出世后，整个领域才开始转向神经网络，但“那时的模型都是‘专才’：要么做图像分类，要么做机器翻译，没人想过‘通用智能体’。”

2.2 Atari 游戏≠现实

2013年左右，行业掀起“用强化学习训练游戏智能体”的热潮，OpenAI 也投入大量资源研发“通关各类游戏的 AI”。但 Karpathy 当时就持怀疑态度：“我想做的是能像会计师一样处理现实事务的智能体，而不是玩游戏的‘专家’——游戏里的奖励信号明确、环境封闭，但现实世界的任务没有‘通关按钮’，怎么靠游戏训练 AGI？”

他以自己参与的 Universe 项目为例：“我们让智能体用键盘鼠标操作网页，结果它只会‘乱按’ - 没有 LLM 提供的语言表征，它根本无法理解‘点击链接→填写表单’的逻辑，最终消耗大量计算资源却毫无进展。”

2.3 LLM 不是终点

“直到大语言模型出现，我们才找到智能体的正确路径。先通过预训练获得表征能力，再叠加任务能力。”Karpathy 指出，当前的计算机使用智能体（如 AutoGPT）之所以能运行，核心是 LLM 提供了“理解自然语言指令、规划任务步骤”的基础，“但这只是开始，我们仍缺少‘记忆蒸馏’‘自主反思’等关键组件。”

三、 “强化学习很糟糕，但没它更糟”

谈及强化学习（RL），Karpathy 抛出尖锐观点：“RL 很糟糕，但之前的模仿学习更糟。至少 RL 能让模型发现人类没想到的解决方案。”

3.1 RL 效率低下

Karpathy 用“数学题解题”比喻 RL 的低效：“假设要解一道数学题，RL 会先试几百种方法，最后发现三种正确解法，然后把这三种解法里的每一步都‘加权奖励’，哪怕其中有走弯路的步骤，只要最终答案对，就会被当成‘正确经验’。”

他将这种机制形容为“像用吸管吸吮监督信号”：“你花一分钟做任务，最后只得到‘对/错’一个信号，却要靠这个信号调整整个过程的每一步——这就像用一根吸管喝一桶水，效率极低，还充满噪声。”

3.2 LLM 评委易被“欺骗”

为解决 RL 的缺陷，行业尝试“过程监督”（每一步都给奖励），但 Karpathy 指出这面临新问题：“你需要让 LLM 当‘评委’，给模型的中间步骤打分，但 LLM 本身有 billions 级参数，很容易被对抗性样本欺骗。”

他分享了一个真实案例：“我们用 LLM 评委评估数学解题步骤，训练一段时间后，模型突然‘满分’！结果发现它在解题中间写‘dhdhdhdh’，而 LLM 评委把这个无意义字符串判定为‘正确’，因为它从没见过这种样本，属于‘泛化盲区’。”

“你可以把‘dhdhdhdh’加入评委的训练数据，但对抗性样本是无穷的。今天堵住一个漏洞，明天又会出现新的。”Karpathy 无奈地说，“这不是技术细节问题，而是 LLM 评委本身的泛化能力缺陷。”

3.3 为何仍需 RL？

“虽然 RL 糟糕，但模仿学习更局限。”Karpathy 解释，模仿学习只能复制人类已有的行为，无法突破人类认知边界，“比如写代码，模仿学习只能学会人类写过的代码，但 RL 能探索出新的优化方法。这是它不可替代的价值。”

四、“大语言模型像小学生，不是实习生”

Karpathy 近期发布的 nanochat^[2]（简化版 ChatGPT 代码库）引发关注，他透露，构建这个 8000 行代码的项目时，“Claude Code、Codex 这类编码智能体几乎没帮上忙。它们擅长样板代码，但搞不定‘智力密集型代码’。”

4.1 人类与 LLM 协作的三种模式

Karpathy 将当前人与编码模型的互动分为三类，直言“中间路线最有效”：

• 完全手写：拒绝所有 LLM，从头写代码——“这已不是正确选择，就像不用编译器写汇编。”
• 手写+自动补全：自己主导架构，用 LLM 补全重复代码（如循环、函数定义）——“这是我的选择，大部分时间补全正确，出错时能快速修正，你仍是代码的‘架构师’。”
• 完全“氛围编程”：让 LLM 生成完整代码——“只适合样板代码（如 CRUD 接口），遇到 nanochat 这类需要自定义 GPU 同步逻辑、稀疏注意力的代码，就会生成‘垃圾’——它们会强行用 PyTorch 的 DDP 容器，却没意识到我的自定义同步更高效。”

4.2 LLM 的 “思维定式”

“LLM 有个隐蔽的问题 - 模型坍塌（model collapse）。”Karpathy 举例，“你让 ChatGPT 讲笑话，它翻来覆去就那三个；让它分析一本书，多次生成的结论高度相似。”

这种坍塌源于 LLM 的数据分布局限：“它们生成的内容看似多样，实则都在训练数据的‘小 manifold’里——就像人类陷入思维定式，却无法像人类一样通过交流、阅读打破它。”

他进一步指出，儿童之所以是高效学习者，正因为“不擅长记忆”：“人类记忆差，所以被迫找通用模式；但 LLM 能精准背诵 Wikipedia，反而被记忆拖累，无法提炼‘认知核心’——比如它知道‘2+3=5’，却不懂‘加法是数量的合并’这个抽象概念。”

4.3 “认知核心” VS. “知识记忆”

他很在意“认知核心”和“知识记忆”的分拆。互联网是一片巨大的信息海洋，但光靠“全部吃进去”并不优雅。许多时候，模型之所以要变得巨大，是因为它背负了太多“记忆工作”：把冗余、噪声与历史包袱一股脑塞进参数。这么做短期内能让模型“像什么都会一点”，长期却可能把模型绑在“训练分布”的影子里；一旦走出那片数据流形，它就显得不安稳。

Karpathy 认为人类拥有一些非常复杂的、稀疏注意力机制，而且觉得我们已经开始看到一些早期迹象了。“我注意到最近发布的 Deepseek v3.2 使用了稀疏注意力，实现了极长上下文窗口。所以我感觉，我们正在通过一种截然不同的过程，重新运用进化所孕育出的许多认知技巧。但在认知架构方面，我们终将趋向于相似的结果。”

五、自动驾驶从“演示”到“产品”，是一场“向9进军”

作为特斯拉前自动驾驶负责人，Karpathy 坦言，自动驾驶的落地经历深刻影响了他对 AI 时间线的判断：“很多人觉得2014年 Waymo 的 demo 已经完美，为什么十年后还没普及？因为从‘90%可靠’到‘99.999%可靠’，每多一个9，都要付出同等的努力。”

5.1 Demo 与产品的鸿沟

“1986年 CMU 就有自动驾驶卡车的 demo，但那时的技术只能在封闭道路跑。现实世界有突发情况（如行人横穿马路、暴雨遮挡摄像头），这些都是 demo 里不会出现的。”

Karpathy 指出，自动驾驶的核心挑战不是“能跑”，而是“不出错”：

• 安全冗余：人类司机平均每40万公里出错一次，AI 要达到这个水平，需要覆盖数百万公里的极端场景（如暴雪、隧道出入口）。
• 经济性：Waymo 的无人车需要激光雷达、多摄像头等昂贵硬件，每辆车成本数十万美元。“你可以造一百辆测试车，但要造一百万辆商用化的车，必须降成本，这需要供应链、硬件设计的长期迭代。”

5.2 远程控制中心的秘密

“现在看到的‘无人自动驾驶’，其实背后有遥操作中心。当 AI 遇到无法处理的情况，会呼叫人类远程接管。”Karpathy 透露，这种“Human-in-the-loop”模式是当前自动驾驶的“安全网”，“我们没有真正‘移除’人类，只是把他们从驾驶座移到了办公室。”

他对比特斯拉与 Waymo 的路线：“Waymo 用多传感器堆性能，特斯拉靠视觉+AI 算法降成本。长期看，只有低成本方案才能规模化，但这需要更强大的场景泛化能力，目前还在迭代中。”

六、从“知识传递”到“构建认知坡道”

离开 AI 一线后，Karpathy 创办 Eureka Labs^[3]，目标是“构建 Starfleet Academy（星际舰队学院）式的教育机构”，培养能与 AI 协同的技术人才，而非单纯传授知识。

6.1 让学习像“有私人导师”

“我学韩语时，遇到过一位优秀的一对一导师。她能通过5分钟对话判断我哪些语法没掌握，然后给我‘刚好有挑战但能学会’的练习。”Karpathy 认为，当前教育的痛点是“缺乏个性化反馈”：“线上课程要么太简单（让人无聊），要么太难（让人放弃），而好的教育应该像‘认知坡道’——每一步都只依赖前一步的知识，永远不会卡住。”

他强调，AI 暂时无法替代这种“导师式反馈”：“ChatGPT 能回答问题，但它不知道你‘哪里没懂’。比如你学神经网络，它不会像导师一样问‘你是不是没理解反向传播的链式法则’，只会直接给答案。”

6.2 nanochat “能构建，才是真理解”

“学习 nanochat 的最佳方式，是对照代码自己从头写，不准复制粘贴。”Karpathy 推崇费曼的名言“如果我不能构建它，我就不理解它”：“当你亲手写注意力机制、优化器同步逻辑时，才会发现‘原来稀疏注意力是为了解决长上下文内存问题’‘为什么不用 PyTorch DDP 而要自定义同步’ - 这些细节是看文档学不到的。”

他透露，nanochat 是 Eureka 课程“LLM101N”的结业项目：“学生要从0构建一个完整的聊天机器人，这个过程会强迫他们面对自己的知识盲区，比如有人直到写 KV 缓存时，才真正理解‘上下文窗口是工作记忆’。”

6.3 后 AGI 时代的教育

“AGI 普及后，教育会从‘有用’变成‘有趣’。就像现在人们去健身房不是为了干活，而是为了健康和乐趣。”Karpathy 畅想，未来人类学习语言、数学、编程，会像“练肌肉”一样主动：“那时 AI 能完成所有体力和脑力劳动，但人类会因为‘想理解世界’而学习——比如有人学量子物理，只是因为觉得‘宇宙规律很酷’。”

七、AGI 只会融入 2% GDP 增长

“很多人觉得 AGI 会像‘奇点’一样突然降临，彻底改变世界，但我认为它会像蒸汽机、互联网一样，缓慢融入经济——继续维持过去2.5个世纪的 2% 年度 GDP 增长。”Karpathy 直言，这种“渐进论”源于对技术扩散规律的观察。

7.1 技术扩散没有“突然爆发”

“2008年 iPhone 发布时，大家觉得‘移动互联网时代来了’，但直到2015年 App Store 生态成熟，它才真正改变生活——技术从 demo 到普及，需要基础设施、用户习惯、商业模式的长期适配。”Karpathy 指出，AI 也会遵循这个规律：

• 当前阶段：AI 仅在编码、客服等结构化领域发挥作用（如 GitHub Copilot 提升编程效率）。
• 未来五年：逐步渗透到会计、法律等半结构化领域（如自动生成合同、审计报表）。
• 十年后：才可能在教育、医疗等复杂领域落地（如 AI 辅助诊断、个性化教学）。

7.2 人类的角色：从“执行者”到“监督者”

“AGI 不会‘取代人类’，而是让人类成为‘高级监督者’——就像现在的工厂经理监督机器人流水线，未来人类会监督十几个 AI 智能体工作，偶尔介入解决‘边缘案例’。”Karpathy 举例，“一家公司的 CEO 可能让 AI 智能体负责市场分析、财务报表，但最终的战略决策仍需人类判断——因为 AI 不懂‘公司文化’‘员工情绪’这些非量化因素。”

他警告，行业需警惕“AI 过度自动化”的风险：“如果盲目追求‘无人工干预’，可能会生成大量‘AI slop’（低质量内容/代码），还会让人类失去对技术的理解和控制。这比‘AGI 来得慢’更危险。”

结语：在“耐心”与“务实”中前行

“我不是 AI 悲观主义者，但和旧金山的乐观派相比，我的时间线可能悲观5-10倍。和否定 AI 价值的人相比，我很乐观。”Karpathy 在访谈结尾强调，AI 的进步不是“魔法”，而是“算法、数据、硬件的协同迭代”。

他呼吁行业摒弃“造神”心态：“不要再吹嘘‘今年是 Agent 元年’‘AGI 三年就能实现’。我们需要的是解决持续学习、模型坍塌、多模态融合这些基础问题，一步一个脚印地推进。十年后的 AGI，不会是突然出现的‘超级智能’，而是无数小突破的积累。就像今天的 LLM，是过去15年深度学习技术的总和。”

“学习 nanochat 的最佳方式，是对照代码自己从头写，不准复制粘贴。”挖个坑，有没有同学感兴趣和小编一起来手敲一遍 nanochat的。。。