编辑：Panda
这两天，VentureBeat 一篇报道在 Hacker News 上引发热议。
颠覆性论文《Attention is all you need》的作者之一，现任 Sakana AI CTO 的 Llion Jones 在近日的 TED AI 大会上表示他已经厌倦了 Transformer。
是什么，让这位 Transformer 的创造者发出了如此言论？
近日在旧金山举行的 TED AI 大会上，Llion Jones 表示：尽管前所未有的投资和人才正涌入 AI 领域，但该领域已经僵化在单一的架构方法上，这可能会让研究人员对下一个重大突破视而不见。
他说：「尽管（该领域）从未有过如此多的关注、资源、资金和人才，但这在某种程度上导致了我们正在进行的研究变得狭隘。」他认为，罪魁祸首是来自投资者的回报要求以及研究人员在过度拥挤的领域中争相脱颖而出的「巨大压力」。
当然，不得不承认，这个言论并不新鲜。但考虑到 Llion Jones 的身份，还是颇为让人惊讶也更引人重视。
如前所言，Jones 是论文《Attention is all you need》的作者之一。不仅如此，也正是他将这个后面改变了世界的 AI 架构命名为「Transformer」。
注意该论文的所有作者皆为共一作者，名字以随机方式排列
现如今，这篇发表于 2017 年的论文已经收获了超过 20 万引用量，绝对算是本世纪最具影响力的计算机科学论文之一（甚至或许没有之一）。
现在，作为总部位于东京的 Sakana AI 的 CTO 和联合创始人，Jones 却正在放弃自己的造物。他说：「我个人在今年年初做出了一个决定，我将大幅减少我在 Transformer 上花费的时间。我现在正明确地探索和寻找下一个重大突破。」
资金更多，创新却更少？
在 Llion Jones 的演讲中，AI 领域正面临着一个重大悖论：资源更多了，但创造力却在下降。
他说，研究者们正在不断检查自己是否被研究相同想法的竞争对手「抢先」(scooped)，学者们也选择安全、易于发表的项目，而不是高风险、具有潜在变革性的项目。
实际上，我们在近日的报道中也发现了两个比较显著的案例。
其一是有 4 篇不同论文几乎同时提出了与谢赛宁表征自编码器（RAE）类似的思想，我们也报道了其中两个（另外两篇是 arXiv:2509.25162 和 arXiv:2510.18457），参阅：
其二则是智谱的 Glyph 与深度求索的 撞车，都研究了用视觉方式来 token 化文本的方法。
针对这种情况，Llion Jones 进一步解释说：「如果你现在正在做标准的 AI 研究，你必须假设大概有三、四个其他团队在做非常相似，甚至完全一样的事情。不幸的是，这种压力损害了科学，因为人们仓促发表论文，这降低了创造力。」
他从 AI 自身中引出一个类比，即「探索与利用」(exploration versus exploitation) 的权衡：当一个系统过度「利用」而「探索」不足时，它会找到平庸的局部最优解，同时错失更优越的替代方案。他认为：「我们几乎可以肯定，AI 行业目前就处于这种情况。」
这背后的含义发人深省。Jones 回忆起 Transformer 出现前的那段时期，当时研究人员们正无休止地调整循环神经网络 (RNN，这是之前的主导架构）以获取微小的增量收益。
当 Transformer 出现后，所有这些工作突然显得无关紧要。他提出了问题：「你认为，如果那些研究人员知道像 Transformer 这样的东西即将出现，他们会花多少时间试图改进循环神经网络？」
他担心该领域正在重复这种模式。「我担心我们现在正处于这样一种境地：我们只专注于一种架构，不断对其进行排列组合和尝试不同的东西，而真正的突破可能近在咫尺。」
《Attention is all you need》诞生于自由，而非压力
为了强调他的观点，Jones 描述了 Transformer 得以诞生的条件，从而这与当今的环境形成了鲜明对比。他说，这个项目是「非常有机的、自下而上」的，诞生于「午餐时的交谈或在办公室白板上的随意涂鸦」。
Jones 回忆道：「关键在于，我们最初实际上并没有一个成熟的想法，但我们有自由真正花时间去研究它…… 更重要的是，我们没有来自管理层的任何压力 —— 没有压力要求我们必须做某个特定项目，或者必须发表多少篇论文来提升某个特定指标。」
Jones 暗示，那种自由在今天是普遍缺失的。
即使是那些以天价招聘来的研究人员，也可能感觉没有权力去冒险。他问道：「你认为当他们开始新职位时，他们是感到有权尝试自己疯狂、更具投机性的想法，还是感到巨大压力必须证明自己的价值，并再次去摘取那些唾手可得的成果？」
不知道 Meta 的研究者对此有何看法。
研究自由胜过百万美元年薪？
Jones 提出了一个解决方案：调高「探索旋钮」(explore dial)，并公开分享研究结果，即使这会带来竞争代价。他承认自己立场的讽刺性。「听到 Transformer 的作者之一站在舞台上告诉你他已经受够了 Transformer，这可能听起来有点争议…… 但这在某种程度上是合理的，对吧？除了其他七个人之外，我研究 Transformer 的时间比任何人都长。」
Jones 表示，在 Sakana AI，他正试图重现 Transformer 出现之前的环境，进行受自然启发的 (nature-inspired) 研究，并且将追逐论文发表或与对手直接竞争的压力降至最低。他向研究人员提供了来自工程师 Brian Cheung 的一句箴言：「你只应该做那些如果你不做就不会出现的研究。」
一个例子是 Sakana 的「连续思维机器」(continuous thought machine)，它将类脑同步机制整合到了神经网络中，参阅机器之心报道《》。
提出这个想法的一名员工告诉 Jones，如果是在以前的雇主或学术职位上，他会面临质疑和压力，被认为是在浪费时间。在 Sakana，Jones 给了他一周时间去探索。这个项目最终大获成功，被 AI 顶级会议 NeurIPS 接收为 Spotlight 论文。
Jones 甚至表示，在招聘方面，自由胜过薪酬。「这是吸引人才的一种非常、非常好的方式。」他谈到这种探索性环境时说。「想一想，有才华、聪明、有抱负的人，会自然而然地寻找这样的环境。」
前些天 The Information 报道称，Sakana AI 将以 25 亿美元估值筹集 1 亿美元，这或许将为其研究理念赢得更多资金支持。
Transformer 很成功，但也可能正在阻碍 AI 的下一个突破
不仅如此，Llion Jones 还暗示 Transformer 可能已成为其自身成功的受害者。他说：「当前技术如此强大和灵活的事实阻止了我们去寻找更好的（技术）。不难理解，如果当前的技术更差，就会有更多的人去寻找更好的替代品。」
他谨慎地澄清，他并非在贬低正在进行的 Transformer 研究。「在现有技术上仍有大量非常重要的工作要做，并将在未来几年带来巨大价值。我只是说，鉴于我们目前拥有的人才和资源，我们完全有能力做得更多。」
他最终传达的信息是合作而非竞争。Jones 总结道：「坦率地说，从我的角度来看，这不是一场竞赛。我们都有相同的目标。我们都希望看到这项技术进步，以便我们所有人都能从中受益。因此，如果我们能够共同调高探索旋钮，然后公开分享我们的发现，我们就能更快地实现目标。」
这一观点也是网友们关注和讨论的核心，在 Hacker News 上，有不少人分享了自己的看法。
AI 探索问题的高风险
这番言论发表于 AI 发展的关键时刻。
现在有越来越多的证据似乎表明：简单地构建更大的 Transformer 模型可能正接近收益递减的瓶颈。顶尖研究者已经开始公开讨论当前范式是否存在根本局限性，一些人认为，要让 AI 系统持续进步并变得更强大，需要的将是架构创新，而不仅仅是规模。
Jones 的警告表明，要找到这些创新，可能需要颠覆现有的激励机制，即便这些机制确实推动了 AI 的近期繁荣。每年有数百亿美元流入 AI 研发领域，实验室之间的激烈竞争导致现在人们更倾向于保密，以及加快论文发表周期。他所描述的那种探索性研究环境似乎正渐行渐远。
然而，他的内部人士视角具有非凡的分量。作为帮助创造了当今主导技术的人，Jones 既了解实现突破性创新需要什么，也了解行业放弃这种创新方法所面临的风险。他决定告别成就其声誉的 Transformer 架构，这为他的信息增添了可信度 —— 否则，这些话听起来可能只是标新立异的立场。
当然，我们无法确定 AI 领域的巨头们是否会响应这一呼吁。
但 Jones 尖锐地提醒人们注意风险所在：下一个 Transformer 规模的突破可能近在咫尺，正由那些拥有探索自由的研究人员追寻。它可能正被束之高阁、无人探索；而与此同时，成千上万的研究人员正竞相发表对某个架构的增量改进。
用 Jones 的话来说，这位 Transformer 架构的创造者之一已经「受够了它（absolutely sick of）」。
Hacker News 上的犀利评论
毕竟，他研究 Transformer 的时间比几乎任何人都长。他自然知道什么时候该翻篇了。
参考链接
https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers
https://arxiv.org/pdf/1706.03762
https://scholar.google.com/citations?user=_3_P5VwAAAAJ&hl=en
https://www.theinformation.com/articles/openais-japanese-rival-sakana-talks-raise-capital-2-5-billion-valuation
https://tedai-sanfrancisco.ted.com/speakers/2025/llion-jones/
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
