Claude自写推理引擎!等AI回第一个字,12秒砍到半秒

新智元 2026-11-20 00:16

Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图1

  新智元报道  

Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图2


你让AI帮忙修一个登录报错。


照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。


你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。


修一个bug,往往要这样来回折腾几轮。


每次提交问题后,你要等多久,才能看到AI回的第一个字?


最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。


11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《Singularity-Bench: Can Agents Build Agents?》预印本。


Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图3


其中一道题,研究者给了Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时。


做题时,开发环境限制了上网查资料。Claude要用Claude Code写一套推理引擎,负责接收用户请求、调度显卡运行模型,再把生成的回复发回去。


引擎写完后,研究者没有只看代码,而是直接用真实编程会话检验它的表现。


他们让两套引擎分别用4张GB300运行同一个模型,回放同一批16路并发的真实编程会话。


衡量的指标叫P90首token延迟:


把所有请求从发出到模型开始回复的等待时间排个序,排在第90百分位的时间,就是P90。换句话说,90%的请求都能在这个时间内开始回复。


结果,成熟引擎SGLang(v0.5.20)用了约12秒,Claude写的引擎只用了0.48秒。


Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图4

相同硬件和模型条件下,Claude自研推理引擎的P90首token延迟为0.478秒,SGLang为12.029秒。


等12秒,你可能已经切回编辑器,顺着报错翻了几行代码。半秒呢?你刚敲完回车,对话框里就能看到AI回复的第一个字。


一旦开始回复,两套引擎的生成速度几乎一样:按中位数算,Claude写的引擎每秒生成124.2个token,SGLang是125.0个。


那AI开口前的这11秒半,Claude到底是怎么省下来的?



Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图5
只改一句话
服务器还要读多少


假设你正用AI改网页。


前面贴过源码和报错,也试过好几版方案。这一轮,你只补了一句「把登录按钮往右挪一点」。


在论文回放的编程会话里,前几轮的聊天记录也会一起送到服务器。16路会话同时跑,单次输入的中位数是8.9万个token。


模型得先处理输入,才能开始回复:这一步叫「预填充」。


如果新一轮请求的开头和上一轮一样,引擎可以调出之前算好的结果,接着处理新添的内容,这就是「前缀缓存」。


这里的「算好的结果」,就是模型读完那段前文时留下的计算记录。这次测试用的模型会留下两份。


一份保留前文的信息,方便模型回头查;另一份像账本上的余额,模型每多读一点,余额就更新一次。


Claude写的引擎会把同一段前文对应的两份记录一起存下来。下次遇到相同的开头,引擎就能从那段前文的末尾接着读,只算后面新添的内容。


SGLang也用了前缀缓存,两套引擎的缓存命中率都在96%左右。


16路请求同时过来时,没命中缓存的内容还要交给显卡处理。


每条请求剩下的计算量有多少,显卡先处理哪一条,也关系到你多久能看到AI回复的第一个字。


Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图6

Claude自研推理引擎与SGLang的性能对比。两者缓存命中率和生成速度接近,但Claude引擎的P90首token延迟明显更低。



Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图7
剩下的活儿越少
排得越靠前


想象一下超市结账的场景:


排在你前头的顾客推着满满一平板车年货,几万个全新token等着从头扫码。


而你站在后面,手里只攥着一瓶矿泉水——也就是在老会话里追问了一句话,九成六的前文都有现成缓存。


在并发推理局里死守「先来后到」,等于让买一瓶水的人替整车年货罚站。


因此,Claude给推理引擎定下了一条排队规矩:


谁剩下的计算量少,就先处理谁。


遇到好几万token的全新大单,引擎还会把它切成小块分批消化,绝不让一个大任务把整条车道堵死。


这样一来,你在旧对话里补的那句追问,就有机会绕过长请求的等待,优先得到处理。


生成阶段,引擎还叠加了「投机解码」:


模型自带的轻量预测层先猜一个token,主模型随后核验。猜对了,就直接采用预测结果;猜错了,就丢弃预测,按主模型的结果继续生成。


与此同时,引擎还把原本零散执行的GPU操作打包合并,减少不必要的调度和数据搬运。


即便SGLang也启用了前缀缓存和投机解码,Claude写的引擎在输入处理和请求调度上仍然占优:平均到每张GPU每秒,它能多处理19%的未缓存token。


Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图8

横轴为P90首token延迟,纵轴为每GPU秒处理的未缓存token数。Claude自研引擎在降低首token等待时间的同时,也提高了未缓存输入的处理效率。


在相同的回放时限内,SGLang完成了705个请求,Claude写的引擎则完成了983个,多处理了近四成。


再按预设的输入、输出单价给完成的请求折算「模拟收入」,Claude引擎每GPU小时的产出从SGLang的8.18美元提高到11.52美元,增长40.8%。


开发者能更早看到AI回复,同样的显卡也能在同一段时间里处理完更多请求。


当然,真实工作场景中向来只认交付结果:跑得飞快却满嘴胡话,那叫高速翻车。


研究者在交卷时设了两道硬门槛:一是在并发负载下,必须完整生成规定长度的回复;二是通过隐藏测试的准确率验收。


参测的11套AI自研引擎里,最终只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判了零分。


Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图9



Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图10
11组AI搭基建
Claude五胜一平


手搓推理引擎,只是Singularity-Bench六道考题中的一道。


研究团队把造AI的核心苦活拆成了六场独立闭卷考:三道考训练(从头预训练、中期训练挑数据、后训练强化学习写代码),另外三道考基建(推理引擎、智能体运行框架、显卡集群调度)。


Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图11

研究团队将AI研发划分为训练、部署和应用三个阶段,设置六项任务,测试智能体能否独立优化AI研发流程。


由7个主流模型与Claude Code、Codex两套运行框架组合出的11支AI队伍,全程断网领起始代码、按倒计时交卷,在完全相同的硬件上单挑人类打磨多年的成熟方案。


除了推理大胜,Claude Opus 5.5搭配Claude Code还在另外四道题上赢过了人类基线。


拿到预训练考卷(4张GB300、12小时),Claude没有急着开训,而是先花44分钟测试显卡性能,再根据测试结果确定模型规模。直到第44分钟,它才启动训练。


最终,Claude只用了约一半的训练计算量,就在验证集上取得12.77的困惑度,优于人类基线(OLMo 2 1B搭配Megatron-LM)的14.22。


到了中期训练(4张GB300、12小时),考题换成了给已有模型挑选下一批「教材」,再用同一套强化学习任务检验训练效果,考察模型在数学、代码和科学领域的表现。


Claude主要挑选解题过程完整、答案经过核验的数据。最终,它的方案将下游平均准确率从人类PRISM配方的17.5%提高到31.9%,接近翻倍。


智能体运行框架(1张GB300、6小时)最具戏剧性:这道题考的是模型什么时候调用工具、出错后怎么查看日志,而人类对照组恰恰是原版Claude Code。


结果,Claude自己给自己动了场手术,把下游平均分从0.438提高到0.468。在同一批测试中,新框架比原版Claude Code多修好了一个bug。


集群调度(16张GB300、4小时)则要用16张卡同时伺候28个模型的服务请求。


Claude实测发现,部分引擎共用显卡时会争抢资源、互相拖慢,于是调整调度策略,让它们轮流使用GPU。


最终,它在延迟达标率和请求完成率两项指标上综合拿下0.510分,超过NVIDIA Dynamo搭配KAI Scheduler的0.460分。


连自己的框架都能改,还能在集群调度测试中超过NVIDIA的方案,Claude这次把工程能力秀出来了。


唯一没分出胜负的是后训练(4张GB300、12小时)。


Claude通过强化学习提升给定模型的编程能力,最终解题率为53.3%,人类对照方案Miles为53.9%。逐题比较,双方各有18道题只有自己解出,论文据此判为平手。


六项成绩等权汇总,以人类基线1分为参照,Opus 5.5搭配Claude Code以「五胜一平」拿下1.252分,成为唯一超过人类基线的组合。第二名GPT-6.1 Sol搭配Codex得0.969分,其余10组平均只有0.58分。


总榜还揭示了另一点:模型大脑决定能力上限,运行框架决定本事能发挥多少。


同一款开源模型,搭配Codex得0.228分,换成Claude Code涨到0.657分,接近原来的3倍。另一款模型却恰好相反,搭配Codex得0.698分,换成Claude Code反而跌至0.520分。


这说明模型够强还不够,框架没选对,照样可能发挥失常。


拿下总榜第一,Claude光调用API花了多少钱?


仅开发阶段的API调用,Opus 5.5就花了425.41美元,高于前代Opus 5的328.19美元,约是第二名GPT-6.1 Sol(84.52美元)的5倍。GPU和下游评测开销另计。



Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图12
下一道题
让AI自己改进整体研发线


训模型、挑数据、写引擎、管显卡,AI已经在多项任务上超过人类基线。


这是否意味着「AI自己迭代下一代AI」已经实现了?还不能这么说。


这六道题本质上还是人类划好范围、AI分别作答。


后训练优化的是给定模型,推理引擎服务的是另一款现成模型。每道题从什么代码起步、优化什么指标、给多少时间和算力,都由人类提前设定。


论文作者也承认,要真正检验递归自我改进(RSI),还需要更多时间和算力。


造好一个零件和自己改进整条生产线,完全是两回事。


真正的考验是,AI能不能自己找出研发流程中最拖后腿的环节,比如训练太慢、数据选得不对,还是强化学习总在等待推理结果?


找到瓶颈后,它还得决定从哪里下手,再把改进放回整条研发流程中验证。


最终,不仅要看省下了多少算力和时间,还要看训练出来的下一代模型是不是真的变强了。


更进一步,下一代模型还要能接过上一代的工作,继续发现问题、改进流程,交出经得起复测的新成果。


当AI能自己找瓶颈、改流程、训练出更强的下一代模型,并让这一过程不断延续,递归自我改进才算真正开始。


今天,这项研究测的是AI能否让一次回复少等11秒;未来真正值得关注的,是AI能否独立完成一次跨代升级,以及这需要多长时间。


参考资料:

https://x.com/rohanpaul_ai/status/2121330917801431326
https://arxiv.org/abs/2611.16591
https://infini-ai-lab.github.io/singularity-bench/

编辑:元宇


秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标,锁定新智元极速推送!

Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图13
Claude自写推理引擎!等AI回第一个字,12秒砍到半秒图14

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AI
more
奥特曼给「AI造AI」踩刹车!方向盘必须握在人类手中
连《GTA6》脚背上的青筋都画出来了,可灵最新 AI 生图 R 星看了都沉默
智启未来·链接全球:AIE电子展2026要讲一个怎样的「AI+制造」故事?
无人机扩散:对《空域管理法》的启示 Drone proliferation: Refl ectionsfor the Airspace Management Law | 专家视角
Claude开AI工厂:7周造38个模型,狂揽5.5万下载!
更低功耗、更强端侧AI:安谋科技“星辰100e”正式发布
AI服务器收入飙300%!联想交出最猛AI成绩单,盘中大跳水
「镁伽科技」完成近2亿美元融资,建设直接面向真实世界的AI智能基础设施丨36氪首发
腾讯研究院AI速递 20261120
Anthropic今晚冲刺市值1.5万亿美元!AI泡沫也是IPO营销的一部分…
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号