哈佛拿出了能找到的最强人类审稿团，结果被Claude全线碾压！同一批124篇论文，两边各写一份审稿意见。七个审稿维度比下来，人类一项都没赢。3位知名期刊的前编辑被请来盲选，30次里有26次挑了Claude。有一位编辑，10组意见里一次都没选人类。3位前编辑各比10组匿名意见，只看审稿意见，没有重读论文研究者把意见拿回原稿逐句对照，结果发现，人类专家说错的比例，竟然接近Claude的3倍之多。这项出自哈佛校级教授、定量社会科学研究所所长Gary King，和同所的数据科学主任Steven Worthington的研究，标题毫不客气——
两人在论文里承认，动手之前，他们只指望AI能在一些方面、一些时候赢。结果，AI在他们能想到的每一项指标上都占了上风。沃顿商学院教授Ethan Mollick看完立刻转发，催学术界赶快想清楚，科学研究要怎么跟着AI改。期刊审稿的毛病，做过研究的人都领教过。审稿人大多没有报酬，时间又紧，有人读到第3页抓住一个硬伤，后面就不看了。所以King团队找的是rapidPeer，哈佛定量社会科学研究所做的「投稿前预审」服务，后来也开放给了其他几家机构。这里的审稿人由领域专家从外校挑出来，每审一篇都有报酬，审得好，下次还有活干。他们要读完整篇论文，写出1.5到2页意见，只管帮作者把论文改好，不用判断该不该发表。效果也确实好。74位作者回了问卷，88%认为审稿质量高或很高。几位知名期刊的前编辑看过这些意见，也说属于他们见过最好的那一档。两位作者甚至写道，据他们所知，没有哪批人类审稿是在比这更好的条件下写出来的。研究用上了这项服务2019到2026年的全部有效投稿，一共124篇论文、134份人类意见，从统计分析、数学建模到纯定性研究都有。Claude这边，上场的是Opus 4.8，推理开到最高档。它分两个身份参赛。一个和人类完全对等，拿同一份13条审稿指南，不许用任何外部工具。另一个是调优版，有专门写的审稿提示词，还能上网，平均每篇搜12.4次。它要Claude把全文和图表读透，主动去搜作者漏掉的前人研究。每篇引用都得真搜到、附上链接，不许凭记忆引。它还要Claude分清哪些问题撑着整篇论文，先讲最要紧的两三个，不许客套，也不许凑字数。裁判是另一家公司的GPT-5.5。两份意见去掉格式和出处，调换顺序各比一次，两次都选同一份才算赢。除了比整体，它还要在七个维度上逐项比较，并给每份意见打0到10分。
比整体时，GPT-5.5没有一次判人类赢，所有分出胜负的对比都归了Claude。拆到七个维度，Claude在找弱点、评方法、补文献三项上全胜。图表赢了99%，理论与想法、论证框架、表达也各赢了92%。左为成对比较中AI的胜率，右为0到10分的平均评分补文献一项，人类专家4.73分，联网的Claude是9.55分。不让它上网时，它在这一项只赢下62%，开了搜索才变成全胜。图表一项，人类平均只有2.95分，Claude是7.57分，不少意见对图表只字未提。浅灰为人类专家、黑色为Claude，横轴为0到10分还有个细节耐人寻味。三位前编辑彼此判断一致的比例是80%，他们和GPT-5.5的一致率反而有87%。也就是说，人类编辑跟这位AI裁判的看法，比跟自己的同行还要一致。两位作者自己先当了一回杠精，一口气做了十类稳健性检查。头一个怀疑，是AI靠篇幅取胜。研究者只留下字数相近的44组，Claude照样44组全胜。于是研究者让Claude把134份人类意见全部改写成AI口吻，论点一个不动。换了腔调的人类意见，还是一组都没赢回来，平均分反倒从5.93分掉到了5.87分。研究者就只看评分前40%的人类意见，再挑出和AI最接近的28组。人类依然一组没赢，分数最高的那份，也比AI低0.7分。还有人担心，Claude训练时见过这些论文后来发表的版本。可按投稿年份一拆，不联网的Claude在2022年及以前的老论文上拿8.2分，在2025到2026年的新稿上拿8.1分，几乎没有差别。最后一个疑问，是只用一家模型、一种裁判，结论靠不住。研究者干脆让Claude和GPT互当审稿人和裁判，比了416次。不管谁当裁判，AI都赢了九成以上，人类那份意见在五份里基本垫底。
GPT-5.5比整体时只读了意见，没对照论文原文。所以研究者又专门查了一遍，这些意见到底靠不靠谱。第一关是引用。联网的Claude在意见里引了651篇带DOI或arXiv编号的文献，研究者一篇篇拿去数据库比对。651篇里，没有一篇是编出来的。抽查引用的用法，能判断的100处里，99处都和要说的问题对得上。这一轮比的是不联网的Claude和人类。研究者把意见拆成一句句具体说法，隐去出处，让模型拿着原稿逐条判对错。判错的门槛很高，原稿里有直接反证才算错。比如有审稿人批评论文「没做稳健性检验」，可第5节明明写着做了。结果，人类专家的956次核查里，有152次被判错，占15.9%。Claude的1039次核查里只有57次，占5.5%。按整份意见算，64.2%的人类意见至少错了一处，Claude这边是37.1%。判错的模型本身靠不靠谱，研究者也验了。人工复核90条，87条结论一致，剩下3条分歧，全是模型冤枉了Claude。他们还给这位核查员设了个陷阱，往审稿意见里塞进258句只改了几个词的反话。结果全被揪了出来，同样多的真话，一句没被误判。这批专家有报酬、有口碑，还被要求通读全文，逐句对照原稿时，错的却比AI多。挡在AI审稿前面的那条最大理由，在这组数据面前已经站不太住了。Nature报道过，超过一半的研究者在用AI审稿，不少人还违背了相关规定。ICML 2026做过一次随机分组实验，被分到「禁用AI」组的受访审稿人里，仍有22.5%承认自己用了。斯坦福大学政治学副教授徐轶青转发这篇论文时说，禁止审稿用AI的期刊，都该重新想想自己的立场了。所以King和Worthington在论文后半部分，干脆讨论起期刊接下来该怎么办。他们设想了一套新流程。期刊公开一份官方的AI审稿提示词，作者投稿前先用它把论文审几遍、改几遍。投稿时，论文、AI意见和作者对每条意见的回应一起交上来。编辑再换一套不公开的提示词复审，难判的稿子请编委或外部专家把关。照这个流程走，两人认为，发表决定有望从几个月缩到几天。作者的回应信，是这套流程里少不了的一环。因为论文改到后面，AI会开始较真到离谱。论文里举的例子是，AI可能会说「没错，2+2=4，但你从来没定义过+号」。这时候，作者得有地方据理力争。风险两人也没回避。每个人用AI想点子，单看都更有新意，放在一起却越来越像，慢慢都往主流、保守的方向靠。所以他们建议，期刊要一直追踪作者和AI意见不合的地方，不断调整提示词和模型。一份认真的审稿意见，过去是科研里的稀缺品。要等上几个月，还得碰运气，看能不能遇上用心的审稿人。如果AI能让它随叫随到，科学家就能更早听到批评，更快改出下一版。至于哪篇论文配得上哪本期刊，两位作者认为，仍然只能由人类编辑来判断。参考资料：
https://gking.harvard.edu/peerless/
https://x.com/emollick/status/2113483068174692831
编辑：摩西
关于科技区角：国内科技展会垂直内容策划服务商，提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务，以产业内容吸引高质量B端人群，打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
