AI评测的“信任危机”：当基准测试沦为缺乏共识的自说自话

【科技24时区】当各大人工智能实验室将声誉押注于模型基准测试——这套号称中立、精准的评估体系，旨在衡量究竟谁的产品更胜一筹时，一个尴尬的现实正在浮现。这些测试背后的方法论不仅错综复杂，且远未成熟。Hugging Face首席政策官Irene Solaiman在上周TechCrunch Disrupt大会上的发言，撕开了这层温情脉脉的面纱：“如果行业未来要继续依赖这些数据，测试必须走向一门更严谨的科学。”

那么，我们此刻能盲目信任那些被频繁发布的测试结果吗？Solaiman对此保持了审慎的怀疑态度。“‘信任’是一个分量极重的词。”她指出，判断结果是否可信的核心要素之一，在于可复现性。你能否独立重现评估结果？你是否拥有访问模型底层所需的权限？这正是开源权重（Open Weights）大显身手的关键时刻。然而，模型评估的可复现性长期被视为基准测试中最难啃的骨头，也是行业内争议不断的焦点。

除了单个测试的有效性，另一个更为棘手的问题是横向对比。不同评估体系之间如同各说各话，“它们是一门不断演进的学科，而我们目前尚不知如何有意义地将它们相互比较。”Solaiman坦言。更令人担忧的是，这些测试方法失效的速度远比预期快，导致我们缺乏一个足够繁荣、成熟的生态系统来支撑持续的验证需求。业界如今迫切渴望建立一个“嵌入式评估器生态”，但谁来定义有效的评估者？针对何种任务进行评估？这些资格标准亟需高度的标准化，否则一切仍是空中楼阁。

所谓“嵌入式评估器”，即让所谓的“中立”第三方观察员深入AI组织内部，这一概念在过去几个月因多起安全事故而迅速流行。随着技术潜在危害引发公众焦虑，AI实验室试图通过引入第三方解决方案来规避政府监管的压力。但讽刺的是，这种“自我监管”的中立性与有效性备受质疑。Anthropic聘请埃森哲作为其首个评估机构，便引发了强烈反弹，批评者嘲笑这家咨询公司根本不具备胜任此项工作的专业资质。

值得注意的是，评估的重心正悄然转移：从单纯测试模型本身，扩展至测试围绕模型的整个系统，包括用户使用的工具（Harness）和智能体（Agent）。Solaiman分享了一个关键洞察：模型的性能与用户接入工具息息相关。一个较弱的模型若配备更优秀的Harness，完全可能轻松超越前沿模型。因此，“代理式评估既困难又昂贵。”她解释道，“我们拥有海量的模型评估数据，却鲜少关注Harness的评估，而我们正在开发更好的 holistic agent（整体智能体）评估方案——因为这才是大多数人真正从中获益的地方。”

换言之，当前的评估领域仍处于一种近乎无序的状态。若基准测试要继续被视为行业领导者手中的有效工具，一种更加统一、全行业共识的方法论或许已势在必行。毕竟，在一个连“尺子”都尚未校准的时代，任何关于“身高”的比较，都难免带有几分虚幻的色彩。