AI越聪明越难控？前Anthropic员工联手打造“安全审计”新标准，获4000万美元A轮融资

【科技24时区】就在Anthropic研究员Jacob Coxon因担忧人工智能可能在十年内导致人类灭绝而愤然离职的次日，我们见到了两位创始人——Rune Kvist和Rajiv Dattani。这对连襟（Kvist娶了Dattani的妹妹）坚信自己手握一把钥匙，或许能解开企业级AI代理“失控”的死结，至少能为其套上缰绳。

“AI变聪明的速度越来越快，但令人意外的是，随着智能水平的提升，它的采用难度和控制难度不降反升。”Kvist直言不讳。作为Anthropic的早期员工，他对这一趋势有着切肤之痛。而他的搭档Dattani，此前曾担任AI安全研究机构METR的首席运营官。两人共同创立了初创公司Artificial Intelligence Underwriting Company（简称AIUC），旨在将AI安全理念引入企业界及模型开发商领域。目前，Cursor、Lovable、Harvey以及ElevenLabs等知名科技公司已成为其客户。

周二，AIUC宣布完成由Ribbit Capital领投、First Harmonic参投的4000万美元A轮融资。在此之前，该公司已从Nat Friedman旗下的NFDG基金、Emergence、Terrain以及Anthropic联合创始人Ben Mann等处获得1500万美元种子轮融资，累计融资额达5500万美元。

为何这群顶级投资者会对AIUC青睐有加？核心在于其试图将成熟的网络安全模式移植到全新的AI风险管控中。AIUC构建了一个针对AI代理的第三方审计与认证层。“银行、医院、政府乃至军方不再因为模型不够聪明而拒绝部署AI，”Kvist解释道，“他们拒绝的原因在于，他们向客户承诺过系统‘做什么’和‘不做什么’，但目前无人能保证这些承诺不被打破。”

以广泛采用的网络安全标准SOC 2为灵感，AIUC开发了一套名为“AIUC-1”的标准及相应的测试服务，用于验证代理是否符合规范。为了制定这套标准，AIUC组建了一个由约250名安全和风险负责人组成的联盟——这些人正是AI代理的潜在买家。“我们每月与他们会面，询问的核心问题是：当你从他人处购买代理时，你会关注什么？你想问哪些问题？你希望看到哪些隐患被解决？”Dattani在接受TechCrunch采访时透露。这些反馈直接塑造了测试体系。

随后，初创公司将AI代理置于包含约5000项测试的套件中，观察其在涉及越狱攻击、幻觉生成及数据泄露等场景下的表现。最终生成的报告长达百页左右，详细列出了代理在哪些方面安全可靠，又在哪些环节存在漏洞。颇具讽刺意味的是，AIUC利用AI代理来执行测试，并用AI分析数据，但最终审计结果仍需人工核实，Kvist强调道。

这种模式听起来似曾相识。Dattani的前东家METR（他在2024年至2025年期间担任COO，目前仍是董事会成员）也为前沿实验室提供类似的测试服务，尽管其近期工作重心主要集中在性能评估（即代理能否可靠完成任务）。值得一提的是，OpenAI曾聘请METR等独立研究机构调查其Hugging Face事件。

Anthropic首席执行官Dario Amodei近期也呼吁AI行业放缓前沿开发步伐，理由是不良行为事件急剧增加。他在文章中提出，要求前沿实验室使用嵌入式第三方评估员来观察和验证安全性，并点名METR为可能的候选者之一。虽然AIUC并未提议将自己嵌入客户现场，但其核心理念异曲同工：为企业提供一个关于其AI代理安全性的独立评估。

“这里是通过测试且值得信任的部分，这里是存在隐患的区域。在做出采购决定之前，你必须清楚这些参考信息。”Dattani总结道。在AI能力指数级增长的当下，这种“先体检，后上岗”的模式，或许正是缓解技术焦虑的一剂良方。