出品｜搜狐科技
作者｜梁昌均
“AI是人类有史以来发明的最危险技术，风险超过汽车、飞机和药品。”
这是微软联合创始人比尔·盖茨最新发出的对AI风险的警示，并预计未来一年内，AI导致的网络安全事故将集中爆发。
无独有偶，谷歌DeepMind董事长兼谷歌首席科学家德米斯·哈萨比斯最近也警告称，最近的AI攻击事件就是潜在风险的信号，如果不对AI系统加以安全防护，那么可能将在明年或未来几年演变成重大安全事件。
最近，AI风险成为美国硅谷的话题风暴中心，多位在AI领域存在竞争的科技大佬们集体罕见站到了一起，普遍认为AI安全问题已迫在眉睫。
这背后导火索在于OpenAI、Anthropic等AI公司安全事故连续出现，AI智能体表现出的所谓“自主性”引发了行业对AI安全甚至失控的担忧。
这些造AI的人因此站到了统一阵营，不少人甚至共同呼吁要放缓前沿AI发展速度。但安全的事，不是某个企业甚至不是单一国家说了算，具体要怎么做还缺乏共识。
硅谷大佬集体警示AI风险
在最新的媒体访谈中，比尔·盖茨谈及AI风险时表示，近期最大威胁不在AI失控，认为这种风险成为现实还需数年。
“AI当前最紧迫的风险在于不法分子的恶意利用，如利用AI进行勒索、操纵股市等，这可能导致未来一年网络安全事件频发。”
这是盖茨最近两个月内第二次就AI风险发出警示。此前8月底，他就发出一篇博客长文，认为动荡的AI时代已经到来，但我们并未为此做好准备，“目前没有任何计划来帮助我们平稳进入AI时代”。
在这篇博客中，除了网络攻击风险，盖茨还提到了AI对劳动力和就业市场的冲击，在生物安全方面的隐忧，以及对人们批判性思维的影响。
盖茨创办的微软同样在不断提示AI风险，其CEO萨提亚·纳德拉最近也发文提醒企业，要将前沿闭源及开源模型视为潜在的“内部风险”。
纳德拉解释称，目前AI模型的能力已经超过传统软件系统，并且企业还在赋予其访问敏感数据、执行关键任务的权限，但仍难以充分理解和追溯模型的行为，企业只是被动地接受或拒绝模型给出的建议、答案和行动。
可以说，硅谷这波始于今年夏天的AI安全焦虑依然在空前高涨。这一切都肇始于越发强大的AI，在向前迭代过程中频发的安全事故。
自今年7月以来，OpenAI和Anthropic相继发生多起AI智能体突破隔离环境的“越狱失控”事件，如GPT-5.6 Sol入侵Hugging Face的生产环境，Claude多次对真实企业系统发起未授权的访问。
英国人工智能安全研究所（AISI）则在一项涉及互联网接入的网络安全评估中提到，Anthropic的Mythos 5以及GPT-5.6-Sol模型“持续针对真实个人和组织实施可能造成危害的活动”。
两天前，由多国AI安全研究人员组成的独立团队Swarmchasers发布报告称，一批运行在腾讯云上的智能体，在执行地图信息检索任务期间，尝试2600余次绕过高德地图的反爬虫机制进行数据获取。
“这类问题并非腾讯独有，而是全球AI实验室共同面临的模型对齐难题。”该团队称。
这些安全事件都暴露出当前AI安全体系存在的漏洞，引发全球AI行业高度关注，而硅谷则快速集体行动起来。
先是7月底，OpenAI、Anthropic、谷歌、Meta等AI公司核心员工发起请愿书，认为递归自我改进（RSI）加速可能导致AI能力增长超过人类理解和控制的速度，呼吁政府推动国际合作，研发必要的技术与治理工具，让世界有能力主动控制前沿自动化AI研发的节奏。目前，这封请愿书已有上千人签名。
随后8月底，OpenAI、Anthropic、微软、谷歌、亚马逊、IBM等美国AI产业链上的上百家企业和机构联合发布公开信，警告随着AI模型能力快速提升，网络攻击可能在未来数月变得更加普遍和复杂，呼吁政府、科技企业和网络安全机构加强防御合作。
Anthropic创始人&CEO达里奥·阿莫迪则是其中的代表人物。他在今年多次提到，递归自我改进（RSI）即AI自主设计、训练和改进下一代模型，将加速AI技术迭代。
但这可能带来多个系统性风险，包括AI学会欺骗、规避约束等自主性风险，降低网络攻击、生物武器门槛等毁灭滥用风险，替代大量岗位、导致财富集中等经济风险，以及导致人类主体性下降、陷入意义感危机等风险。
今年9月，阿莫迪再次发文《We Must Pace the Frontier》称，智能体已出现越权、逃逸沙箱、攻击外部系统等行为，失控风险开始具象化。
“未来6-12个月内，更强大且可能偏离人类控制的智能体集群或形成互联网级僵尸网络，从而造成数千亿美元级别的损失。”阿莫迪警告称，前沿AI必须主动控速。
这迅速获得了竞争对手们的响应。OpenAI创始人&CEO山姆·奥特曼公开回应：“我赞同Dario，我们需要放慢前沿AI的速度。”
马斯克也公转发阿莫迪的推文称其说得对。他认为，AI风险正在从理论变成现实，且AI发展难以被单个人阻止，长期看AI还存在导致人类文明终结的风险。
AI教父杰弗里·辛顿更是预测，未来几十年内，AI导致人类灭绝的概率是10%到20%。“这是极其严重的事，是有真实可能发生的。”
如果说此前对AI风险的担忧更多是杞人忧天或者是为了延缓对手进步而放出的烟雾弹，那么如今随着AI能力增长跑在安全、对齐和评估的前面，安全事件频发，业内对AI失控的担忧正在步步变成现实。
这些原本存在竞争甚至长期互撕的科技大佬难得在这个问题上达成共识。尽管有人质疑这可能是在用安全和责任叙事进行包装，但毫无疑问提升了行业对安全问题的关注。
如何给AI“装刹车”？
不过，虽然这些科技大佬都认识到AI安全乃至AI失控的风险，但对于如何应对却存在分歧。
阿莫迪则是典型的主动降速派。他公开呼吁行业减速，认为前沿AI必须放慢能力增长速度。但他强调，控速不是暂停，并非停止训练或放弃进步，而是给对齐、可解释性、测试评估和防护机制争取时间。
为此，他提出三步控速计划，包括引入第三方嵌入式评估，向独立第三方提供长期、接近员工级别的系统访问权限；行业共同制定安全红线与能力检查点，避免单家公司减速导致竞争劣势；推动全球协调，在禁止生物武器滥用、限制RSI速度等方面需求合作。
目前，Anthropic已承诺执行第一步。但如何推动行业和全球共同合作则面临挑战，如AI公司如何共同控制迭代速度，如何保证公平和透明度，现在还缺乏沟通和共识。
OpenAI则偏向被动的减速派，其在Hugging Face安全事件后宣布永久停用失控原型，并暂停部分前沿模型训练，直到安全论证更充分，且承诺也会向独立评测人员提供类似员工的访问权限，并放缓了原本计划在今年IPO的上市计划。
奥特曼此前表示，OpenAI也在讨论如何协调放慢前沿模型开发，但反对过度或全面监管，认为这可能导致AI被极少数公司或单一国家垄断，公众失去红利和自主权。
他主张对最顶尖的前沿模型加强护栏，但不支持全面限制落后模型。因此，奥特曼并不是完全的“减速派”，而是既要给前沿AI踩刹车，又不想让刹车变成少数公司的垄断手段。
马斯克虽然赞同阿莫迪提出的AI失控风险，但他反对单边减速，而是要依靠行业自律和竞争制衡来实现，主张AI公司在模型发布前开放API，由竞争对手进行交叉安全测试，并通过日志审计、开源测试工具等降低技术泄露风险。
不过，AI降速论也并非受到完全认可。英伟达的黄仁勋就主张不应减速，反而要加速推进，将安全约束技术更快集成进AI系统，AI本身就可以帮助控制这项技术。
在他看来，安全风险是行业高速扩张必然的阵痛，目前没有必要如此担忧这项技术。同时，他反对用“末日论”制造恐慌，认为“AI灭绝论”的概率数据缺乏科学依据。
但黄仁勋也表态，对开发不安全AI软件的客户会先沟通，必要时会断供芯片。此前，他还宣布将向英国AI安全研究捐赠价值2.5亿美元的算力，用于研究AI防护方案与智能体管控技术。
AI降速论并不新鲜，马斯克早在2023年就有呼吁暂停AI研究。但在AI军备竞赛如火如荼时，没人愿意主动率先停下来，将领先位置拱手让人。
实际上，自今年7月以来，OpenAI、Anthropic、谷歌、Meta、xAI等陆续发布了更为强大的模型，如Meta最新推出了其最强大的开源模型Muse Spark Open，可谓是一边踩油门，一边喊刹车。
国内在过去很长时间对AI安全的讨论或重视并不足够，但现在也有更多企业开始加强对AI安全的投入。
比如，字节跳动Seed最近爆出将成立Seed Model-Alignment&Preparedness部门，旨在加强安全与对齐方向的投入，提升智能体模型的安全能力，以及防范CBRN（化学、生物、放射、核）等前沿能力风险。
“必须假定模型已遭到入侵，并从一开始就加以约束，类似紧急刹车系统。”这是纳德拉给使用AI的企业发出的安全警示。
他建议，企业应在模型开发商的安全保证之外，建立独立的权限管理与安全控制机制，确保模型行为可观测、结果可验证、权限可独立控制，并建立模型多样性、独立审计和安全事故及时披露等机制。
从监管层面来看，欧盟相对中美则有着相对严格的AI立法。盖茨认为，AI风险已然高于已受严格监管的传统行业，而目前全球尚未建立起一套行之有效的监管框架。
他表示，AI安全治理仅靠行业自律和企业自身难以有效应对，而且目前资源投入远远不足，呼吁各国政府应该像全球在核武器等方面的协调那样加强AI监管合作。
目前看来，AI风险已成共识，但如何治理防范，看来还要打一阵的口水战了。
运营编辑 | 曹倩
