Linux 基金会发布关于共享 AI 发现交换 (Shared AI Findings Exchange, SAFE) 指南的征求意见稿,旨在将智能体网络安全事件转化为更完善的防护措施。

随着一年一度 Black Hat 大会于 8 月 4 日在拉斯维加斯开幕,目前拥有 120 多家成员机构的开放安全 AI 联盟正在制定新的指南,以加强代理式 AI 的网络安全。
Linux 基金会发布了一份关于共享 AI 发现交换 (SAFE) 的征求意见稿,这套指南旨在将智能体网络安全事件转化为惠及整个生态系统的共享防护机制。
SAFE 指南正在由开放安全 AI 联盟的工作组负责起草。NVIDIA、Cisco、CrowdStrike、Hugging Face 和 Red Hat 等开放安全 AI 联盟成员正在与 Linux 基金会合作,为初始提案做出贡献。
SAFE 指南包括以下建议:保密收集和分析 AI 安全事件和未遂事件、通知受影响方、识别重复出现的管控失效问题,并发布基于证据的操作建议以降低系统性风险。
网络安全是一场没有终点线的竞赛。每一次重大技术变革都会产生新的潜在攻击面。防御者现在必须以智能体的速度采取行动,才能快速响应以保护基础设施和知识产权 —— 而实现这一目标的最佳方式就是合作。当可信赖的生态系统公开共享威胁情况时,集体防御就成为一种力量倍增器。
开放安全 AI 联盟
为 AI 网络安全提供更多工具
SAFE 框架是开放安全 AI 联盟成员所做技术贡献的进一步延伸,旨在构建和共享涵盖整个 AI 安全技术栈的开放、可检查的工具。
AI 智能体不仅仅是一个模型。它是一个系统 —— 包括身份认证、Harness、安全护栏、日志和评估 —— 确保其安全需要的不止是漏洞扫描。
安全一直以来都在层层防御中最为坚固,同时也依赖于社区分享其所知的意愿。当防御者以开放和快速的方式相互学习时,棘手的问题就能迎刃而解。
开放的 NVIDIA 网络安全软件与模型全栈
NVIDIA 的贡献贯穿整个技术栈,首先是发布在 GitHub 上的 NVIDIA Labs Object-Oriented Agent (NOOA) 研究 Harness —— 这使得智能体行为更容易被测试、追踪、审计和治理。
NVIDIA OpenShell 运行时限制了智能体所能查看、接触和执行的操作 —— 在智能体层强制执行安全和隐私管理,从而使智能体无法接触到它不应该访问的内容。
NVIDIA 的开放模型系列 —— 用于代理式 AI 的 NVIDIA Nemotron、用于物理 AI 的 NVIDIA Cosmos、用于机器人的 NVIDIA Isaac GR00T、用于医疗和生命科学的 NVIDIA BioNeMo,以及支持商用部署的辅助驾驶模型 NVIDIA Alpamayo —— 其模型权重、数据集和训练方法均以开放形式提供。
NVIDIA 开源且经过验证的智能体技能将这种信任扩展到了能力层。
每项技能都提供可移植的指令集 —— 这些指令集经过分类,扫描了例如提示词注入和工具中毒的风险,进行了加密签名,并附有技能卡记录。防御者可以确切地知道一项智能体技能的作用、来源以及发布后是否被修改过。
NeMo Guardrails、NeMo Anonymizer 和 NeMo Safe Synthesizer 可帮助执行安全策略、保护敏感数据并生成隐私安全的合成数据。
此外,NVIDIA 的开源 LLM 漏洞扫描器 Garak,允许安全团队在模型发布之前检查其是否存在数据泄露、提示词注入和越狱场景。
以上为摘要内容,请点击“阅读原文”或扫描下方二维码阅读完整内容:
