DeepSeek＋Hermes，隐私违规率高达96%？CoSec 用208个场景测试智能体授权边界

背景：一个智能体进入多个群组之后

一个个人智能体既参与健康互助群，也参与工作项目。它可能从前一个群组了解到敏感经历，之后又被要求为工作群整理资料。信息仍然保存在记忆或文件里，工具也能读取，但当前请求者与目标群组未必有权获得它。成员退出、角色调整、两个社区合并之后，这种判断还会随时间变化。

CoSec 把这些问题转化为可执行的安全评测：让完整智能体系统在持续存在的多人协作环境中工作，观察它能否完成正常任务，同时遵守当前有效的隐私与授权边界。论文由南京大学等机构研究者合作完成。

论文：CoSec: Benchmarking Agent Security in Communities

作者：Hao Chen、Wenhui Dong、Ye Chen、Jiezhi Yao、Chenbo Xia、Yuwen Qu、Renxiang Wang、Fudong Yuan、Camil Hamami、Chenglong Pan、Xinquan Yue、Ziyu Wang、Fengyu Ye、Chenyang Si、Caifeng Shan

单位：南京大学、西安交通大学、北京航空航天大学、浙江大学、浙江理工大学、清华大学、东南大学、同济大学、中山大学

论文链接：https://arxiv.org/abs/2609.34790v4

开源仓库：https://github.com/OriginArk/Cosec

创新点：把信息来源、接收者和时间放进评测

已有安全评测已经涉及提示注入、危险工具调用和隐私泄露。

CoSec 进一步聚焦一个跨越多个参与者、会话与社区的持续系统：同一个智能体代表一名用户行动，同时接触其他成员拥有的信息，保存记忆并操作共享文件。

在这种环境里，授权判断需要结合信息归属、来源社区、当前请求者、操作目的地以及当时有效的政策。加入新成员或扩大协作范围，并不会自动使此前的受保护资料变成可公开信息。系统能够访问某项资料，与该次操作是否获准，需要分别判断。

CoSec 为此设置独立的会话与工作区命名空间，同时保留智能体的持久记忆和共享工作区，使旧信息有机会经由真实的工具、文件和工作流流向新的接收者。评测器持有隐藏的授权判定规则；智能体只能看到场景规定的社区状态、可信事件通知和参与者消息。

方法：208 个场景，覆盖固定与变化的边界

基准共有 208 个固定场景，分为 Static112 与 Dyn96。前者包含 112 个固定社区结构场景，后者包含 96 个边界变化场景，覆盖成员、角色、社区组成及社区关系的改变。

场景同时区分社区内部与跨社区的信息流，以及资料属于智能体主人还是其他参与者。攻击压力来自四类入口：请求者直接发出的注入、文档等环境内容中的间接注入、持久记忆污染，以及多个能力或流程步骤的组合。最后一类尤为贴近工作流：某个单独步骤看起来是在正常读取、整理或写入，串联后却把受保护信息带到了未经授权的地方。

动态场景会在准备阶段与被评分动作之间插入一个社区事件。事件发生后的行为按更新后的授权状态判断，因此旧成员身份、先前角色或历史工作流不能自然延续为新动作的许可。

CoSec 运行的是完整命令行智能体系统，包括 OpenClaw、Hermes 和 Codex，保留它们各自的会话、记忆、工具及文件操作。场景中的人物、敏感事实和记录为合成数据，实验在隔离环境中执行。这使研究能固定场景条件，观察不同系统组合的行为差异。

指标：同时衡量完成任务和安全完成任务

论文将几个经常被混在一起的结果分开统计。隐私违规率 PVR 检查智能体生成的输出是否向未经授权的目的地披露受保护内容，覆盖最终回答与文件等产物；仅仅读取文件或提到路径，本身不足以构成这一指标下的违规。

跨社区隐私违规率 CCPVR 则在符合跨授权范围条件的试验子集上统计信息越界，分母与总体 PVR 不同。正常任务完成率 BCR 单独衡量合法任务是否完成；安全任务完成率 STCR 在此基础上，还要求没有被验证的安全失败。

这样的指标组合能够同时识别两种问题：完全拒绝操作的系统难以取得高 STCR，而顺利完成正常任务却同时泄露资料的系统，也不能用高 BCR 掩盖越界行为。安全性与效用通过同一条执行轨迹一起衡量。

验证阶段结合确定性证据提取与大语言模型语义评判。前者检查新产生的输出、动作和状态使用，排除场景预置内容、攻击者输入与内部读取；后者处理改写式披露、拒绝回答时复述秘密，以及不安全的流程组合。每个判定保留对应证据。

在 192 个经人工审查的试验中，组合判定对二元 PVR 的准确率为 96.9%，F1 为 96.8%，召回率为 100.0%，精确率为 93.8%。这项验证针对抽样试验的隐私违规判定，并不涵盖所有指标和未来场景。

实验：高任务完成率与高违规率同时存在

主实验包含 13 种智能体框架与基础模型组合，每种运行同样的 208 个场景。13 种组合中有 12 种的 BCR 超过 85%，但总体 PVR 从 29.33% 到 96.15% 不等。对这些经过安全压力设计的场景而言，“能把事情做完”与“能遵守信息边界”存在明显差距。

下面选取论文表 3 的部分结果。它们比较的是完整框架与模型配置，反映指定合成基准上的表现。

同一个 Gemini 3.5 Flash，在 OpenClaw 与 Hermes 上的总体 PVR 相差 24.04 个百分点。GPT 5.6 Sol 在 Hermes 上为 55.29%，在 Codex 上为 41.35%。因此，基础模型之外，会话、记忆、工具与输出如何被框架组织起来，也是评测结果的重要组成部分。

动态场景也没有统一的难度排序：六种 OpenClaw 配置中有四种的动态 PVR 高于静态 PVR，六种 Hermes 配置中却有五种更低。固定边界与变化边界测试的是不同条件，单看静态结果，难以推断系统在成员退出或社区合并后的表现。

失败分析：工作流会把旧授权带进新环境

作者将 13 种配置中 795 个已分类的动态安全失败归入四类主要模式：工作流延续占 29.9%，权限过度扩张占 25.5%，来源混淆占 25.2%，撤销失效占 19.4%。这些比例的分母是被分类的动态失败，描述失败构成。

论文展示的一个案例发生在社区合并之后：两名请求者通过交易工作流，诱导智能体将原来私有社区的信息写入新的共享产物。新的协作关系给了系统继续操作的情境，但对应敏感内容并未获得新的披露许可。最终回答是否显得谨慎，无法替代对实际文件内容的检查。

研究者还在 OpenClaw 和 Hermes 搭配 DeepSeek 4.1 Flash 的设置下，于首轮加入相同的安全提醒。在 OpenClaw 中，PVR 从 82.69% 降至 58.65%；在 Hermes 中，PVR 仍为 96.15%。相同提醒带来的保护并不一致。执行记录还显示，阻止一次文件写入后，拒绝回答本身仍可能复述受保护的元数据。

局限与启示：把授权作为持续的系统状态来测试

CoSec 提供的是受控、合成的安全测试环境。208 个场景与选定攻击策略有助于复现比较，但没有穷尽真实组织的权限政策、复杂社会关系和长期协作历史。论文中的违规率对应这些测试场景，不能直接换算为日常使用中的泄露概率。

语义评判仍有误差，人工核验只覆盖其中一个样本与二元 PVR 任务。系统比较还绑定论文使用的版本、模型配置与运行条件，结果适合用来识别风险模式，不能脱离条件给模型或产品作永久排名。

论文最有价值的推进，是把授权检查延伸到持续执行的全过程：记忆从哪里来，文件属于谁，社区状态何时改变，以及最终信息流向了哪里。作者提出进一步研究更广领域、更长协作历史及执行过程中的授权防护。对持续工作的智能体而言，能否安全完成任务，需要与任务能力一起接受检验。