数据智能体的“知识底座”，真的靠谱吗？

让大语言模型根据几条业务问题生成本体，它往往能列出一批像样的概念和关系，也能写出 OWL 文件。但文件能解析、术语看起来熟悉，并不意味着模型已经把需求表达清楚：关系的方向可能错了，必要约束可能缺了，层级也可能只是几条松散的连线。

马德里理工大学的 Ontology Engineering Group（OEG，本体工程研究组）提出 CQ4OE，试图把这件事测得更细：从一条需求出发，追踪模型找到了哪些术语、建立了哪些公理，又遗漏了哪些必要结构。

论文：CQ4OE: A benchmark for assessing LLM-assisted ontology generation from competency questions

作者：Jiayi Li、Ziyuan Wang、Daniel Garijo、María Poveda-Villalón

单位：Ontology Engineering Group，Universidad Politécnica de Madrid

论文链接：https://arxiv.org/html/2609.26029v1

开源仓库：https://github.com/oeg-upm/cq4oe-benchmark

背景：评测本体，为什么不能只看“词对不对”

本体用类、属性和逻辑约束描述领域知识。能力问题（Competency Questions，CQs）则用自然语言规定需求：这套本体应该支持回答什么？从需求到本体，需要识别问题中的概念，也需要补出关系、层级与约束。

已有评测存在两种容易混淆的情况。一种是拿模型输出和整个参考本体比较，但参考本体还包含输入需求没有要求的知识；模型遗漏这些知识，也可能被扣分。另一种是只看词汇或粗略结构重合，概念虽然找到了，关系方向和逻辑表达却没有被真正检查。

CQ4OE 因此把评测单位拉回具体问题：参考答案里的每个术语和公理，为什么需要存在？它服务于哪条需求？

创新点：给金标准补上“需求到公理”的对应关系

作者选择 Wine（葡萄酒）、African Wildlife Ontology（AWO，非洲野生生物教学本体）、ODRL（资源使用权限与义务）、SAREF4WATR（水务）、VGO（电子游戏）和 SWO（科研软件）六套已有本体，从它们对应的 255 条已有问题中保留 110 条，再补充 8 条问题，形成 118 条需求。

需要外部知识、超出本体范围，或主要依赖具体对象记录的问题被过滤。筛选后，评测主要检查“有哪些类别、类别之间怎么关联、关系有哪些限制”（TBox）。例如，“长颈鹿属于动物”描述类别之间的关系；“某只长颈鹿吃了某片树叶”则是一条关于具体对象的事实记录（ABox），不在本次评测范围内。

随后，标注区分三类术语：问题直接出现的显式术语、通过同义表达体现的隐式术语，以及没有被说出却是表达需求所必需的派生术语。以 AWO 中的“哪些植物吃动物”为例：Plant（植物）、Animal（动物）和 eats（吃）是显式内容，CarnivorousPlant（食肉植物）及其相关公理属于进一步建模的内容。

基于这些标注，CQ4OE 分成两个任务：

CQ2Term 少了 19 条没有显式术语的问题，因此两项任务不是对同一批问题换个指标打分。CQ2Onto 也没有直接沿用完整源本体，而是提取与需求相关的片段，并记录问题到公理的对应关系。论文描述由一名标注者和两名专家审阅者共同确认这些决定。

方法：先对齐叫法，再分层检查结构

同一个概念可能被模型换一种名字表达。直接比较字符串，会把合理的命名差异当成错误。CQ4OE 因此先结合精确匹配、三种字符串相似度和一种嵌入相似度，在同类型术语间建立一对一对应；类和属性使用不同阈值，避免短属性名过于容易误配。

完成术语对齐后，CQ2Onto 从五个目标检查生成结果：

其中，属性特征、定义域与值域、公理同时报告两种视图：全局视图计入所有遗漏和多余内容；对齐条件视图（AC）只在相关术语已经对齐的范围内比较结构。两者的落差，帮助区分“概念没找到”和“概念找到了但组织错了”。

另一组指标按每条问题计算覆盖率：至少覆盖一个必要元素、平均覆盖多少，以及是否全部覆盖。HermiT 推理器还会检查部分遗漏的层级公理能否从已有结构推出，避免只奖励显式写出的关系。这个补救有范围限制，并不是对所有 OWL 表达式做通用语义等价判定。

实验：找得到概念，未必凑得齐需求

作者测试了 DeepSeek、Qwen 和 Gemma 三个系列的九个模型。CQ2Term 产生 54 组模型与领域结果；CQ2Onto 比较一次输入全部问题、逐条迭代生成，以及带工具修复的多智能体流程，共生成 162 个本体。这些是不同配置的结果，不能理解成对同一配置重复运行了 162 次。

CQ2Term 的全局术语 F1 在模型间约为 59.1%—66.5%。但按问题检查，差距更加明显：

这组数字表达的是：模型经常能碰到需求的一部分，却很少把全部必要元素补齐。例如水务本体 SAREF4WATR 的全局术语 F1 达到 70.6%，但各模型的问题级术语完整覆盖率仍为 0%。全局词汇表现和局部需求完整性，确实不是一回事。

到本体生成任务，模型在 18 个“领域×策略”配置上的平均结构 F1 约为 26.7%—33.7%。推理补救把平均公理覆盖率从 20.2% 提升至 21.6%，完整覆盖率则没有改善。作者观察到，生成的层级太浅或缺少必要链条时，推理器也没有足够结构可供推导。

这里尤其需要守住指标含义：2.1% 是所标注必要公理的完整覆盖率，不是实际问答准确率，更不能直接推成“只有 2.1% 的生成本体有用”。实验主要比较生成结构与参考结构的匹配和覆盖。

方法对比：多智能体修复解决了什么

论文的多智能体流程利用 RDFLib、HermiT 和 OOPS! 检查并修复本体，最多进行三轮迭代并支持回退。它属于带工具反馈的生成与修复流程，不能笼统理解成多个模型自由辩论。

三种策略的平均结构 F1 相差不超过约 3 个百分点，但局部行为不同：逐条生成形成了更密集的层级；多智能体流程把问题级平均公理覆盖率从一次生成的 18.3% 提高到 24.2%。修复部分公理缺陷与补出完整层级，并不是同一项能力。

这些是策略对照，以及匹配方法、推理补救前后的诊断；论文没有提供逐一移除各修复工具的完整组件消融，不能据此独立归因每个工具的收益。

局限：作者承认评测仍有盲区

结构指标依赖前面的术语对齐，近义但不等价的概念一旦配错，误差会传到后续评分。当前阈值来自经验检查，虽支持导出记录供人工纠正，仍不能保证自动对齐始终可靠。

复杂公理也没有得到同样完整的处理。层级补救主要覆盖能分解成原子包含关系的表达式，其他复杂约束无法靠该机制获得部分分数。公开本体和问题还可能进入模型预训练数据；加入私有或晚于训练截止日期的本体，仍是未来计划。

作者公开了金标准、评测代码、预测结果和运行报告，并提供问题到术语、公理的追踪记录。这让外部复核有了基础，但开放产物本身不等于所有评测假设已经被验证。

碎碎念

CQ4OE 做得最好的地方，是把“看起来像本体”拆成了可以追责的错误。漏了哪个概念、哪条需求只做了一半、哪个层级没有建起来，都能查到。相较于只报一个总分，这种诊断对工程人员更有价值。

但它批评旧评测把“像参考本体”当成“满足需求”，自己也没有彻底跳出参考结构。术语对齐和层级推理缓解了一部分问题，换一种同样有效的建模方式，是否仍会被严格公理匹配扣分？论文尚未充分验证多种合理答案之间的公平性。若能加入等价改写、替代建模和可执行的需求测试，会更有说服力。

评测器自身也该接受压力测试。只展示不同匹配方法给出不同分数，还不足以证明聚合后更接近专家判断。我更想看到人工对齐的参照、阈值敏感性，以及对齐变化后模型排名是否稳定。尤其策略平均差距不到 3 个百分点，没有重复运行和不确定性分析，很难把这点差别讲成可靠优势。

范围也需要说实：SWO 源本体有 1971 个类、深度 15，但实际评测金标准只有 31 个类、深度 1。需求裁剪是合理的公平性设计，却同时削弱了“覆盖大型深层本体”的说法。过滤实例级问题后，它主要测的是需求到概念模型的转换，还没有走完整个企业数据应用链条。

联系此前的 EvoOntology，二者恰好提醒我们关注两个不同目标：语义接口能否帮助智能体完成数据任务，以及形式化模型是否完整表达需求。前者涨分，不能自动替后者背书；后者得分低，也不等于某个业务接口没有用。我的评价是：CQ4OE 已足够作为一篇有价值的基准工作来解读，但要成为可靠的本体评测标尺，还需要先证明自己的评分对有效建模方式足够公平。