告别AI“乱画图表”！港中文团队发布首个结构化图像生成编辑系统

AI竟然画不好一张 “准确” 的图表？

AI生图标杆如FLUX.1、GPT-Image，已经能生成媲美摄影大片的自然图像，却在柱状图、函数图这类结构化图像上频频出错，要么逻辑混乱、数据错误，要么就是标签错位。

这背后是视觉生成领域的长期偏向：过度追求自然图像的美学效果，却忽视了结构化图像对 “事实准确性” 的核心需求。

更关键的是，现有视觉理解模型（如Qwen-VL）已能精准解析图表数值、公式逻辑，而生成/编辑模型却难以匹配这种理解能力，形成显著能力鸿沟，严重阻碍了 “能看又能画” 的统一多模态模型发展。

告别AI“乱画图表”！港中文团队发布首个结构化图像生成编辑系统图1

对此，来自港中文MMLab、北航、上交等校的联合团队提出了首个综合性解决方案，可应用于结构化视觉生成与编辑领域。

涵盖高质量数据集构建、轻量模型优化、专用评估基准三大模块，旨在让多模态模型不仅能看懂图，还会画准图。

下面是更多详细内容。

结构化图像的 “三大能力刚需” 与 “一大发展瓶颈”

结构化非自然图像（图表、公式、表格、示意图等）虽不像风景、人像图像那样 “美观”，却是教育、科研、办公的核心工具，其生成与编辑需满足三大刚性要求：

但现有方案完全无法满足这些需求：

数据端：
主流数据集（如JourneyDB、OmniEdit）以自然图像为主，缺乏 “代码-图像严格对齐” 的结构化样本（如无法通过代码验证图表数值准确性）；
模型端：
统一多模态模型侧重自然图像的指令跟随，缺乏对细粒度结构化语义的理解（如分不清图表的X轴与Y轴逻辑）；
评估端：
CLIP Score、PSNR等指标只关注像素或整体语义的相似性，无法衡量 “数值是否正确”“标签是否匹配” 这类细粒度准确性。

更关键的是，视觉理解与生成的 “能力鸿沟” 持续扩大 —— 模型能 “看懂” 图表里 “类别A的数值是5.2”，却 “画不出” 一个数值准确的同类图表，这成为统一多模态模型发展的关键卡点。

为解决上述问题，论文构建了 “数据-模型-基准” 三位一体的解决方案，每一环都直击领域痛点：

1、数据层：130万代码对齐的结构化样本库

结构化图像的 “准确性” 可通过代码精准定义（如Matplotlib、LaTeX的绘图代码），因此团队采用 “代码驱动” 思路构建数据集：

收集200万可执行绘图代码，覆盖数学函数、图表、表格等6类场景，执行代码生成 “代码-图像对”；
用GPT-5生成 “双指令”：既生成 “视觉编辑指令”（如 “将函数y=x²的阴影区间缩至x∈[-1,1]”），也生成对应的 “代码编辑指令”（如 “修改fill_between条件为x>=-1且x<=1”），确保编辑前后的图像与代码严格对齐；
最终筛选出130万高质量样本，并为每个样本添加 “思维链标注”（如生成任务的详细分析、编辑任务的多步推理过程），解决指令模糊问题。

2、模型层：轻量融合VLM，兼顾结构化与自然图像能力

基于FLUX.1 Kontext（支持生成与编辑统一的扩散Transformer），团队设计 “轻量级VLM整合方案”，避免传统重投影器的训练开销：

引入Qwen-VL来增强对结构化图像输入的理解能力，通过 “轻量MLP连接器” 将其提取的高层语义（如图表数值逻辑、公式符号关系）对齐到FLUX.1的特征空间，仅训练少量参数即可实现能力迁移；
采用 “三阶段渐进训练”：先对齐VLM与扩散模型特征（仅训MLP），再混合自然图像与结构化数据训练（训MLP+骨干），最后用带思维链的样本提升推理能力，确保模型不丢失自然图像生成能力。

3、基准层：StructBench与StructScore，精准评估 “准确性”

针对现有评估指标的缺陷，团队提出专用基准与指标：

StructBench 基准：包含1714个分层抽样样本，覆盖数学、图表、表格等6类任务，每个样本附带 “细粒度Q&A对”（如 “Q：柱状图 X 轴标签是什么？A：类别1/2/3”），用于验证事实准确性；

StructScore 指标：通过 “原子化Q&A+开放回答评分” 评估 —— 将图像属性拆分为单个开放式问答（避免多属性混淆），比较模型回答与标准答案的相似性进行赋分。生成任务看Q&A准确率，编辑任务则以 “0.1×视觉一致性+0.9×指令遵循” 加权（优先保证编辑有效性），该指标与人类偏好的皮尔逊相关系数超0.9，远优于传统指标。