SciDiagramEdit：学习从论文修订中编辑科学图表

论文信息

标题: SciDiagramEdit: Learning to Edit Scientific Diagrams from Paper Revisions

作者: Yasheng Sun, Zezi Zeng, Yifan Yang, et al.

发布日期: 2026-07-16

PDF 链接: 下载 PDF

从论文修订中学会编辑科研图表：SciDiagramEdit 的演进之路

背景与动机：当 “修改一张图” 成为科研日常

在科研论文的反复打磨中，图表修订几乎是无处不在的环节。合作者的一条批注、审稿人的一句建议，往往要求作者重新标记某个子图、增加一组对比面板，或调整箭头路由以更清晰地展示逻辑。然而，现有的自动化工具大多聚焦于 “从零生成图表”：基于文本描述创建全新的科学插图，如 AutoFigure、PaperBanana、SciFig 等，或是评估生成图的质量如 AIBench。它们都无法支持一种更频繁、更核心的需求——在已有图表的基础上，按照自然语言指令进行局部、精确、可逆的编辑。

商业级图像编辑器（如 GPT‑Image‑2、Nano Banana Pro）虽然能根据文字提示重新渲染整张图片，但它们输出的是扁平化的像素，无法提供对单个矢量元素的操控。研究人员真正需要的，是在不重绘整图的前提下，增删某个子面板、更改某个标签、重排一段连线。这些操作应当发生在可编辑的矢量源（SVG）之上，并且每一步修改都对用户透明可查。

论文《SciDiagramEdit: Learning to Edit Scientific Diagrams from Paper Revisions》敏锐地抓住了这一痛点，并提出一个极具创意的解决思路：arXiv 预印本的版本历史中，本身就蕴藏着大量由作者亲手实施的图表修订对。同一篇论文的两个 arXiv 版本之间，同一张图表往往被作者重新绘制，这构成了一条未被充分挖掘的监督信号。基于这一洞察，作者构建了首个面向科学图表编辑的基准数据集，并设计了一种技能进化（Skill Evolution）的代理学习框架，使得编辑智能体能够从执行轨迹和作者演示中蒸馏出可迁移的编辑规则，最终实现在 SVG 原语层级上的高精度按指令修改。

核心方法：让代理在真实修订中自我进化

数据集：挖掘 arXiv 深处的编辑意图

研究团队从 arXiv 的版本差异中挖掘出 364 对 “编辑前‑编辑后” 图表，覆盖 23 个学科，并进一步为每一对样本标注了自然语言编辑指令和一系列检查问题。这些问题被设计为结构化形式：每一个问题 $q_j$ 都对应预设的答案集 $\mathcal{C}_j$ 和标准答案 $a_j^\star$ （例如二元的是/否判断，或多选选项）。全数据集共包含 2,628 个原子编辑声明，既检验表层指令的执行情况，也检查图表整体的逻辑连贯性。这套标注将作者内隐的修订意图转化为可计量的对齐信号，为后续代理训练提供了坚实基础。

编辑代理：受技能规范驱动的 SVG 操作器

编辑代理（Editor）并非一个简单调用大模型一次性输出全文的脚本，而是一个能够读取文件系统、调用 Python 和专用命令行工具的代码编写子进程。所有操作受一个名为 “技能规范” $\mathcal{S}$ 的可学习文件夹控制，该文件夹包含 SKILL.md 主文件与可选的 workflows/、tools/ 子目录。代理启动时只加载 SKILL.md 到系统提示，其他文件按需读取，从而保证技能库即使不断膨胀，上下文成本也恒定不变。

收到输入图表 $F^{\text{in}}$ 和编辑指令 $I$ 后，代理发出序列化工具调用，对 SVG 源码进行修改（例如替换标签文本、调整 viewBox、插入新的矢量组），最终输出 $F^{\text{out}}$ 和完整的执行轨迹 $\tau$ 。由于所有操作都作用在文本形式的 SVG 上，研究者可以随时打开文件查看每个基本元素的变化，或与代理协同编辑，彻底告别 “黑箱” 栅格输出。

评估法官：语义准确性与美学偏好双维把关

编辑效果的好坏不能仅靠 “看起来差不多” 来评判。SciDiagramEdit 设计了一个视觉‑语言模型（VLM）法官，从两个维度给出得分。

语义保真度 $r_{\text{sem}}$ 基于前述的结构化检查清单来计算。VLM 被要求对每个检查问题，从固定答案集中做出选择，而不是自由描述。这种做法极大提高了评判的精度和可解释性，最终返回成答对的比率。

美学偏好 $r_{\text{aes}}$ 则采用成对比较：将代理的输出 $F^{\text{out}}$ 与作者的真实修订（即 arXiv 新版本中的图表） $F^{\text{ref}}$ 并排陈列，询问 VLM “至少同样精美吗？”。这一过程还通过随机化左右顺序来消除位置偏差。相比单点打分，这种比较方式更稳健，也更贴近人类对美学的主观判断本质。

两个得分并非简单相加，而是相乘得到复合分 $r = r_{\text{aes}} \cdot r_{\text{sem}}$ 。这意味着：一张编辑图必须先在视觉上达到或超越作者的修订水准，其语义正确性才被计入总分。这一乘法门控机制强烈驱策代理在美学上不断逼近人类作者的水平。

教练代理：从演示中蒸馏可迁移的规则

这是整个框架自主学习能力的关键。教练（Coach）是一个具有编程和 Shell 权限的分析型智能体，在每个训练轮次，它会接收一个小批量样本，包括输入图、代理输出、执行轨迹、法官评分，以及——最关键的一点——作者的真实修订图。通过将失败案例直接与作者的高质量修订对比，教练能够定位出代理犯错的模式，并产生细粒度的补丁来更新技能规范 $\mathcal{S}$ 。

这些补丁可能是新增一个工作流文件，比如 post-restructure-compactness.md，专门检测结构重组后是否留有多余空白；也可能是修改 SKILL.md 中的具体条目，如规定上下标必须用 <tspan dx="-N em"> 正确定位，而不是依赖不可靠的 Unicode 重标。每一轮提出的补丁都被限制在很小的数量内（例如 8 个），且采用增量修改而非全量重写，这样既能持续积累经验，又避免遗忘已习得的规则。

整个进化循环维护一个大小为 $K=3$ 的技能前沿集。每步从前沿中轮选一个父技能，在训练小批量上运行编辑代理，获得轨迹和评分，由教练生成补丁，然后在留出的验证集上评估新技能。只有当新技能在验证集上的得分显著超过前沿中最差的成员时，它才会被接纳，并将最差的成员淘汰。这一机制保证了技能规范单调上升，如图 1 右所示，最优技能的成功率随进化迭代稳步提高。

创新点与贡献

SciDiagramEdit 的三重创新清晰有力。其一，首次构建了基于真实论文修订的编辑基准，填补了科研插图编辑领域的空白。其二，提出技能进化框架，通过自动对比代理输出与作者真值，从失败轨迹中提炼出结构化的、可迁移的编辑规则，无需手工铺设复杂管道。其三，整个编辑操作始终保持在 SVG 矢量层面，输出图不仅忠实于指令，更保留了完整可编辑性，使用者可以无缝继续修改——这对于需要反复修订的学术出版流程意义重大。

实验结果：矢量编辑也可以很 “美观”

在测试集上的定量对比中，SciDiagramEdit 展现了极强竞争力。在语义保真度方面，它以 0.932 的检查表成功率超越了最强的闭源栅格编辑器 GPT‑Image‑2（0.882）和所有单次传递的矢量编辑器基座（如 AutoFigure‑Edit 搭配 GPT‑5.5 仅 0.844）。可见，通过迭代检索和局部操作，代理对指令的理解和执行力明显优于一次性重绘的方法。

在美学维度，GPT‑Image‑2 凭借其成熟的美术还原能力在 IAA 和 ISTA 等客观指标上分数很高，甚至偶尔超越作者的真实修订图。但 SciDiagramEdit 作为矢量方法，美学表现已大幅优于其他矢量基线，且盲评的美学胜率达到了 0.515，远高于 AutoFigure‑Edit (GPT‑5.5) 的 0.400。这与我们强调的乘法门控设计一致：技能进化不断针对美学漏洞打补丁（如收紧视口、对齐元素），使矢量输出也可拥有令人满意的视觉呈现。

尤为引人注目的是技能的跨模型迁移实验。将基于 GPT‑5.5 进化出的技能规范直接应用到 GPT‑5.1、5.3、5.4 等较弱的代理上，语义和美学得分均获得明显提升，甚至接近这些代理自身从头进化所能达到的水平。这表明，技能库封装的是领域处理知识，与底层语言模型的具体能力解耦，具备良好的普适性。

定性案例和图 5 的技能消融实验清晰揭示了进化规则的实际效果。例如，在没有技能规范时，代理将四个竖向排列的缩略图重新布局为 2×2 网格后，忘记调整 SVG 的 viewBox，导致四周出现大片空白，直接触发美学不通过。引入技能后，“结构重组后紧缩 viewBox” 规则自动生效，空白消失，输出立刻通过盲测评审。另一案例中，数学符号 $\pi_t^{\text{Alice}}$ 的错位问题，被专有的 “数学排版规则” 纠正，用正确的 <tspan> 结构替换了不协调的 Unicode 上标。

实践应用建议与未来发展方向

SciDiagramEdit 提供了一套可直接触及科研人员痛点的工具原型。未来，类似系统可以嵌入到 Overleaf、本地 LaTeX 编辑环境，或者 arXiv 的提交流程中。作者只需用自然语言下达指令：“请将第三列的子图 B 移至第一列，并放大其标签”，系统便能在 SVG 源文件上自动执行，同时保留完整的版本历史。对于学术出版商，这样的代理还可用于辅助校稿，自动检查图表修订是否符合逻辑一致性。

然而，当前框架仍限定在 “显式指令编辑” 的范畴，代理尚不能推断作者未明说但隐含的修改意图（例如重编号节点后自动删除残留的旧节点，或新添加的外框应旋转以契合整体风格）。解决这类问题需要将图表编辑与论文正文的论证流结合起来，使代理具备多步推理能力，这正是未来的研究重点。另外，目前技能进化仍需外部协调，人工参与门控新技能的接纳；一个更产品化的形态应当实现全自主进化，将人类评审者的审美反馈直接接入循环，形成持续优化的编辑智能体。

在数据层面，本研究仅挖掘了 364 个编辑对，如果扩展到数万乃至数十万对，代理极有可能涌现出更抽象的构图、排版甚至风格模仿能力，从而为不同学科、不同期刊定制个性化的图表润色服务。届时，科研人员或可将更多精力留给科学创新本身，而把繁琐而精细的图表修订工作，托付给一个理解学术语言又懂视觉美学的 AI 伙伴。

总结与展望

SciDiagramEdit 为指令驱动的科研图表编辑开辟了崭新路径。它证明了，从海量论文修订历史中学习是可行且高效的：代理在语义忠实度上比肩甚至超越最强大的闭源栅格编辑器，同时傲然保持矢量格式的完全可编辑性；其自学而成的技能规则不仅适用于单一模型，还能跨架构迁移，推动整个编辑智能体阵营的进步。可以预见，随着这类技术融入学术写作生态，我们离 “口头说一句就改好图” 的日常将不再遥远，而人类研究者将由此获得更大的创造自由度。