Agent 执行长程任务时，代码、工具输出和交互记录不断累积，上下文也跟着变长。
生成摘要、压缩上下文，可以减少输入，却也可能删掉后续任务需要的细节。一段当时看起来无关紧要的记录，到了下一步，或许就是关键线索。如果模型只能看到压缩结果，就很难再把它找回来。
DeepSeek-OCR 展示了另一条路线：让图像承载文字，用较少的视觉 token 表示文本信息。压缩页面能够覆盖全文，但清晰度成了新的瓶颈。字符越小，模型越难辨认；压得太狠，答案就在页面上，模型却已经看不清了。
许多压缩方案对模型而言是一条单行道：压缩之后，它就无法按需回头查阅原文。那如果给模型一个 “放大镜” 呢？
苹果基础大模型团队与杜克大学提出 LensVLM，让模型先浏览覆盖全文的压缩页面，再展开与问题有关的页面。在七项文本问答评测中，它以 4.3 倍有效压缩达到 68.9% 的平均准确率，接近完整文本参照的 72.4%。
这项工作近期被 NeurIPS 2026 接收，在 X 上也获得了较高关注，并引发了不少关于 “将文本转化为图像进行长上下文理解” 的讨论。Hugging Face 产品负责人 Victor Mustar 在 X 上介绍了该研究，相关帖文获得约 28 万次浏览。公开的 LensVLM 9B Demo 也已上线，读者可以体验模型选页、展开与作答的过程。
论文：https://arxiv.org/abs/2605.07019
模型：https://huggingface.co/apple/LensVLM-9B
代码：https://github.com/apple-aiml-research/ml-lensvlm
Demo：https://huggingface.co/spaces/hugging-apps/lensvlm-9b-demo
文字变成图，省下了什么？
语言模型通常将文字拆成文本 token；视觉语言模型则通过视觉编码器，将图像转换为视觉 token。一页图像如果容纳了足够多的文字，表示它所需的视觉 token 就可能少于直接输入原文所需的文本 token。
字号、页面尺寸和文字密度，因此都可以用来调节压缩率，无需重新设计文本词表。与先检索少量片段再阅读相比，压缩图片能够覆盖全文，让分散在不同位置的证据仍有机会被模型找到。
代价也很直接：字符越压越小，可能超出视觉编码器的辨识能力，甚至在像素层面就难以区分。论文中，基础模型直接阅读 5 倍压缩图像，平均准确率仅为 31.3%，明显低于完整文本参照。
同一段文本在 5×、10×、15× 设置下的渲染结果。压缩越强，视觉 token 越少，字符也越难辨认。
先选页，再细读
LensVLM 将定位证据与读取证据分开。模型先接收问题和全部压缩图片，选择值得细读的页面，再调用展开工具。对于由纯文本渲染的页面，工具返回对应的原文，并将其加入上下文。读完后，如果证据还不够，模型可以继续选择下一页。
Demo 中有一道问题：在电影《Kiss and Tell》中饰演 Corliss Archer 的女性，曾担任什么政府职务？模型面对 15 张压缩页面，选择第 10 页，调用 read_page 读取原文，最终回答 “美国礼宾司司长”。
这里的 “放大镜” 直接访问保存的源内容。系统需要保留原文或原始图像：压缩页面供模型浏览全文，展开内容则补回回答所需的细节。
选哪页，需要训练
给模型接上工具，并不意味着它就知道该读哪一页。
研究以 Qwen3.5-9B-Base 为基础，先筛选出它无法直接答对的样本，再让 Qwen3.5-397B 根据问题、真实证据和标准答案生成工具使用轨迹。通过监督微调，模型学习示范中的推理、选页和回答过程。
随后，研究使用 DAPO 强化学习，继续优化模型自己生成的轨迹。奖励以答案正确性为依据，只有答对时，使用工具才会获得额外加分。
在 5 倍初始压缩设置下，监督微调将平均准确率从 31.3% 提高到 63.7%，强化学习进一步提高到 68.9%。
LensVLM 的推理与训练流程。模型交替推理和展开页面，通过监督微调与强化学习学习选择性阅读。
压得更狠，还能读懂多少？
主评测覆盖 NQ、HotpotQA、MuSiQue、HELMET，以及未用于训练的 RULER、Qasper 和 LongBench，包含单跳与多跳长文问答。
在 15 倍初始压缩设置下，基础模型直接阅读压缩图像的平均准确率降至 18.1%，LensVLM 则达到 52.1%。虽然与完整文本参照仍有差距，选页后展开阅读，显著缓解了高压缩带来的准确率下降。
不过，展开原文也会消耗输入预算，不能只计算最初的图像有多小。论文因此报告了 “有效压缩率”：用原文 token 数，除以压缩图像与展开内容合计的输入 token 数。
计入展开开销后，5×、10×、15× 三个初始设置，对应的有效压缩率分别为 4.3×、7.4×、10.1×。
七项文本问答评测的平均准确率与有效压缩率。横轴计入展开后的输入，展示不同方法在准确率与输入预算之间的权衡。
长上下文的速度与成本
在 32K–140K token 的长上下文、15× 初始压缩设置下，全文输入的端到端延迟为 3.62 秒，LensVLM 为 2.83 秒。提前离线渲染并缓存页面图像后，延迟进一步降至 2.52 秒，较全文输入减少约 30%。
同一设置下，LensVLM 的峰值 KV 缓存约为全文输入的十四分之一。在饱和并发测试中，页面预缓存版本的吞吐量约为全文输入的 3.7 倍；按每 GPU 小时 6 美元估算，每千次请求的 GPU 服务成本降低约 73%。
短上下文中，直接输入全文仍然更快。这套方案的优势主要体现在长文档，以及能够复用页面图像的多次查询场景。
端到端效率与延迟。页面预缓存版本使用提前离线渲染的图像，吞吐量在饱和并发下测量。
PDF 该展开成什么？
纯文本页面可以直接返回原文，原生 PDF 却还包含表格、图形和布局。只提取文字，可能漏掉回答需要的视觉信息。
研究另外训练了两种文档理解变体：一种将页面展开为 OCR 文字，另一种返回高清页面，并在 MMLongBench-Doc 上进行评测。
在页面像素数缩减 15 倍的设置下，直接阅读压缩页面的准确率为 31.1%，OCR 展开变体为 32.1%，高清页面展开变体则达到 41.9%，对应 10.3 倍有效压缩。
在这项评测中，高清页面保留的图表和布局信息，比 OCR 文字更有帮助，但也带来更多输入开销。展开形式需要随内容选择：由纯文本渲染的页面适合返回原文，依赖视觉信息的文档则更适合返回高清页面。
总结
LensVLM 的核心，是让模型在阅读压缩内容时，仍能按需查阅原文。模型先浏览全篇，再把阅读预算用在当前问题需要的页面上。当模型的上下文不断增长，如何让模型主动分配阅读预算，决定哪些内容先粗看、哪些需要细读、何时回头查阅，可能会成为与扩展上下文窗口同样重要的研究方向。
作者介绍
Roy Xie（谢若宇），杜克大学计算机科学博士生，主要研究基础模型后训练，以及长程任务推理与工具使用。获美国国家科学基金会（NSF）研究生奖学金及苹果 AI/ML 博士奖学金。曾在苹果基础大模型后训练团队实习，现为谷歌研究院研究实习生。个人主页： royxie.com
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
