公司动态

紫东太初 GMC 核心集剪枝拆解:少 80% Token 还满血,多模态视觉 Token 冗余有了新解法

📅 2026/8/13 4:07:27
紫东太初 GMC 核心集剪枝拆解:少 80% Token 还满血,多模态视觉 Token 冗余有了新解法
多模态大模型这几年越跑越快但有一笔账始终绕不开图像进入模型的那一刻就被拆成了成百上千个视觉 Token。一张高分辨率图片经过视觉编码器往往要吐出上千个离散表示这些表示要和文字一起进入解码器参与每一层注意力计算。Token 越多前向计算越重显存占用越高推理时延越长。视觉 Token 的冗余已经成为多模态模型规模化落地最扎眼的瓶颈之一。问题从分辨率升级开始。视觉语言模型要读懂图表、文档和细小的文字就必须把图片切成更细的网格分辨率越高切出来的图像块越多。一张普通截图可能只产生几十个 Token而高分辨率输入动辄编码出几百甚至上万 Token。这些 Token 中真正携带关键信息的比例并不高大量块落在背景、空白和重复纹理上。可模型不会区分它们每一层都要为全部 Token 付出同样的计算代价。更麻烦的是 KV Cache。解码阶段每生成一个字都要把已经算好的键值缓存重新读一遍缓存的大小和视觉 Token 数量成正比。视觉 Token 越多KV Cache 越大显存压力越早见顶批量推理的吞吐也随之下降。在长文档、长对话这类场景里视觉 Token 甚至会占到上下文的大头把本来留给文字的预算挤得干干净净。成本账算到最后都指向同一个方向能不能把冗余的视觉 Token 先压下去。行业里其实早就有现成的答案那就是 Top-K 筛选。思路直白得近乎朴素给每个视觉 Token 独立打一个分按照得分从高到低排序只留下得分最高的那部分其余全部丢掉。打分依据可以是注意力权重也可以是模型对某个区域的关注程度。这个方案实现简单不训练不微调几乎任何模型都能套上去用。正因如此它成了当前多模态部署里最常见的压缩手段。但用久了就会发现Top-K 有一个绕不开的毛病高分 Token 总是扎堆。模型的目光天然集中在画面最显著的位置比如一张图里的主体、一行显眼的标题、一块对比强烈的区域。按得分排序之后被留下的 Token 高度集中在同一片区域彼此携带的信息高度相似。看似保留了 K 个 Token实际有效信息可能只相当于几个。这种同质化冗余是打分式筛选的先天缺陷。更致命的问题在于信息丢失的方向。Top-K 只看单个 Token 自己的分数完全不关心别的 Token 丢了什么。一张图表里坐标轴刻度、图例文字、数据点的位置关系往往分散在画面各处单看每个都不起眼分数都不高。恰恰是这些分散的互补证据决定了模型能不能读对这张图。它们被批量删除之后模型只能靠剩下的显著区域猜答案事实性错误和视觉幻觉随之而来。于是行业里出现了一个尴尬的共识压缩必掉精度。要么老老实实背着全部 Token 跑要么接受精度损失换速度两条路都不舒服。为了缓解掉点一些团队选择给模型做专门微调让模型适应压缩后的输入另一些团队引入外部 OCR 模型或检测器先把文字和关键区域单独捞出来。这些方案各有代价微调要数据要算力外部工具要维护要对齐部署链路越拉越长。就在这个节骨眼上中国科学院自动化研究所的紫东太初大模型团队给出了一条不一样的技术路线GMCGrounded Message Coreset Pruning核心集剪枝。论文在 8 月 12 日上线 arXiv编号 2608.02134。它的核心主张是压缩不该停留在选哪些 Token还要回答留下的 Token 用什么方式承载被删 Token 的信息。这两个问题同时解决压缩才可能不掉精度。这个定位和以往所有压缩方案都不一样。GMC 的开场前提是一个对视觉语言模型工作方式的重新理解。团队认为模型在推理时依赖的并不是某几个孤立的图像块而是全体视觉 Token 共同构成的集体消息。画面里的一个数字、一条坐标轴、一片纹理单独拿出来都不完整只有放在整体里才有意义。压缩真正要做的是保住这个集体的信息总量而不是保住排名靠前的个体。带着这个前提GMC 设计成两个阶段互补证据自适应筛选解决信息保留在哪里群体互补信息传输解决保留 Token 怎么承载全部信息。两个阶段都无需训练不引入外部模型直接插到现有视觉语言模型上就能用。下面把这两个阶段逐一拆开看再算一算它在真实基准上的账。先看第一阶段的具体机制。第一阶段解决的是选址问题有限的 Token 预算到底应该花在画面哪些位置。GMC 的做法是同时从三个角度构建证据问题语义、视觉外观、空间位置。三个角度各管一摊合起来才覆盖一张图里的全部信息类型。语义管模型在找什么外观管画面有什么结构空间管这些结构在哪。三者交叉才不至于漏掉分散的关键证据。语义证据来自模型内部的视觉-文本注意力。视觉语言模型处理图文时内部注意力本来就会把文本查询和图像区域对应起来这部分注意力不需要额外训练直接取出来用就行。模型正在找价格注意力就会集中在价格标签附近的图像块上。GMC 用这层原生注意力识别出与当前问题直接相关的区域作为第一类证据。这一步没有引入任何外部模型。外观证据解决的是模型只盯着已激活内容的偏科问题。如果只按注意力选选出来的 Token 大概率集中在同一片区域这正是 Top-K 的老毛病。GMC 转而计算视觉特征之间的相似性保护图像中不同的外观结构边缘、纹理、颜色块、物体轮廓各留一份代表。相似区域只保留一个不重复占用预算不同结构之间互不挤占。空间证据则是把原始图像坐标直接当作信息来源。图表、文档和关系推理任务里位置本身就是答案的一部分坐标轴的刻度顺序、表格的行列关系、两个目标之间的相对方位都依赖精确的几何信息。GMC 用原始图像坐标构建空间证据把分散在不同坐标位置的 Token 也纳入候选。文字可以不在显著区但它所在的位置一样是模型需要的证据。三份证据就绪之后真正的选择逻辑才登场GMC 不看单个 Token 的绝对得分而是看它对尚未覆盖证据的新增贡献。已经被充分表示的区域内后面那些相似 Token 的价值会迅速降低系统会转而寻找能够补充文字、目标、数字或空间关系的其他区域。这就像往背包里装东西每装一件都先问一句这件能补上什么包里还没有的。预算有限每一分都要花在增量上。这个机制的直观效果是有限的 Token 预算被摊开到多种互补信息上而不是反复砸在同一块显著区域。同一张图Top-K 可能选出十个几乎一样的方块GMC 则可能选出一个主体、三个数字、一条坐标轴、两段文字。覆盖的维度多了模型做推理时手里可用的证据就全了。第一阶段做的是减法减的是重复而不是信息。但光有选址还不够因为没被选中的 Token 并不等于没信息。那些落在候选之外的图像块可能还带着局部的纹理、小字、渐变等细节直接删掉信息就真的丢了。GMC 的第二个阶段就是为这些落选者安排出路把它们的隐藏状态转移给最合适的代表 Token。这一步就是群体互补信息传输Population Transport。转移不是随便塞。GMC 在决定每个待删除 Token 该并给谁时综合考量两个维度的匹配度视觉特征相似性和空间邻近关系。语义匹配清晰的内容比如同一片天空的渐变、同一块墙面的纹理就传输到特征最像的代表 Token 那里合并后依然自然。容易混淆的局部细节则更倾向于留在空间上靠近自己的位置避免跨区域合并把信息搅浑。聚合完成之后未选中的视觉 Token 从序列中真正删除模型在压缩后的 Token 序列上继续执行注意力计算。这里有个关键点GMC 做的是真实序列压缩不是通过掩码把 Token 藏起来。掩码只是让模型在计算时忽略某些位置序列长度和显存占用原封不动GMC 则是把序列物理缩短后续每一层解码的计算量、每一份 KV Cache 的占用都实打实地降下来。两者的工程含义完全不在一个量级。整个流程走下来GMC 没有动用任何训练手段。不需要任务标签不需要参数更新不需要辅助检测器不需要 OCR 模型也不需要额外的辅助模型。它用到的全部原材料就是模型内部的注意力、视觉特征和图像坐标外加一套确定性的筛选与合并算法。对已经部署在线的模型来说这意味着一行调用就能接入而不是一次重新发布。这种免训练特性让它天然具备跨模型迁移的能力。团队在 Qwen2.5-VL-7B-Instruct 和 LLaVA-1.5-7B 两种架构上做了全量验证两者的视觉编码器、连接方式和注意力结构都不相同GMC 直接套用即可。对工程团队来说这意味着技术选型时不必绑定某一款模型压缩方案可以跟着模型一起换。下面看它在标准基准上的真实成绩。先看 Qwen2.5-VL-7B 的结果。这个模型完整推理时使用 1296 个视觉 Token本身已经不算多但依然有压缩空间。当视觉 Token 减少 80.2%、只保留 256 个时GMC-H2 保留了完整模型 97.78% 的平均能力。把预算进一步压到 128 个 Token相当于砍掉 90.1%GMC-L16 反而保持了 99.11% 的平均能力。压缩率越高相对能力反而回升这个反直觉的现象值得记住。它说明压缩不只是省成本还顺手清掉了干扰。再看 LLaVA-1.5-7B 上的迁移表现。GMC-L16 在只保留 128 个视觉 Token 时平均性能达到完整模型的 99.76%预算再砍一半、只留 64 个 Token 时平均性能依然有 99.82%。两个数字放在一起看说明这套方法在不同视觉语言架构之间是可以平滑迁移的没有出现换了模型就失效的情况。64 个 Token 支撑起几乎全部的模型能力压缩效率相当可观。团队还特别强调了一个现象在多项基准上GMC 的性能与完整模型持平甚至略高于基线。原因并不神秘压缩过程顺带移除了无关或干扰信息相当于做了一次隐式的去噪。模型不再被背景噪声和冗余块分散注意力判断反而更干净。这也解释了为什么压得越狠、相对能力反而越高被删掉的本来就是拖后腿的部分。除了常规的视觉问答能力研究团队还在四套幻觉评测基准上做了专项验证POPE、AMBER、HallusionBench 和 CHAIR。这些基准专门考察模型会不会一本正经地描述画面里不存在的东西。实验结论很直接在相同的 Token 预算下GMC 保留了更完整的事实判断证据显著压缩序列的同时错误描述和信息遗漏都比传统方案更少。幻觉抑制是这次工作的一个意外收获。最具部署参考价值的是长文档场景的实测。面对一份包含 15876 个原始视觉 Token 的文档输入GMC 在保持完整模型 98.87% 问答质量的前提下实现了 1.258 倍的端到端推理加速同时减少了 73.94% 的提示 KV Cache。长文档正是视觉 Token 爆炸最严重的场景这个数字组合意味着显存瓶颈被大幅后移批量推理的规模上限随之抬高。这也是团队在论文里最看重的一组部署指标。把关键数据放在一张表里看趋势会更清楚。Qwen2.5-VL-7B 从 1296 个 Token 压到 256 个保留 97.78% 能力压到 128 个保留 99.11%。LLaVA-1.5-7B 从完整序列压到 128 个保留 99.76%压到 64 个保留 99.82%。长文档场景从 15876 个 Token 压缩到少量代表保留 98.87% 质量换来 1.258 倍加速和 73.94% 的 KV Cache 缩减。四组数字没有一组出现明显掉点压缩这件事第一次可以做得这么放心。哪怕是在最挑剔的生产环境里这样的成绩也足够有说服力。模型与配置原始视觉 Token压缩后 Token相对完整模型Qwen2.5-VL-7BGMC-H2129625697.78%Qwen2.5-VL-7BGMC-L16129612899.11%LLaVA-1.5-7BGMC-L16完整序列12899.76%LLaVA-1.5-7BGMC-L16完整序列6499.82%长文档问答场景15876少量代表98.87%加速 1.258 倍KV Cache 减 73.94%幻觉抑制的机理值得单独展开。视觉幻觉的根源之一是模型把注意力资源浪费在了高显著性但与问题无关的区域比如图里的装饰、水印、大标题。Top-K 按显著性筛选恰好把这类区域保留下来干扰信号原样进入解码。GMC 按问题语义过滤模型注意力被引导到真正相关的证据上干扰自然减少。另一层原因在信息完整性。幻觉往往发生在证据缺失时模型记不清画面细节就只能靠先验知识脑补。Top-K 删除低分 Token等于把细节证据直接扔掉GMC 把这些 Token 的信息合并进代表细节没有消失只是换了更紧凑的存放方式。证据链完整了模型描述事实的把握就大了编造的空间自然被压缩。这是机制层面的差异不是调参带来的运气。从部署视角算一笔成本账会更直观。假设一个长文档场景原始输入 15876 个视觉 Token按每 Token 一对键值缓存计算KV Cache 的提示部分几乎和 Token 数成正比。73.94% 的缩减意味着同样的显存可以容纳接近四倍的并发请求或者把原本放不下的长文档放进来。推理加速 1.258 倍则直接体现在响应时延和吞吐上对在线服务是实打实的 SLA 改善。把 GMC 放进更大的技术坐标里看它和 KV Cache 复用、量化、投机解码这些手段并不冲突反而是正交的。GMC 在源头压缩视觉 Token 数量KV Cache 复用解决跨请求的缓存命中量化压低单 Token 的存储位宽三者可以叠加使用。多模态推理的优化空间正在从单点技巧走向组合拳。这也是这类免训练压缩方法最大的工程价值随时可插随时可拆。值得对比的是核心集思想在传统机器学习里并不新鲜从 k-means 初始化到主动学习都在用类似的选择逻辑。GMC 的新意在于把核心集概念搬进了大模型的 Token 序列并且用模型自身的注意力作为语义指导。这相当于给古老的算法思想装上了大模型的传感器。压缩对象变了选择准则变了但信息守恒的内核没有变。实验的覆盖面也值得一提。团队在 TextVQA、ChartQA、MME、MMBench、GQA 等多项主流视觉理解基准上完成了全量验证既有看图问答也有图表解析和综合能力评测。GQA 侧重场景理解ChartQA 考验数字和坐标读取MME 覆盖感知与认知两大维度任务性质差异很大。GMC 能在这些不同性质的基准上保持一致水平说明方法没有偏科泛化性经得起交叉检验。再往深一层看GMC 的两阶段设计其实回答了多模态压缩的两个经典问题选哪里以及怎么承载。筛选阶段解决分布问题保证预算花在互补证据上传输阶段解决容量问题保证被删 Token 的信息不流失。两个阶段的分工正好对应核心集理论的经典命题找到能代表全体的最小子集。这也是核心集剪枝这个名称的由来。如果进一步联想这套思路和人类阅读时的扫视行为有异曲同工之处。人看一张复杂图表不会逐像素读而是先扫布局再盯关键数字视线在分散的证据点之间跳跃大脑自动补齐局部细节。GMC 的筛选加传输几乎就是把这个过程算法化先定位关键区域再把细节合并进记忆。模型的认知机制和人的视觉策略在这里奇妙地重合了。为了把方法讲清楚下面给出一段可直接运行的核心实现。它用 NumPy 复现 GMC 的两阶段主干先用注意力、特征相似度和空间坐标构造三路证据再按新增贡献贪心选出代表 Token最后把落选 Token 的隐藏状态按相似度和邻近度加权合并进代表。运行环境只需要 Python 与 NumPy输入输出都是标准数组方便对照论文思路做实验。代码本身不长但每一行都能在论文里找到对应设计。# GMC 核心集剪枝两阶段主干NumPy 可运行实现 # attn: 每个视觉 Token 的注意力得分 (N,) # feats: 视觉 Token 的特征 (N, D) # coords: 视觉 Token 的空间坐标 (N, 2) # budget: 压缩后保留的 Token 数量 import numpy as np def gmc_prune(attn, feats, coords, budget): n feats.shape[0] selected [] remain list(range(n)) c coords / (coords.max(axis0) 1e-9) for _ in range(budget): best, best_score None, -1.0 for i in remain: if not selected: score attn[i] else: sim feats[selected] feats[i] dist np.linalg.norm(c[selected] - c[i], axis1) score attn[i] * (1.0 - sim.max()) * (1.0 dist.min()) if score best_score: best, best_score i, score selected.append(best) remain.remove(best) return np.array(selected) def population_transport(feats, coords, selected): sel set(selected.tolist()) out feats[selected].copy() c coords / (coords.max(axis0) 1e-9) for i in range(feats.shape[0]): if i in sel: continue sim feats[selected] feats[i] dist np.linalg.norm(c[selected] - c[i], axis1) weight sim / (1.0 dist) j int(np.argmax(weight)) out[j] weight[j] * feats[i] return out if __name__ __main__: rng np.random.default_rng(0) feats rng.normal(size(100, 32)) coords rng.uniform(0, 100, size(100, 2)) attn rng.uniform(0, 1, size100) sel gmc_prune(attn, feats, coords, budget20) compressed population_transport(feats, coords, sel) print(保留 Token 数:, len(sel), 压缩后形状:, compressed.shape)代码里最关键的是筛选函数的写法候选 Token 的得分等于它对当前已覆盖集合的新增贡献。先算它和已选代表的最大相似度相似度越高说明已有 Token 越能代表它新增价值越低再乘上空间距离权重和注意力权重让分散在不同位置、与问题相关的 Token 也能获得机会。贪心循环每轮只挑增量最大的一个预算用尽即停。整个过程是确定性的同一个输入永远得到同一个结果。第二段逻辑在传输函数里每个落选 Token 按特征相似度和空间邻近度加权合并进它最像的代表。合并权重同时考虑两个维度相似度高但距离远的权重次之距离近又相似度高的权重最大。全部合并完成后落选 Token 从序列中移除返回的就是真正缩短后的表示。这段代码可以直接替换成 PyTorch 的张量版接进现有推理管线。当然GMC 也远不是终点它当前有明确的边界。论文的完整验证集中在 7B 量级的视觉语言模型上更大规模模型上的行为还需要更多证据。视频输入、多图对话这类更长序列的模态目前也没有覆盖。核心集剪枝的思路如果扩展到视频帧压缩理论上同样成立但时序相关性会带来新的筛选维度需要单独设计。还有一层局限在于信息合并的上限。群体传输把落选 Token 的信息合并进代表 Token本质上是一种有损压缩只是损失被控制得很小。当压缩率继续推向极端比如只保留十几个 Token 时合并的信息量会逼近单个表示的容量上限精度曲线迟早会出现拐点。对生产系统来说压缩率的选择需要结合具体任务的精度敏感度来做权衡。另外值得留意的是GMC 的筛选依赖模型内部的视觉-文本注意力这意味着它的效果和模型本身的注意力质量绑定。注意力越准的模型GMC 的筛选越精准注意力本身就漂的模型筛选结果也会打折扣。好在 7B 量级的主流开源模型注意力已经相当可靠这也是实验数据漂亮的前提之一。选型时把这个因素纳入考量比盲目追求压缩率更稳妥。压缩不是万能药它同样挑模型。回到开头那笔账多模态模型之所以越跑越贵很大一部分成本就藏在那些被浪费的视觉 Token 里。它们占着显存、拖着时延、挤占着 KV Cache却没有贡献等量的信息。GMC 给出的答案不是继续压榨算力而是先把输入里的水分挤干用更少的 Token承载同样完整的推理证据。这条路比单纯堆硬件便宜得多也快得多。省下来的每一分显存都能换成更大的批量或者更长的上下文。从更宏观的视角看GMC 代表的是一种趋势推理优化的重心正在从模型本身转向输入。过去优化主要盯着权重、算子和硬件现在越来越多的方法在输入侧做文章Token 剪枝、上下文压缩、检索筛选本质都是让模型少处理无用的信息。紫东太初团队把这条路线在多模态上往前推了一步而且是用免训练的方式让既有部署零成本受益。输入侧的优化空间才刚刚被打开。对于正在上线多模态服务的团队GMC 这类方法的接入成本低到可以忽略不需要重新训练不需要更换模型不需要引入 OCR 或检测器一次调用即可开始压缩。建议先在长文档、图表问答这类视觉 Token 密度高的场景做小流量验证用任务自己的精度指标对比压缩前后的差距。如果业务对速度敏感而对极端压缩率不敏感收益会非常直接。压缩率也可以从保守的档位开始逐步试探模型能力的边界。从产业落地的角度免训练压缩还有一个容易被忽略的好处合规与稳定性。不需要微调意味着不触碰模型权重也就不存在微调后行为漂移的回归风险不引入外部工具意味着供应链上少几个第三方依赖安全审计的范围也随之缩小。对于金融、医疗这类对模型变更敏感的行业这个特性比速度提升更值钱。压缩方案能不能进生产往往卡在这些隐性门槛上。关于压缩率的选择论文给出的数据其实藏着一个工程建议。Qwen2.5-VL-7B 上压到 128 个 Token 反而比 256 个表现更好说明存在一个信息密度更高的甜点区。原因在于预算越紧筛选越严格留下的 Token 越是精炼的证据载体预算宽松时反而会混入一些凑数的相似块。这个现象提醒我们压缩率不是越低越好但也不是越保守越好值得在自己的任务上扫一遍曲线。从数据分布的角度看GMC 对不同类型任务的增益并不均匀。图表解析和文档理解这类任务证据天然分散互补筛选的收益最大纯自然图像描述这类任务信息集中在主体上压缩空间和增益都相对有限。团队在 TextVQA、ChartQA、MME、MMBench、GQA 等基准上的全面验证也覆盖了这些不同性质的场景。选型时可以按任务类型决定要不要启用压缩。还有一组值得注意的数字来自 MME 这类综合基准。MME 包含感知与认知两大类共十四个子任务对模型能力的考察非常全面。GMC 在这类综合基准上保持与完整模型相当的水平说明压缩没有以牺牲某类能力为代价。这也回应了一个常见的担忧压缩是不是只对简单任务有效。至少从这份实验报告看能力谱系是完整的。结合当前多模态模型的高分辨率趋势GMC 的窗口期可能比想象中更长。分辨率还在继续往上走视觉 Token 的数量还会继续膨胀压缩需求只会越来越刚性。可以预见未来会有更多团队沿着核心集剪枝的方向做文章把筛选准则、传输机制和注意力利用方式打磨得更精细。先跑通这套思路的团队会在成本曲线上占据先手。对读者而言这篇拆解最有价值的动作是把论文的代码和实验对照着读一遍。两阶段架构的每一个设计选择都能在实验数字里找到对应证据三路证据对应不同任务上的增益贪心筛选对应预算曲线群体传输对应幻觉评测。技术文章看得再多不如亲手把核心集跑一遍感受 Token 从上千缩到上百时模型输出发生了什么变化。纸上得来终觉浅亲手跑一次比读十篇综述都管用。当然我们也要对宣传口径保持一点冷静。论文实验用的都是公开基准生产环境的噪声、长尾输入和对抗样本往往比基准更残酷。免训练方法的上限是模型自身的注意力质量这一点在极端场景下会被放大。把 GMC 当作一个有力的候选方案在自己的数据和任务上验证才是对它最公允的评价方式。任何方法都该这样被对待。从时间线看2026 年的多模态推理优化正在进入深水区。上半年的热点还在模型架构和训练效率下半年开始输入侧优化、推理侧压缩、缓存侧复用逐渐成为主角。紫东太初 GMC 是这条路上的一个鲜明注脚中科院自动化所团队用一篇免训练的工作把视觉 Token 压缩推到了少 80% 不掉点的水平。国产大模型团队在推理优化上的存在感正在肉眼可见地增强。回看整个 GMC 的框架图信息流动的路径清晰得让人舒服。图像编码成 Token三路证据并行构建互补筛选挑出代表群体传输合并细节压缩序列进入解码器。每一步都有明确的目的没有一步依赖玄学调参。这种确定性的方法恰恰是工程团队最喜欢的类型行为可预测效果可复现问题可定位。如果只记一句话这句话应该是视觉 Token 的冗余不是物理定律而是一个可以被算法解决的问题。Top-K 告诉我们选重要的GMC 告诉我们重要的不只是排名还有互补和承载。当模型能带着少得多的 Token 做出同样准确的判断多模态部署的成本结构就会被改写。这扇门正在被核心集剪枝推开。最后留一个延伸思考给动手派如果把 GMC 的两阶段思想套在文本上下文压缩上会得到什么。文本同样存在显著性与分散证据的矛盾同样有被删 Token 的信息承载问题。核心集的数学框架是通用的差异只在证据构建的方式。也许下一个少 80% 不掉点的方案就藏在你正在处理的序列类型里。技术迭代的乐趣往往就在这种迁移思考里。对推理时延敏感的在线服务来说GMC 的收益会同时出现在两个地方。首 Token 时延随着预填充 Token 数量减少而下降因为视觉部分的编码和解码都在变短总吞吐则随着 KV Cache 释放而上升因为单位显存能容纳的并发请求变多了。两个指标一起改善对用户体验和成本控制都是正向的。长尾流量越大这笔账越划算。放到多模态 Agent 的场景里看视觉压缩的意义还会再放大一层。Agent 处理任务时往往要多次读取同一张图或同一份文档上下文里反复出现大段视觉 Token窗口很快被撑满。GMC 把每次摄入的视觉部分先压缩再入上下文等于变相延长了 Agent 的有效工作窗口。工具调用、多轮推理和记忆检索都能从中受益。输入侧省下的空间最终都变成了 Agent 的续航。