TIP 2026 | 雨雾雪全搞定！一个模型用「文字」教会图像融合看懂恶劣天气

在恶劣天气状况下进行图像融合存在着难点这是因为退化情况复杂且多变同时跨模态对应关系也遭到了破坏。针对此本文推出了 AWM-Fuse 方法采用「全局 局部」双层文本感知方式以此来统一处理雨、雾、雪等多种退化情形使得语义文本能够为融合过程给予清晰的内容约束、策略引导。AWM-Fuse: Multi-Modality Image Fusion for Adverse Weather via Global and Local Text PerceptionAWM-Fuse基于全局与局部文本感知的恶劣天气多模态图像融合作者Xilai Li, Huichun Liu, Xiaosong Li*, Tao Ye, Zhenyu Kuang, Huafeng Li单位佛山大学、中国矿业大学北京、昆明理工大学期刊IEEE TIP, 2026DOI10.1109/TIP.2026.3690324代码https://github.com/Feecuin/AWM-Fuse01 全文概述与创新点多模态图像融合MMIF其目的是把红外和可见光这两种信息结合起来在恶劣天气状况下让那些已经退化的视觉内容得以恢复进而呈现出更为清晰的场景表征。已有的相关方法虽然试着引入文本信息可是却欠缺对文本内容进行有效的分类、充分的利用。AWM-Fuse 采用具有共享参数的统一框架来处理多种退化情况全局模块依靠 BLIP 所生成的描述来掌握整体场景、主要的退化类型局部模块依据 ChatGPT 所生成的细节描述将重点放在具体的退化效果上以便恢复细节同时利用文本对融合图像的生成加以约束引导网络去学习更具意义的视觉特征。作者另外还建立了规模较大的文本基准 AWMM-Text。统一的全/局文本感知框架研发了 AWM-Fuse该模型在统一的共享权重架构里同步运用全局、局部文本感知能力以此来应对雨、雾、雪等多种不同类型的退化情况。双层文本感知模块引导特征提取工作从宏观跟微观这两个方面来进行在关注泛化能力的同时注重高保真融合其中 GTPM 具有稳定全局感知的作用LTPM 能够强化局部细节恢复。VLM 驱动的损失函数借助 CLIP 具备的图文匹配能力把融合之后的结果同「干净图像」的文本描述于共享空间里进行对齐以此提高跨天气情况下的鲁棒性、适应性。AWMM-Text 基准最初出现的是一个大规模文本基准该基准能够针对恶劣天气下的多模态图像对给出有着「全局 局部」特点的配对标注。02 核心方法该框架把多尺度文本建模当作核心内容有着四个主要构成部分分别是全局文本感知模块也就是 GTPM、残差状态空间块即 RSSB、局部文本感知模块也就是 LTPM还有基于小波卷积即 WTConv 的解码器。文本在全局、局部这两个方面进入到视觉融合过程里借助语义一致性监督来抑制融合过程当中的语义漂移现象。▍全局文本感知模块 GTPM以利用 BLIP 生成的描述作为文本输入并且融合 CLIP 编码的源图特征。红外、可见光特征经过 1×1 卷积对通道进行扩展之后被划分成左右两个部分来进行多尺度融合其中左半部分直接进行拼接右半部分先进行最大池化操作然后再拼接以此同时捕捉细粒度的细节内容、更大范围的上下文信息。文本特征作为 Query图像特征作为 Key/Value借助交叉注意力来自适应定位文本对应的图像区域从而提供稳定的场景级先验。▍局部文本感知模块 LTPM在 RSSB 之后利用 ChatGPT 生成的目标属性、运动状态、局部退化的细节描述会着重关注显著区域。融合特征会先通过两层 SEBlock 来强化局部表征之后运用 MLP 将 CLIP 图像特征投影到融合特征语义空间进行缩放和偏置调制。接着与 BLIP 编码的细节文本进行交叉注意力操作再使用具有三种膨胀率的膨胀卷积提取多尺度特征并拼接输出以此来达成精细的细节恢复。▍VLM 驱动损失与总损失把融合之后所得到的结果传送到 CLIP 图像编码器当中同时把「干净多模态图像」的相关描述传送到文本编码器里面借助余弦相似度来衡量图文内容的一致性进而得到 VLM 驱动损失 LVLM。此外引入像素级损失颜色一致性 LColor、L1 损失 LL1、结构相似度损失 LSSIM。总损失为四者之和LTotal LVLM LColor LL1 LSSIM。▍AWMM-Text 基准针对退化与干净这两种设定下的图像对给出「全局描述 局部细节描述」这样的配对标注。其中细节描述是由 ChatGPT-4 生成然后截断以此来适配 CLIP 文本编码器而全局描述则是由 BLIP 生成。总共为 8500 对恶劣天气图像、它们对应的干净图像生成文本并且采用分层随机抽样的方式对大概 30% 的文本进行人工审核按照明确的通过或者拒绝规则筛除掉那些不可观测、存在误描述、漏检关键目标、格式不符合要求或者过于泛化的文本。03 实验在 AWMM-100k 数据集上展开评测工作其中雨、雾、雪天气各自随机选取 50 对样本将其与 9 种 SOTA 方法相互比较涉及标准 IVIF、文本引导融合、面向复杂/恶劣场景这三类基线。在进行训练的时候从三类天气里分别选取 700 张图片按照「雨→雾→雪」这样固定的循环方式组成 2100 对之后把这些图片裁剪成 160×160 的规格运用 Adam 优化器设置初始学习率为 1×10⁻³训练超过 300 轮。采用 QG、QM、QS、QCV、SCD、VIF、SSIM 共 7 项客观指标。▍恶劣天气下的融合在定性方面AWM-Fuse 在去除图像退化、保持颜色保真、提取多模态信息这些方面有着比较突出的表现。通过差异图可以看出它能够保留大部分场景特征就算是面对干净图像时也能维持高质量的融合效果。从定量角度来看在三类天气导致图像退化的情况下这种方法在全部 7 项指标里的排名都处于前两位比在雨/雪场景中表现不错的 AWFusion 还要优异特别是在图像质量、颜色恢复这两方面表现更为出色。▍标准数据集与下游任务于 M3FD、MSRS、LLVIP 这三个无退化标准数据集之上相关数据呈现在表 2 当中本方法的多项指标相较于多数基线表现更为出色这意味着其于无退化场景之中依旧具备较强的融合能力。在下游任务里面运用 BANet 进行语义分割工作、借助 YOLOv7 进行检测语义分割方面具体内容列于表 3获取了各类别的最高 IoU、最高 mIoU目标检测方面相关数据展示于表 4取得了最高的检测精度。▍消融与鲁棒性文本消融包括噪声文本、错误场景文本、文本削减、文本冗余其显示出错误引导的文本致使性能下降最为严重削减文本会降低 QS、QM冗余文本虽提升 QS、QM却损害 QCV、VIF。当出现完全错误提示时雨、雾、雪的平均指标都有了一定程度的下降其中雨的平均指标下降了约 7.66%雾的平均指标下降了 37.81%雪的平均指标下降了 14.16%在这当中雾天所受影响相对较大不过模型没有崩溃依旧能保留关键目标——这说明文本主要起辅助引导作用融合内容仍然由红外与可见光特征主导。GTPM 与 LTPM 的消融实验表明二者具有互补性GTPM 能够让全局感知、策略选择保持稳定VIF、SCDLTPM 则能够改进局部结构与细节QM、QS结合后效果最佳。04 总结本文反映了一种面向恶劣天气的多模态图像融合方法即 AWM-Fuse。该方法借助 ChatGPT 的图生文能力为退化的源图生成细节方面的描述同时运用 BLIP 生成关于全局的描述并且设计了全局、局部文本感知模块来对这些描述加以利用。此外提出了 VLM 驱动损失以在 CLIP 空间实现图文特征的对齐。还建立了大规模文本基准 AWMM-Text。通过在恶劣天气、干净场景、下游任务上展开的大量实验验证了此方法的有效性。作者还指出了存在的局限之处即运用 VLM 提取特征会产生额外的计算开销在输入为 480×640 的情况下其 FLOPs 达到 1145.5G、参数为 137.29M这里面 LTPM 是主要的开销来源后续会对计算效率予以优化。论文来源IEEE Transactions on Image Processing, 2026代码地址github.com/Feecuin/AWM-Fuse往期推荐