荣登Cell新贵1区Top!基于Transformer的多模态图像融合迎来新突破!

学姐带你玩AI 2025-08-23 18:02

看了看最近的顶会顶刊,多模态图像融合可真热门,尤其是Transformer加入后。

比如登上Cell子刊的那篇综述,强调了Transformer+多模态图像融合在早期诊断和个性化治疗中的潜力。又比如CVPR 2025上的这篇GIFNet,在多个图像融合任务上都实现了卓越的性能,同时计算成本极低!另外还有不少双一区TOP成果...研究热情相当高涨。

如果有论文er感兴趣,强烈建议先看看这些成果,了解前沿进度也好找思路,我已经替你们整理好了,目前有12篇,都是2025最新,代码已附

不过需要注意的是,现在这方向单纯的结构魔改已进入瓶颈,如果有医疗或遥感数据,那就建议从“轻量化+任务联动”切入;如果有硬件资源,不妨试试扩散先验联合优化。

扫码添加小享,回复“T图融合

免费获取全部论文+开源代码

资讯配图

One Model for ALL: Low-Level Task Interaction Is a Key to Task-Agnostic Image Fusion

方法:论文提出了一种基于Transformer的多模态图像融合方法GIFNet,通过低层次视觉任务的交叉训练,实现了多模态和数字摄影特征的有效融合,支持多任务交互和单模态增强,具有很强的通用性和灵活性。

资讯配图

创新点:

  • GIFNet通过低层次视觉任务提供像素级监督信号,避免了语义鸿沟问题,增强了多模态图像融合的鲁棒性和泛化能力。
  • 采用三分支架构和交叉融合门控机制,动态融合多模态和数字摄影特征,实现跨任务的有效交互。
  • GIFNet支持单模态图像增强,能够提升单模态输入的图像质量,拓展了图像融合模型的应用范围。
资讯配图

Inter-Sensor High-Resolution and Multi-Temporal Image Fusion for Unsupervised Domain Adaptation in Remote Sensing

方法:论文提出了一种基于Transformer的多模态图像融合方法DAM-Former,用于遥感图像的无监督域自适应分割。该方法融合高分辨率多模态图像和多时相多光谱数据,通过深度时间融合模块和混合损失函数,有效结合空间和时间特征,显著提升了分割精度。

资讯配图

创新点:

  • 提出DAM-Former模型,结合Transformer架构和卷积网络,融合高分辨率多模态图像和多时相多光谱数据。
  • 设计深度时间融合(DTF)模块,连接两个分支网络,增强空间纹理和时间模式的互补性。
  • 引入混合损失函数(ML)和集成伪标签(EP)策略,降低噪声,提高模型的训练稳定性和预测准确性。
资讯配图

扫码添加小享,回复“T图融合

免费获取全部论文+开源代码

资讯配图

BSAFusion: A Bidirectional Stepwise Feature Alignment Network for Unaligned Medical Image Fusion

方法:论文提出了一种名为 BSAFusion 的多模态医学图像融合方法,使用 Transformer 和 Restormer 提取特征,并通过双向逐步特征对齐(BSFA)策略解决未对齐图像的融合问题,最终实现了精准的特征对齐和融合。

资讯配图

创新点:

  • 提出单阶段多模态医学图像融合框架,用共享特征编码器整合图像配准与融合,规避传统两阶段法因额外编码器带来的模型复杂度上升问题。
  • 采用模态差异消除法(MDF-FR),给各输入图像添加模态特征表示头(MFRH),向其他模态注入全局特征信息,降低模态差异对特征对齐的干扰。
  • 运用双向逐步特征对齐(BSFA)策略,依托向量位移的路径独立性,克服传统单步对齐存在的大跨度、预测不准弊端。
资讯配图

TUFusion: A Transformer-based Universal Fusion Algorithm for Multimodal Images

方法:论文提出了一种基于Transformer的多模态医学图像融合方法BSAFusion,通过双向逐步特征对齐(BSFA)和模态差异无关特征表示(MDF-FR)模块,实现了未对齐多模态图像的单阶段配准与融合。

资讯配图

创新点:

  • 提出BSAFusion方法,实现多模态医学图像的单阶段配准与融合,减少模型复杂度。
  • 引入模态差异无关特征表示(MDF-FR)模块,通过全局特征整合减少模态差异对特征对齐的影响。
  • 采用双向逐步特征对齐(BSFA)策略,基于向量位移路径独立性预测变形场,提高特征对齐精度。
资讯配图

扫码添加小享,回复“T图融合

免费获取全部论文+开源代码

资讯配图

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号