医学人工智能领域有个很火的方向：多模态医学图像。最近，哈佛等团队在Nature正刊上发表了相关文章，讲述了多模态生成式AI在医学图像解读中的应用，非常值得该方向的同学研读。
实际上，多模态医学图像的论文在顶会/顶刊接受率向来高，尤其近半年，多项工作入选CVPR、AAAI、中科院TOP刊等。这方向虽然竞争日益激烈，但在罕见病诊疗、基层医疗、多组学融合等场景仍然存在大量创新空间，如果想发论文，还是很推荐关注的。
目前，多模态医学图像的创新主要集中在动态自适应架构、双域协同融合、轻量化训练策略、多模态解耦学习等，感兴趣的同学可深入。我整理了最新15篇相关论文，代码基本都有，方便大家作参考，快速get创新点。
扫码添加小享，回复“多医12”
免费获取全部论文+开源代码
Multimodal generative AI for medical image interpretation
方法：论文介绍了多模态生成式人工智能（GenMI）在医学图像解读和报告生成中的应用，强调通过整合多种成像方式和临床背景信息，提升报告的准确性和全面性，并提出了“AI住院医师”范式以辅助临床医生和患者。
创新点：
提出“AI住院医师”新范式，以多模态医学图像为基础，辅助临床医生生成报告、提供实时互动和教育支持。 强调多模态数据整合，将多种成像方式与临床背景结合，提升报告准确性和全面性。 探讨了多模态生成式人工智能在医学报告生成中的应用，提出了新的评估方法和挑战。
Deep evidential fusion with uncertainty quantification and reliability learning for multimodal medical image segmentation
方法：本文提出了一种多模态医学图像分割的深度证据融合框架，结合Dempster-Shafer证据理论和深度神经网络，提取各模态特征并映射为质量函数，经上下文折扣校正后融合，有效量化分割不确定性并提升准确性。
创新点：
提出了一种新的深度证据融合架构，包含特征提取、证据映射和多模态证据融合模块。 集成了量化分割不确定性的Dempster-Shafer质量函数，并通过上下文折扣操作校正，以考虑各模态的可靠性。 引入改进的两部分损失函数，同时优化每个模态的分割性能和融合后的整体性能。
扫码添加小享，回复“多医12”
免费获取全部论文+开源代码
Advancing multimodal medical image fusion: an adaptive image decomposition approach based on multilevel Guided filtering
方法：论文提出了一种多模态医学图像融合方法，通过多级引导滤波将图像分解为小尺度、大尺度和背景三个子层，再用脉冲耦合神经网络和最大值融合策略对子层进行融合，最终合成融合图像。
创新点：
提出基于多级引导滤波的图像分解方案，可有效提取小尺度、大尺度和背景子层。 应用基于结构张量的脉冲耦合神经网络融合策略，突出重要特征，提升融合效果。 实现高视觉对比度和较短计算时间的平衡，适用于近实时医疗场景。
Simultaneous tri-modal medical image fusion and super-resolution using conditional diffusion model
方法：论文提出TFS-Diff模型，可同时完成三模态医学图像融合与超分辨率处理，通过通道注意力模块整合多模态信息，避免多次处理致信息丢失，实验效果优于现有方法。
创新点：
提出TFS-Diff模型，首次实现三模态医学图像融合与超分辨率同步处理，简化模型设计。 设计基于通道注意力机制的特征融合模块，有效整合多模态关键信息，提升融合效果。 提出融合超分辨率联合损失函数，兼顾像素精度与视觉质量，保证模型稳定性和结果高质量。
扫码添加小享，回复“多医12”
免费获取全部论文+开源代码
