题目：An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer

论文地址：https://www.nature.com/articles/s41467-024-53450-8

创新点

• 提出了一个多模态融合模型（MRP），整合了放射学图像（包括乳腺X线摄影和MRI）、组织病理学信息、个人特征以及临床数据等多种模态的数据，用于预测乳腺癌患者对新辅助治疗的反应。

• 通过跨模态知识挖掘策略，利用图像特征来预测其他模态的信息，增强了模型对图像特征的提取能力，同时也提高了模型对不同模态数据的整合能力。这种策略有助于在不同模态数据之间建立更紧密的联系，进一步提升预测性能。

方法

本文的主要研究方法是开发和验证一个名为多模态反应预测（MRP）的系统，用于预测乳腺癌患者对新辅助治疗（NAT）的反应。该系统通过整合多种模态的数据，包括放射学图像（乳腺X线摄影和MRI）、组织病理学信息、个人特征以及临床数据，来提高预测性能。研究中使用了深度学习技术来处理和分析这些多模态数据，并采用了跨模态知识挖掘和时间信息嵌入策略来增强模型的鲁棒性和适应性。此外，研究还通过多中心研究和国际读者研究来验证MRP系统的性能，并与乳腺放射科医生的表现进行了比较，以评估其在临床决策支持中的潜在应用价值。

乳腺癌新辅助治疗途径图

本图展示了乳腺癌新辅助治疗（NAT）的整个临床路径，包括治疗前（Pre-NAT）、治疗中（Mid-NAT）和治疗后（Post-NAT）三个阶段。在Pre-NAT阶段，通过乳腺X线摄影和/或超声筛查/诊断肿瘤，并进行活检，随后进行组织病理学分析和分期乳腺MRI检查，以确定患者的初始状态，包括临床肿瘤淋巴结转移（cTNM）分期。Mid-NAT阶段，进行中期MRI检查以评估治疗反应，并根据需要调整治疗方案。Post-NAT阶段，通过乳腺MRI评估患者是否达到病理完全缓解（pCR），随后患者接受手术，并进行组织学检查以评估术后病理肿瘤（ypT）和淋巴结分期（ypN）分数，这是国际上用于报告新辅助治疗后病理结果的标准。该图清晰地描绘了乳腺癌新辅助治疗的全流程，强调了在不同治疗阶段需要整合的各种信息流，包括影像学、组织病理学、临床和患者个人数据，这对于准确评估治疗反应至关重要。

多模态反应预测（MRP）系统工作流程图

本图详细展示了多模态反应预测（MRP）系统的工作流程。该系统旨在通过整合多模态数据来评估乳腺癌患者对新辅助治疗（NAT）的反应。MRP系统由两个独立训练的模型组成：iMGrhpc和iMRrhpc。iMGrhpc模型基于治疗前乳腺X线摄影（MG）以及放射学、组织病理学、个人和临床变量（rhpc）进行预测。而iMRrhpc模型则利用rhpc数据和包含特定时间信息的纵向MRI序列的视觉输入进行预测，模拟放射科医生在评估治疗反应时使用的纵向图像（包括基线图像和随访图像）的评估过程。最终，MRP系统将iMGrhpc和iMRrhpc生成的pCR预测概率进行整合，以提供更全面的评估。该图还展示了数据的来源和处理流程，包括从荷兰癌症研究所收集的内部数据集，以及用于验证模型性能的三个外部数据集（分别来自杜克大学、福建医科大学附属协和医院和I-SPY2研究）。

多模态反应预测（MRP）系统与基线模型及放射科医生在不同新辅助治疗阶段的性能比较

本图展示了多模态反应预测（MRP）系统在预测乳腺癌患者对新辅助治疗（NAT）反应方面的性能，并与基线模型以及放射科医生的平均表现进行了比较。图中呈现了在治疗前（Pre-NAT）、治疗中（Mid-NAT）和治疗后（Post-NAT）三个阶段的接收者操作特征曲线（ROC）和精确召回曲线（PRC），这些曲线及其曲线下面积（AUROC和AUPRC）用于衡量模型的预测准确性。这些结果表明，MRP系统能够为临床决策提供有价值的预测支持，尤其是在治疗早期阶段识别可能对治疗无反应的患者，以及在治疗后阶段识别达到病理完全缓解（pCR）的患者，从而有助于优化治疗方案和手术决策。

实验

本表详细列出了多种模型在不同数据集上预测乳腺癌患者对新辅助治疗（NAT）反应的性能指标。这些模型包括单模态的rhpc模型（基于放射学、组织病理学、个人和临床变量），以及多模态模型iMGrhpc（整合了乳腺X线摄影）、iMRrhpc（整合了MRI）和最终的MRP系统（整合了所有模态数据）。数据集涵盖了内部测试集（队列A）和三个外部测试集（杜克大学队列B、福建医科大学附属协和医院队列C和I-SPY2队列D）。性能指标包括接收者操作特征曲线下面积（AUROC）、精确召回曲线下面积（AUPRC）、敏感性、特异性、阳性预测值（PPV）和阴性预测值（NPV）。从表中可以看出，MRP系统在所有数据集上均展现出优越的性能，尤其是在Pre-NAT阶段，与单模态rhpc模型相比，MRP在AUROC上平均提高了约11%，在AUPRC上平均提高了约10%。此外，MRP系统在不同NAT阶段（Pre-NAT、Mid-NAT和Post-NAT）均保持了较高的预测准确性，表明其在不同治疗时间点都能有效预测病理完全缓解（pCR）。相比之下，单模态rhpc模型和仅基于影像的模型（如iMGrhpc和iMRrhpc）虽然也显示出一定的预测能力，但总体上不如MRP系统。特别是在外部数据集上，MRP系统的性能提升更为显著，这表明其具有良好的泛化能力，能够在不同医院和不同国家的数据中保持稳定的预测性能。这些结果强调了整合多模态数据在提高乳腺癌治疗反应预测准确性方面的重要性，并展示了MRP系统在临床应用中的潜力。