Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

首个开源多模态医疗基础模型RadFM,支持2D/3D放射影像输入

上海交大&上海AI Lab发布全球首个开源多模态医疗大模型RadFM

上海交大&上海AI Lab发布Radiology Foundation Model (RadFM),这是首个开源的多模态医疗基础模型,支持2D/3D放射影像输入。

论文链接:https://arxiv.org/pdf/2305.10415.pdf
代码链接:https://github.com/chaoyi-wu/RadFM
PMC-Inline Dataset:  https://huggingface.co/datasets/chaoyi-wu/PMC-Inline
PMC-Casereport Dataset:  https://huggingface.co/datasets/chaoyi-wu/PMC-CaseReport
Huggingface Model: https://huggingface.co/chaoyi-wu/RadFM

研究背景

当前医学领域的基础模型的构建往往面临着三个方面的挑战:

  • 缺乏用于训练的多模态数据集:由于医学本身的特殊性,医疗任务通常需要处理多模态数据,包括文本信息(电子健康记录,医学报告),1D信号(心电图),2D影像(超声,X射线),3D影像(CT或MRI扫描),基因组学等。为了支持医学通用基础模型的训练,大规模多模态数据集的构建十分迫切。
  • 缺乏通用的架构设计:以往的相关工作,对不同的医疗任务往往采用"分而治之"的策略,即为每个任务设计不同的架构。然而,开发医学基础模型需要一个通用的架构,能够融合不同模态的信息,从而解决广泛的临床任务。
  • 缺乏有效的基准来评估模型:对模型的临床知识进行基准测试主要依赖于多种任务的数据集,而这些数据集的测试案例数量有限。目前医疗领域尚未建立一个大规模、复杂的基准,可以用于全面衡量医学基础模型在中医疗任务上的性能。

考虑到上述挑战,研究团队聚焦于构建放射学领域的医学通用基础模型。放射学领域的图像模态种类丰富,影像与报告配对数据也相对较多,且放射学在临床场景中的应用也十分广泛,例如疾病诊断、治疗规划和患者进展监测等等。

具体来说,研究团队主要从数据,模型架构和测试基础三个角度开展了一系列工作。

多模态数据 MedMD&RadMD

研究团队构建了一个当前最大规模的医疗多模态数据集MedMD,包含15M 2D图像,和180k的3D医疗影像(约7M slices),,并附带文本描述,例如放射学报告、视觉语言指令或相对应的疾病诊断标签。MedMD涵盖了人体各种放射学模态和解剖区域,包含超过5000种疾病,如图1所示。以及一个清洗过的放射学数据集RadMD。

图1:MedMD数据展示



模型架构 RadFM

RadFM是一个多模态的放射学基础模型,能够将自然语言无缝地与2D或3D医学扫描相结合,并通过文本输出来解决广泛的医学任务。模型架构如图2所示,研究团队首先在MedMD数据集上对该模型进行了预训练,然后在一个经过筛选的数据集RadMD上进行视觉指令微调。RadMD包含3M对放射学相关的多模态数据,确保了针对特定领域的微调过程中数据集的高质量和可靠性。

图2: RadFM模型架构

测试基准 RadBench

为了更好的评估放射学基础模型的性能,研究团队建立了一个全新的、综合性的评估基准,涵盖了多种医疗任务,例如疾病诊断、报告生成以及放射学模态和解剖区域的视觉问答。并与最新的开源多模态模型进行了比较例如Open-flamingo和MedVInT,结果如图3所示。在具体下游任务的结果如图4, 5, 6所示

图3 :RadMD与SOTA方法在RadBench上的比较

图4: RadMD在报告生成任务上的性能展示图5: RadMD在Medical VQA 任务上的性能展示

图5: RadMD在推理诊断任务上的性能展示


总结

在当前的医疗领域,已经陆续涌现了一些多模态的基础模型,例如微软的LLaVA-Med和谷歌的Med-PaLM M,包括最新的Med Flamingo。然而,这些模型都还是受限于2D的图像输入,且其中只有最新的Med Flamingo可以支持交错的图文输入。在医疗领域中,常见的诊疗影像往往是3D的图像,同时,诊疗任务通常需要综合多张图像来作出准确判断。

为了解决上述问题,研究团队决定将重点放在放射影像领域,提出模型RadFM,允许同时处理2D和3D多模态的医疗数据,例如CT、MRI等。而且,该模型能够综合处理多张相关影像,提供更全面和准确的信息,有望在诊断和治疗等方面取得更好的效果。同时,针对模型的评估,研究团队综合了多个挑战性的任务提出了一个新的benchmark以及更科学的医疗任务评测指标,以此为参考,不断优化数据与模型,欢迎大家持续关注。



FM4Medicine
FM4Medicine

近年来,基础模型(Foundation Model)的快速发展为医学领域带来了新的机遇,为人工智能在医疗领域的广泛应用开辟了新道路。本专栏将致力于分享医学多模态基础模型的最新前沿研究和技术,探索大模型在医学领域的创新应用,打造医疗通用模型研究新社区,开创医疗智能的新未来。无论您是医学专业人士、研究学者,还是对医学和人工智能感兴趣的读者,我们相信本专栏将为您提供丰富的知识和启发,帮助您深入了解医学多模态基础模型的应用前景和潜力。让我们一起迈向医疗领域的通用智能时代!

理论
暂无评论
暂无评论~