上海交大&上海AI Lab发布Radiology Foundation Model (RadFM)，这是首个开源的多模态医疗基础模型，支持2D/3D放射影像输入。
论文链接：https://arxiv.org/pdf/2305.10415.pdf
代码链接：https://github.com/chaoyi-wu/RadFM
PMC-Inline Dataset: https://huggingface.co/datasets/chaoyi-wu/PMC-Inline
PMC-Casereport Dataset: https://huggingface.co/datasets/chaoyi-wu/PMC-CaseReport
Huggingface Model: https://huggingface.co/chaoyi-wu/RadFM
研究背景
当前医学领域的基础模型的构建往往面临着三个方面的挑战：
- 缺乏用于训练的多模态数据集：由于医学本身的特殊性，医疗任务通常需要处理多模态数据，包括文本信息（电子健康记录，医学报告），1D信号（心电图），2D影像（超声，X射线），3D影像（CT或MRI扫描），基因组学等。为了支持医学通用基础模型的训练，大规模多模态数据集的构建十分迫切。
- 缺乏通用的架构设计：以往的相关工作，对不同的医疗任务往往采用"分而治之"的策略，即为每个任务设计不同的架构。然而，开发医学基础模型需要一个通用的架构，能够融合不同模态的信息，从而解决广泛的临床任务。
- 缺乏有效的基准来评估模型：对模型的临床知识进行基准测试主要依赖于多种任务的数据集，而这些数据集的测试案例数量有限。目前医疗领域尚未建立一个大规模、复杂的基准，可以用于全面衡量医学基础模型在中医疗任务上的性能。
考虑到上述挑战，研究团队聚焦于构建放射学领域的医学通用基础模型。放射学领域的图像模态种类丰富，影像与报告配对数据也相对较多，且放射学在临床场景中的应用也十分广泛，例如疾病诊断、治疗规划和患者进展监测等等。
具体来说，研究团队主要从数据，模型架构和测试基础三个角度开展了一系列工作。
多模态数据 MedMD&RadMD
研究团队构建了一个当前最大规模的医疗多模态数据集MedMD，包含15M 2D图像，和180k的3D医疗影像(约7M slices)，，并附带文本描述，例如放射学报告、视觉语言指令或相对应的疾病诊断标签。MedMD涵盖了人体各种放射学模态和解剖区域，包含超过5000种疾病，如图1所示。以及一个清洗过的放射学数据集RadMD。
模型架构 RadFM
RadFM是一个多模态的放射学基础模型，能够将自然语言无缝地与2D或3D医学扫描相结合，并通过文本输出来解决广泛的医学任务。模型架构如图2所示，研究团队首先在MedMD数据集上对该模型进行了预训练，然后在一个经过筛选的数据集RadMD上进行视觉指令微调。RadMD包含3M对放射学相关的多模态数据，确保了针对特定领域的微调过程中数据集的高质量和可靠性。
图2: RadFM模型架构
测试基准 RadBench
为了更好的评估放射学基础模型的性能，研究团队建立了一个全新的、综合性的评估基准，涵盖了多种医疗任务，例如疾病诊断、报告生成以及放射学模态和解剖区域的视觉问答。并与最新的开源多模态模型进行了比较例如Open-flamingo和MedVInT，结果如图3所示。在具体下游任务的结果如图4, 5, 6所示
图3 ：RadMD与SOTA方法在RadBench上的比较
图4: RadMD在报告生成任务上的性能展示
图5: RadMD在Medical VQA 任务上的性能展示
总结
在当前的医疗领域，已经陆续涌现了一些多模态的基础模型，例如微软的LLaVA-Med和谷歌的Med-PaLM M，包括最新的Med Flamingo。然而，这些模型都还是受限于2D的图像输入，且其中只有最新的Med Flamingo可以支持交错的图文输入。在医疗领域中，常见的诊疗影像往往是3D的图像，同时，诊疗任务通常需要综合多张图像来作出准确判断。
为了解决上述问题，研究团队决定将重点放在放射影像领域，提出模型RadFM，允许同时处理2D和3D多模态的医疗数据，例如CT、MRI等。而且，该模型能够综合处理多张相关影像，提供更全面和准确的信息，有望在诊断和治疗等方面取得更好的效果。同时，针对模型的评估，研究团队综合了多个挑战性的任务提出了一个新的benchmark以及更科学的医疗任务评测指标，以此为参考，不断优化数据与模型，欢迎大家持续关注。
