编辑 | 萝卜皮
人工智能（AI）现在可以自动解读医学图像。然而，人工智能在介入图像分析方面的潜在用途在很大程度上仍未开发。这是因为对实时过程中收集的数据进行事后分析具有基本和实际的局限性，包括道德考虑、费用、可扩展性、数据完整性和缺乏基本事实。
近日，约翰斯·霍普金斯大学（Johns Hopkins University）的研究人与证明了从人体模型创建逼真的模拟图像是一种可行的替代方案，是对大规模原位数据收集的补充。在真实合成数据上训练 AI 图像分析模型，结合当代领域泛化技术，可以生成在真实数据上训练的机器学习模型，其性能与在精确匹配的真实数据训练集上训练的模型相当。
研究人员展示了被称为 SyntheX 的 X 射线图像分析模型传输范例，由于在更大的数据集上训练的有效性，甚至可以胜过真实数据训练的模型。SyntheX 提供了一个显著加速基于 X 射线的智能系统的概念、设计和评估的机会。
此外，SyntheX 提供了测试新仪器、设计互补手术方法和设想新技术的机会，这些技术可以改善结果、节省时间或减少人为错误，而无需考虑实时人类数据收集的伦理和实践考虑。
该研究以「Synthetic data accelerates the development of generalizable learning-based algorithms for X-ray image analysis」为题，于 2023 年 3 月 20 日发布在《Nature Machine Intelligence》。
机器人技术和人工智能 (AI) 的进步使自主手术系统更接近现实。然而，开发此类系统的人工智能骨干目前取决于在常规手术期间收集训练数据。与分流或诊断设置相比，这仍然是在介入临床环境中广泛使用 AI 系统的最大障碍之一，因为介入数据的获取和注释是时间密集且成本高昂的。
这是因为根据定义，它们与当代临床实践不相容，而且此类数据并非来自常规护理。此外，这些新系统不易获得批准，因此不易或迅速引入临床实践。离体实验不会受到同样的伦理约束；然而，它成本高昂且需要成熟的原型，因此无法很好地扩展。
这些策略的一个有前途的替代方案是模拟，即从人体模型中模拟生成介入训练数据和图像。模拟为培训人类和机器外科医生提供了一个丰富的环境，并回避了在探索护理标准之外的程序时出现的伦理考虑。也许最重要的是，计算机模拟手术沙箱可以在研究阶段实现快速原型制作。仿真范式价格低廉、可扩展且信息丰富。虽然术中数据是在高度非结构化和不受控制的环境中生成的，并且需要手动注释，但仿真可以为手术的每个元素提供详细的地面实况数据，包括工具和解剖姿势，这对于 AI 开发是非常宝贵的。
然而，模拟在一个关键方面可能达不到真正的手术：真实性。真实数据和模拟数据之间的特征差异通常被称为“领域差距”。人工智能模型对来自不同领域的数据执行的能力，即与训练数据的领域差距，被称为「领域泛化」。领域差距是有问题的，因为 AI 系统的脆弱性有据可查，跨领域差距表现出极大的恶化。即使是简单的差异，例如噪声统计、对比度水平和其他细节，也可能会发生这种情况。这种适用于所有机器学习任务的不幸情况激发了 AI 领域对模拟到现实 (Sim2Real) 迁移的研究，即域迁移方法的开发。
在这里，约翰斯·霍普金斯大学的研究人员介绍了一个框架 SyntheX，用于开发用于 X 射线图像分析的通用 AI 算法，该算法仅基于从带注释的计算机断层扫描 (CT) 模拟的合成数据。SyntheX 使用来自 CT 的 X 射线图像形成的真实模拟并使用域随机化来训练 AI 模型，创建的 AI 模型在域偏移下保持其性能，从而能够对在现实世界中获取的临床 X 射线进行评估和部署。研究人员展示了 SyntheX 在三个临床应用中的实用性和有效性：髋关节成像、手术机器人工具检测和 2019 年冠状病毒病 (COVID-19) 病灶分割。
图示：SyntheX的整体概念。（来源：论文）
到目前为止，还没有研究使用跨领域精确匹配的数据集来隔离领域泛化的影响。这项工作还展示了一种可行且具有成本效益的方法来训练 AI 图像分析模型以对合成数据进行临床干预，其性能可与多种应用中的真实临床数据训练相媲美。另外，模型的性能随着合成训练样本数量的增加而大幅提高，这突出了 SyntheX 的关键优势：为模型训练或预训练提供大量注释良好的数据。
图示：临床任务。（来源：论文）
使用合成数据训练机器学习算法正受到越来越多的关注。在一般计算机视觉中，Sim2Real 问题已针对自动驾驶感知和机器人操作进行了广泛探索。在诊断医学图像分析中，基于 GAN 的新样本合成已被用于增强磁共振成像、超声、视网膜、皮肤病变和 CXR 图像的可用训练数据。在计算机辅助干预中，Sim2Real 问题的早期成功包括对内窥镜图像和术中 X 射线的分析。这里的对照研究表明 Sim2Real 优于 Real2Real 训练，从而在 X 射线领域验证了这种方法。
图示：精确控制的髋关节成像 X 射线数据库。（来源：论文）
髋关节成像消融实验可靠地量化了域间隙对各种 Sim2Real 模型传输方法的实际数据性能的影响。这是因为所有通常混淆此类实验的任意因素都得到了精确控制，由于不同的图像模拟范例是不匹配的唯一来源，图像外观发生了变化。该团队控制的任意因素包括解剖学、成像几何、地面实况标签、网络架构和超参数。所有实验的训练样本数量相同。使用域随机化和自适应技术不会创建额外的样本，而只会改变像素级别的样本外观。特别是，在模拟中重新创建的视点和 3D 场景与真实图像完全相同，目前为止，这是尚未实现的。研究人员得出以下结论：
1、使用 DeepDRR 框架对训练数据进行基于物理的逼真模拟，与在不太现实（即朴素或启发式模拟范例）上训练的模型相比，模型可以更好地泛化到真实数据域。毫不奇怪，这表明尽可能紧密地匹配真实图像域直接有利于泛化性能。
2、当在匹配数据集上训练模型时，现实模拟与强域随机化 (SyntheX) 相结合，与最佳域自适应方法（带域随机化的 CycleGAN）和真实数据训练相媲美。然而，由于 SyntheX 在训练时不需要任何真实数据，因此这种范式比域适应具有明显的优势。具体来说，它节省了在开发早期获取真实数据或设计执行自适应的其他机器学习架构的工作量。这使得 SyntheX 对于新型仪器或机器人组件的开发特别有吸引力，因为在概念化的早期无法简单地获取其真实图像。
图示：分割和地标检测的定性结果。（来源：论文）
使用 DeepDRR 的逼真模拟在计算上与朴素模拟一样高效，两者都比蒙特卡罗模拟快几个数量级。此外，使用 DeepDRR 的真实模拟在 Sim2Real 性能和独立数据生成和训练方面带来了巨大的好处。这些发现令人鼓舞，并有力地支持了以下假设：对 3D CT 模拟的合成射线照片进行训练是真实数据训练的可行替代方案，或者至少是预训练的有力候选者。
与获取真实患者数据相比，生成大规模模拟数据更灵活、更省时、成本更低，并且避免了隐私问题。在真实环境中扩大训练数据成本高昂或不可能，但相比之下，使用数据合成很容易实现。在训练期间访问更多不同的数据样本有助于网络参数优化找到更稳定的解决方案，并且传输效果更好。
论文链接：https://www.nature.com/articles/s42256-023-00629-1
相关报道：https://medicalxpress.com/news/2023-03-synthetic-ai-outperform-real-robot-assisted.html
