编辑 | 绿萝
质谱成像（MSI）技术作为一种重要的表征手段，因其具有非靶向性、无标记检测、高灵敏度、高分子特异性和多物质同时检测等诸多优势，已广泛应用于化学、物理、材料和生命科学领域。
高空间分辨率质谱成像（HSR-MSI）提供了数千种生物分子的精确空间信息，而无需在组织切片上进行标记。经过大量图像训练的深度学习方法可用于进一步提高分辨率。然而，公开可用的 HSR-MSI 数据数量有限，这意味着使用深度学习对 MSI 获得的图像进行超分辨率重建仍然是一个挑战。
近日，来自中国科学技术大学的研究团队开发了一个基于迁移学习的深度学习框架，称为光学超分辨率（MOSR）的 MSI，大大降低了对样本量的要求。
该方法只需要 10 张 HSR-MSI 图像，就可以将从丰富的光学图像（约 15000 张）中学习到的知识转移到 MSI 任务中。与没有迁移学习的深度学习模型相比，MOSR 模型具有更高的峰值信噪比和结构相似指标值，获得了更好的图像质量。该方法具有较高的训练效率和较强的泛化性能。MOSR 模型可以预测极小样本量的 HSR-MSI 图像，并可以转换超分辨率 MSI 的应用。
该研究以「A super-resolution strategy for mass spectrometry imaging via transfer learning」为题，于 2023 年 6 月 22 日发布在《Nature Machine Intelligence》上。
研究背景
MSI 的像素分辨率是影响分子定位评估精度的重要参数。更高的像素分辨率可以使研究人员能够在更精细的结构尺度上检测组织学的分子变化，从而获得新的重要发现。但更高的空间分辨率通常伴随着更长的成像时间，并且很难同时优化这两个参数。
近年来，深度学习技术（DL）在生物图像的超分辨率重建方面取得了很大进展。DL 直接训练从低分辨率(LR)图像到相应的高分辨率(HR)图像的映射关系，从而实现单图像超分辨率，无需复杂的图像处理和特殊的采集程序。DL 模型可以利用训练好的映射关系对新的 LR 图像以更高的像素分辨率和更逼真的纹理细节进行预测。
然而，深度学习很少用于提高 MSI 分辨率，主要是由于数据集可用性有限。迁移学习是指将训练好的深度学习模型的知识应用于具有少量数据的不同但相关的模型。
因此，研究人员提出了一种创新的基于迁移学习的神经网络框架，称为光学超分辨率 MSI (MOSR)，它重建 LR MSI图像，以模态驱动的方式产生预测的 HR MSI 图像，而不是技术驱动的方式。
MOSR：将光学图像中学到的知识转移到 MSI 图像中
由于优质 HSR-MSI 设备的可及性较低以及采样效率的限制，例如成像时间过长、样品制备繁重、实验参数优化过多等，高质量的 HSR-MSI 图像难以获得。相比之下，许多高分辨率光学图像可以在公共数据库中获得。因此，该研究团队构建了 MOSR 框架，可以将从光学图像中学到的知识转移到 MSI 图像中，以生成预测的 HSR-MSI 图像。
图示：MOSR 概览。（来源：论文）
MOSR 模型由三个阶段组成：光学和 MSI 模型的训练阶段以及 MSI 模型的推理阶段。简而言之，在训练阶段，使用大量（约 15,000 个）尼氏染色矢状脑图像对来训练光学模型中光学模态的增强型超分辨率生成对抗网络（ESRGAN）。这些图像很容易从艾伦脑图谱数据库中获得，并清晰地显示了大脑切片的解剖结构。然后，研究人员测量了模型输出和真实 HR 图像之间的差异，并通过三个损失函数（L1-范数损失 L1、对抗性损失 La 和感知损失 Lp）优化了 ESRGAN。对抗性损失和感知损失可以让模型从图像中学习详细的纹理信息。
接下来，引入迁移学习，将从大型参考数据集（光学图像）学习的参数迁移到目标模型，以增强小样本量目标数据集（MSI 图像）的学习。通过迁移学习，需要很少（大约十个）现有的单离子图像对来训练 MSI 模型中 MSI 模态的 ESRGAN。
用于 MSI 模态的 ESRGAN 使用 L1、La、Lp 和额外的交叉熵损失 Lc 进行优化，它可以利用 MSI 图像的分子间关系使模型区分不同类别的生物分子。推理阶段的目的是使用学习到的映射关系以更高的像素分辨率和更真实的纹理细节对新的 MSI 图像进行预测。
讨论
总之，MOSR 是一种基于迁移学习的可行策略，用于样本量要求非常小的 MSI 数据的超分辨率重建。凭借迁移学习的优势，MOSR 比传统的 DL 模型表现出更好的图像质量、更快的训练速度和更高的泛化性能。这种迁移学习策略可以扩展到其他难以快速获得大量高质量图像的研究领域，如高分辨率计算机断层扫描和 MRI。
在这里，研究人员通过计算 LR 图像和 MOSR 预测的 HR 图像之间的相关系数来量化研究中所有预测图像的不确定性。所有计算出的相关系数均大于 0.9，表明不确定性较低。研究人员使用公共数据库中的 MSI 图像来训练模型，而不是从他们自己的仪器中获得的图像。
图示：MOSR 模型的训练效率。（来源：论文）
研究用于训练 MOSR 的 HR MSI 图像的分辨率为 40μm，但研究发现 MOSR 在 20 μm 和 30 μm 的分辨率下进行预测时仍然表现良好。因此，研究人员认为 MOSR 预测分辨率提升的上限至少为 20μm。然而，现实世界的空间格局可能不会在超过一个数量级的尺度变化中保持不变，并且研究人员没有在在线数据库中找到任何具有足够高分辨率（在几微米范围内）的高质量 MSI 数据来验证其在更细尺度上的 MOSR 模型。因此，研究人员推测其 MOSR 模型也不太可能实现几微米范围内的 MSI 超分辨率。然而，如果将来获得足够的微米尺度甚至亚微米尺度的 MSI 图像，应该可以使用这些 MSI 图像来重新训练适合该分辨率的 MOSR。
图示：MOSR 模型与其他模型的图像质量对比。（来源：论文）
尽管 MOSR 等深度学习模型的准确性在技术上并不完善，但由于难以获取足够的高分辨率 MSI 数据，这些模型仍然是值得选择的。MOSR 在基础研究和临床研究中都具有巨大的潜在价值。
论文链接：https://www.nature.com/articles/s42256-023-00677-7
