使用光学显微镜对生物过程进行成像的目标是以最小的侵入性获取最多的时空信息。深度神经网络显著改善了光学显微镜，包括图像超分辨率和恢复，但仍有很大的伪影潜力。
在这项研究中，中国科学院、清华大学以及霍华德·休斯医学研究所的研究人员，通过结合照明模式的先验知识，为结构化照明显微镜和晶格光片显微镜（LLSM）开发了合理化的深度学习（rDL），从而合理地引导网络对原始图像进行去噪。
在这里，研究人员证明了 rDL 结构照明显微镜消除了光谱偏差引起的分辨率下降，并将模型不确定性降低了五倍，将超分辨率信息提高了十倍以上。
该研究以「Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes」为题，于 2022 年 10 月 6 日发布在《Nature Biotechnology》。
所有活的有机体都执行复杂的生物过程。荧光显微镜对于阐明活细胞中各种生物过程的动力学和功能至关重要。最近开发的超分辨率（SR）技术增强了它的功能。然而，任何 SR 方法的空间分辨率的提高都伴随着与其他成像指标的权衡，这些指标对于理解生物过程同样重要。
结构照明显微镜（SIM）通常被认为是活细胞成像的最佳 SR 方法，因为与其他 SR 技术相比，它需要更少的原始图像和更低的照明强度。尽管如此，SIM 相关技术通常要求每个原始图像具有适当的信噪比（SNR），以防止重建伪影。因此，光漂白和光毒性限制了现有 SR-SIM 技术的成像性能。
除了显微镜硬件的进步，计算方法对于光学显微镜中的图像恢复和增强也变得越来越重要。传统算法采用具有某些假设的分析模型来迭代地恢复/去噪 SR 图像。然而，显微镜成像是一个统计复杂的过程；因此，手工分析模型受到其假设准确性的限制，通常会导致空间和时间分辨率的损失。
深度神经网络（DNN）不仅能够学习图像变换过程的伪逆函数，而且能够通过利用成对的端到端变换图像来学习良好解决方案的随机特征。深度学习算法在包括去噪和图像 SR 在内的各种图像转换任务中都表现出出色的性能。然而，这些任务本质上是不适定问题，这表明对于所有可能推理的高维流形中的给定输入存在几种解决方案。
此外，DNN 比高频模式更快、更稳健地学习低频模式，这种现象称为光谱偏差，这表明从衍射限制对应物重建高频丰富的 SR 图像比去噪衍射限制图像更具挑战性。随着输入图像变得嘈杂、包含更复杂的结构或从二维 (2D) 扩展到三维 (3D)，不适定问题和光谱偏差的影响会加剧。最后，在大多数生物成像应用中，获得用于训练 DNN 的高质量基本事实 (GT) 并非易事。
图示：rDL SIM 方法。（来源：论文）
在最新的研究中，研究人员为 SIM 和 LLSM 开发了 rDL 方法。rDL 网络架构与现有的用于图像转换的 DNN 不同，它将每种显微镜技术的预表征物理模型（例如，SIM 中使用的照明模式的先验知识）合并到网络中，以指导网络训练并将网络输出调节到比其他方法更接近 GT 的低维流形。
图示：rDL SIM 与最先进的 SIM 方法的比较。（来源：论文）
另外，这里不是减轻嵌入在重建的 SR 图像中的伪影，而是应用 rDL SIM 模型对衍射受限的原始 SIM 图像进行去噪，通过传统算法确保高质量的重建，同时消除最终 SR 图像中光谱偏差引起的分辨率下降。
图示：含 SiT 的运输中间体的体积、高速 TiS-rDL LLSM 成像。（来源：论文）
此外，研究人员使用时间或空间域中的生物成像采样连续性来开发一种时间/空间交错的自我监督机制，用于在不需要 GT 图像的情况下实现 rDL LLSM 去噪。该团队证明，rDL SIM 和 rDL LLSM 能够实现对超过十种类型的生物过程的高时空分辨率和长期观察，这些生物过程对光太敏感、太快或太长，无法通过最先进的 SR 显微镜进行实时记录。
图示：运动纤毛和细胞器相互作用的 rDL SIM 成像。（来源：论文）
rDL SRM 方法显着突破了 2D/3D SR 实时成像的界限，以比最先进的 SRM 高 10 倍的帧速率实现了 30 倍以上的成像持续时间。因此，rDL SRM 方法可以研究各种生物过程的精细空间细节、快速动力学和长期动力学，而 SR 实时成像尚未这样做。
在 2D SR 成像场景中，rDL TIRF-SIM 在将细胞放置在盖玻片上后实现了长达一小时的延时超分辨率（97 nm）记录细胞扩散，这清楚地解决了 F-肌动蛋白和肌球蛋白-IIA 之间的协调动力学，产生片状伪足的突出和收缩振荡。
研究人员利用 rDL-GI-SIM 表征了 60,000 帧 SR 成像速度高达684 Hz（受 sCMOS 相机读取率限制）的运动纤毛搏动模式和频率，首次没有明显的光漂白现象，纤毛和 IFT 序列的双色活细胞可视化揭示了IFT序列在纤毛中段碰撞、重塑和翻转的多种新行为，以前只在纤毛尖端发生。
在 3D 成像场景中，rDL-LLS-SIM 使研究人员能够在内源性水平分析核仁过有丝分裂的多相转变过程。他们一致观察到 RPA49 的大液滴在内部纤维中心相可以分裂成几个独立的焦点，这表明活性裂变机制可能在核仁的组装中起作用。
另外，TiS rDL LLSM 以每秒 10 个全细胞体积的高体积成像速度生成了 10000 个体积的传输SiT囊泡集体行为的高质量图像。SiS rDL LLSM 能够以秒为间隔进行长达数小时的三色 SR 成像，首先检查细胞在有丝分裂期间正确分离不同细胞器的不同策略。
总之，rDL SRM 以超高的空间和时间分辨率、高保真度和长时间可量化性满足了细胞内动力学微创 2D/3D 成像的未满足需求。rDL 方法的实施和改进为揭示各种生物现象显示了巨大的希望。
论文链接：https://www.nature.com/articles/s41587-022-01471-3
相关报道：https://phys.org/news/2022-10-rationalized-deep-super-resolution-microscopy-sustained.html
