PRO会员通讯
超分辨率荧光显微镜方法能够表征活体和固定生物组织中的纳米结构。然而，它们需要调整多个成像参数，同时试图满足相互冲突的目标，例如最大化空间和时间分辨率，同时最小化曝光。为了克服这些权衡带来的限制，已经提出了用于分辨率增强和图像质量改进的采集后算法方法。
加拿大拉瓦尔大学（Laval University）的研究人员开发了任务辅助生成对抗网络（TA-GAN），它包含与观察到的生物纳米结构表征密切相关的辅助任务（例如分割、定位）。该团队使用共焦、明场、受激发射损耗和结构照明显微镜等不同方式获取的图像，评估 TA-GAN 如何比无辅助方法提高生成精度。
TA-GAN 直接集成到显微镜的采集管道中，以预测视场的纳米含量，而无需采集超分辨率图像。该信息用于自动选择成像模式和感兴趣区域，通过减少曝光来优化采集序列。像 TA-GAN 这样的数据驱动显微镜方法将能够以空间和时间分辨率观察动态分子过程，该分辨率超越了目前限制超分辨率显微镜的权衡所施加的限制。
该研究以「Resolution enhancement with a task-assisted GAN to guide optical nanoscopy image analysis and acquisition」为题，于 2023 年 7 月 27 日发布在《Nature Machine Intelligence》。
背景与挑战
用于研究生物结构纳米级组织的超分辨率光学显微镜（光学纳米镜）技术的发展，改变了人类对细胞和分子过程的理解。此类技术，包括受激发射损耗（STED）显微镜，与活细胞成像兼容，能够以前所未有的时空精度监测亚细胞动态。在光学纳米实验的设计中，必须考虑多个且经常相互冲突的目标（例如，空间分辨率、采集速度、光照和信噪比）。人们提出了机器学习辅助显微镜方法来改善采集过程，主要是通过限制曝光。
与此同时，学界已经开发了几种监督和弱监督的深度学习方法，用于显微镜图像的高通量分析。最近还针对光学显微镜提出了基于深度学习的超分辨率和域适应方法，但人们对其在表征纳米尺度生物结构的适用性方面出现了担忧和怀疑。
光学纳米显微镜技术利用调节荧光分子的发射特性的能力，来克服光学显微镜的衍射极限。在这种情况下，依靠算法方法来生成在原始图像中未光学解析的子衍射结构的图像是具有挑战性的。为生成看起来属于目标更高分辨率域的图像而优化的方法，并不能明确保证准确生成感兴趣的生物特征。然而，采集后超分辨率显微图像的可能性将有利地减轻光学纳米显微术中采集参数之间的一些妥协。
在为算法超分辨率开发的方法中，条件生成对抗网络（cGAN）根据不同的输入值生成数据实例，捕获其一些特征来指导创建适合目标域的新实例。然而，合成图像的真实性并不能确保图像可用于进一步的特定领域分析，这限制了它们在光学显微镜中的使用。
生成式增强辅助方案
生成超分辨率显微镜图像的主要目标是产生有关目标生物结构的可靠的纳米级信息。使用辅助任务或多任务学习优化网络可以指导生成器解析对当前上下文重要的内容。用于图像到图像转换的 cGAN 的各种应用都使用语义分割、属性分割或前景分割等辅助任务来为生成器提供空间指导。
拉瓦尔大学研究团队在显微镜的背景下采用了这个想法，其中特定结构的注释可以将注意力集中到只有经过训练的专家才能识别的微妙特征上。
研究人员建议使用与当前生物学问题密切相关的辅助任务来指导图像生成过程。这种方法提高了算法超分辨率的适用性，并确保合成图像中生成的特征与真实纳米图像中观察到的生物结构一致。已经通过深度学习常规解决的显微镜图像分析任务（例如分割、检测和分类）可以指导 cGAN 在生成的合成图像中保留感兴趣的生物特征。
该团队开发了一种用于生成分辨率增强显微镜图像的任务辅助 GAN (TA-GAN)。TA-GAN 依赖于与输入低分辨率模式（例如共焦或明场显微镜）无法解析的结构相关的辅助任务，但在目标超分辨率模式（例如 STED 或 SIM）中很容易区分。研究人员通过基于 CycleGAN 模型的称为 TA-CycleGAN 的变体扩展了该方法的适用性，适用于不配对的数据集。此处，TA-CycleGAN 应用于固定神经元和活神经元的 STED 显微镜的域适应。
研究人员展示了它在光学纳米显微镜中的适用性，并表明辅助生成网络训练的辅助任务提高了纳米级结构的重建精度。该方法的适用性在轴突和树突、突触蛋白簇、模拟纳米结构域中的 F-肌动蛋白配对共焦和 STED 显微镜数据集以及分裂金黄色葡萄球菌细胞的配对明场和 SIM 图像中得到了证明。研究人员证明 TA-GAN 方法非常灵活，可以使用不同的辅助任务进行训练，例如二进制分割、语义分割和定位。
对于未配对的数据集，他们引入了 TA-CycleGAN 模型，并演示了结构保留域适应如何开启创建无法同时获取的注释图像的配对数据集的可能性。来自活细胞域的合成 STED 图像可用于训练神经网络，该神经网络在真实 STED 图像中的 F-肌动蛋白纳米结构分割方面表现良好，而无需对新的活细胞成像数据集进行手动重新注释 。
图示：使用 TA-GANLive 监控变化。（来源：论文）
用于提高活体神经元分辨率的 TA-GAN 可以集成到 STED 显微镜的采集回路中。该团队验证了 TA-GAN 模型如何通过自动做出优化光子预算并减少活细胞光学纳米显微镜采集序列中的光漂白的决策，来帮助显微镜学家。TA-GAN 增加了每次共焦采集的信息价值，并且仅在由于预测纳米结构的变化或不确定性而导致该采集具有信息性的区域和时间步长中自动触发 STED 图像的采集。
图示：使用 TA-GANLive 监控预测变异性。（来源：论文）
未来校准网络概率输出的工作可能会改进其置信度的量化。多个连续帧也可以作为生成器的输入给出，以引入时间信息，而不是单独使用静态帧。这可以使生成器能够解码生物变化率，并将这些知识引入下一帧预测，从而使合成图像之间的过渡更加平滑。
这里介绍的 TA-GAN 模型可以实现较长序列的生物动力学可视化，同时减少光漂白效应。因此，TA-GAN 辅助的 STED 纳米镜可以指导显微镜人员优化采集方案并减少曝光。
论文链接：https://www.nature.com/articles/s42256-023-00689-3
