2020/04/09 16:14

中国首款智能显微镜获批进入临床：病理诊断AI化，腾讯AI Lab打造

癌症被称为「众病之王」，若能尽早检测诊断，病人则更可能得到有效救治。一般来说，癌症的检查和诊断依赖于病理学检查；而在病理学检查过程中，显微镜观察是必不可少的步骤。钟南山院士曾表示：「临床病理水平是衡量国家医疗质量的重要标志」。今日，腾讯 AI Lab 宣布，联合舜宇光学科技、第三方医学检验机构金域医学宣布三方研发的智能显微镜已获得 NMPA 注册证，成为国内首个获准进入临床应用的智能显微镜产品。

据介绍，该智能显微镜产品研发始于 2018 年，集成了目前病理分析与诊断方面的最新技术，并针对病理医生工作流程和习惯进行多次产品迭代，现已支持乳腺癌免疫组化（IHC）Ki67（肿瘤细胞增殖指数）、ER（雌激素受体）、PR（孕激素受体）和 Her2（细胞表面生长因子 2）等常用核染色和膜染色量化分析场景的判读。

该产品在测试被证明能有效提升病理医生的工作效率、病理分析的精确度和一致性，有望缓解医院（尤其是基层医院）病理医生数量短缺且经验不足的问题，也是精准医疗从前沿研究走向落地探索的一个良好例证。

以前，病理医生要花大量的时间和脑力劳动、依靠经验在显微镜下识别和判断病变组织，并粗略估算其细胞数量，分析结果可能因医生经验不同而有所差别。现在，有了智能显微镜，如金域病理专家丁向东主任评价的那样：「医生只要用脚轻轻一踏，智能显微镜就会将分析结果和判断实时、精确地呈现在显微镜视野内，医生不需要再来回看显微镜和电脑显示屏，操作非常简单。」

智能显微镜目前使用了离线运算版本，腾讯 AI Lab 还研发了一套基于深度学习方法的升级版算法，具有更高精准度和升级潜力，期待能尽早通过认证后推向市场，辅助医生诊断。

具体来说，包括以下技术细节：

1）紧扣诊断标准（指南），从定义出发，对任务进行拆解同时应用神经网络和传统策略算法，从而规避简易端到端的对图像进行分类或评分造成的黑盒子问题，利用细胞级和区域级数据统计来达到图像分类或评分；

2）结合图像级标签的弱监督学习方法，获取粗粒度的像素级标注，并对粗粒度像素级标注进行后处理和少量人工修正，迅速获取大规模有效像素级标注数据；

3）通过迁移学习的方式适应不同医院和不同染色类型数据，利用自步学习等策略挖掘有效难例数据，并设计多重数据筛选机制，在挖掘难例数据的同时尽可能剔除错误标注和无效数据，从而大幅提升算法稳定性和精度。

此外，同时运用 AI Lab 开发的 AutoMl 自动选择最优模型超参数，从而让模型具有更高精准度和升级潜力。

行业痛点：病理诊断作用关键，但相关医疗人才缺口大

要理解智能显微镜在癌症筛查和病理分析过程中的价值，首先要理解病理分析过程的复杂性以及我国医疗资源方面所存在的现实问题。

大致来说，癌症检诊流程主要包含以下几个步骤，腾讯智能显微镜希望在病理分析和诊断两个关键环节为医生提供更多帮助。

影像检测筛查：通过一系列影像学检查，如 X 光、CT、MRI 和内镜等检查方法，找出可疑的病灶。目前「腾讯觅影」已为食管癌、肺结节、糖尿病视网膜病变、结直肠肿瘤、乳腺癌等多种疾病提供 AI 医学影像分析，辅助医生筛查。
组织活检及病理制片：要得到最终的准确诊断结果，需要取出一些肿瘤组织，制作成病理切片，然后在显微镜下（放大 40 - 400 倍）观察组织结构和细胞形态。
病理分析：通过对组织结构和细胞形态显微镜下的观察，找出疾病发生的原因以及对人体结构和功能的影响，同时决定是否进行进一步辅助检测，如: 免疫组织化学（IHC）和分子检测，对肿瘤进行定性和定量的分析。
病理诊断：根据显微镜观察结果结合 IHC 和分子病理结果，对肿瘤做出最终诊断。

其中最后一步病理诊断得到的报告将用于指导临床医生制定手术、化疗、放疗、靶向治疗或免疫治疗等治疗方案。因此，病理诊断是诊断流程中最后且最重要的环节，是疾病诊断的金标准，因此病理医生也被称为「医生的医生」。

从病理分析角度和层次来看，腾讯智能显微镜旨在通过提供精准定量分析提高诊断一致性，减轻医生工作负担，目前主要聚焦在免疫组织化学相关的辅助分析。病理诊断分为组织病理和分子病理两个层面，两者的诊断和检测方法不相同。只有两者互相补充、支持和印证，才能做出精准诊断。而不管是组织病理层面还是分子层面，传统的病理诊断过程都主要依靠人类医生的经验，也因此存在一些固有的短板：

组织层面，有的癌症亚分类多达数十种，且不同亚类之间细胞和组织形态可能很相似，诊断难度大，主观性强，而误诊后果严重。例如：2015 年一篇《美国医学会杂志》（JAMA）的报道对 75 名病理医生在 2000 个乳腺癌病例上的诊断结果进行了统计，发现导管非典型增生和原位癌很容易误判，两者的管理和治疗方案完全不同，误诊误判会对患者的健康和治疗造成严重后果。

分子层面，目前分为免疫组织化学（IHC）、FISH 和基因诊断等。IHC 主要用于疾病辅助诊断、鉴别诊断、判读预后、指导临床治疗方案、靶向药物指导、免疫治疗指导等。IHC 的判读在检测和病理医生诊断过程中，存在主观性判读的稳定性和一致性差、图像分析工具脱离正常工作流程、无法精准定量分析、指导药物治疗抗体的判读标准不统一等问题。免疫组化中的很多指标，需要进行精准定量分析，其结果与肿瘤的靶向治疗、免疫治疗都有直接关系，会直接影响到恶性肿瘤的用药和患者预后。但目前方法需病理医生在显微镜下判断，耗费了大量工作精力，且结果难以准确一致。

除了以上技术的问题，依靠病理医生诊断还面临着一个重要的现实问题：病理医生严重短缺。据统计，中国目前仅有 1.5 万名病理医生，缺口近 10 万，供需极不平衡，而新病理医生的培养又面临着时间周期长，年轻一代学习意愿不强等问题。

智能显微镜优势：节约医生的时间精力，提升读片精准度与一致性

近年来随着机器学习与大数据技术的发展，以计算机视觉为首的 AI 技术已展现出了在病理诊断应用上的巨大潜力。若使用 AI 辅助 IHC 结果判读，可以：

避免 IHC 结果判读的人为差异，提高判读结果的可靠性，提升病理诊断质量，这对于病理医生稀缺的基层医院尤为有帮助；
智能判读将节省稀缺病理医生资源，使其投入更需要的服务之中；
为病理免疫组化染色的质量评估做精确定量的质量控制；
为医学科研和药企提供免疫组化精准定量检测服务，为新药研发的相关免疫组化研究提供客观性可靠的证据。
为肿瘤患者提供分子靶向治疗及免疫治疗等相关精准定量的免疫组化检测服务；
病理医生与智能显微镜结合的工作模式，体现了「人+AI」的全新工作模式。让病理医生和人工智能各自发挥所长，全面提升效率。

腾讯表示，因此自 2018 年起，腾讯 AI Lab 相继联合舜宇光学科技和金域医学，共同研发智能显微镜这一解决方案，为实现软硬件一体化和好的用户体验进行了多次产品迭代。

智能显微镜原理示意图

腾讯 AI Lab 提供 AI 算法及软件解决方案。在采集训练数据时，选择让机器使用主动学习和难例挖掘的方案，不打扰医生的工作流程，也减轻医生手动标注数据的负担；采用先进的模型设计方案，让算法模型在保证准确度的前提下能满足 300 毫秒内完成 IHC 全视野实时分析的要求；借助迁移学习并使用生成对抗网络（GAN）归一化镜下图像，使得算法能对不同医院和不同制片方式实现良好兼容，提升了算法的稳健性和通用性。

舜宇光学科技提供了定制化的硬件方案。比如，针对光学成像环境不一致情况，配备了聚光镜和光阑；针对医生使用时不断切换物镜倍率的习惯，专门开发了倍率记忆装置，能在医生选择倍镜时调整至对应亮度，并直接传送倍率信息给算法进行分析；此外还针对医生使用场景对目镜装置高度和光源设计进行了优化。

金域医学贡献了病理方面的专业知识与专家资源，确保显微镜能支持多种病症场景的判读，并辅助算法训练取得良好效果，还能使产品紧密贴合医生的工作流程与习惯。

训练学习过程的流程示意图

经过验证，软硬件一体化的智能显微镜在精准度与一致性上能有效满足病理诊断实际需求，并能显著提升医生的工作效率，使其投入时间和精力到更有需要的工作上。此外，该系统也具有很高的性价比；虽价格略高于普通显微镜，但却能按需增加新病种的算法软件而无需购买新的显微镜。对病理医生短缺的地区和医院，这套系统的实用价值尤为显著。金域病理专家罗丕福主任说：「该算法技术的应用，能够让病理诊断水平和能力更加匮乏的基层医院受益，更准确的诊断结果最终使肿瘤患者受益。」精准医疗是未来医疗发展大趋势，而智能显微镜则是其发展的一个缩影。

智能显微镜与传统显微镜性能对比

腾讯表示，未来，腾讯 AI Lab 将联合舜宇光学科技和金域医学根据实际应用的需求迭代产品，并计划与多家机构合作，推进智能显微镜在乳腺癌、肺癌、结直肠癌、胃癌等中国高发疾病的病理学中的研究与应用，力求为医生、患者和社会创造更大的价值。

产业腾讯AI LabAI+医疗AI+病理智能显微镜AI

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

离线运算技术

离线计算是代理在行动之前所完成的计算。它可以包括汇编和学习。在离线状态下，代理可以获取背景知识和数据，并将其编译成称为知识库的可用表单。背景知识可以在设计时或离线时给出。在线计算是代理人在观察环境和在环境中行动之间进行的计算。在线获得的信息被称为观察。代理人通常必须使用其知识库，信念和观察来确定下一步该做什么。

来源：artint.info

提升算法技术

Boosting是一种主要用于减少偏差的机器学习集成元算法，也是监督学习的一个变化，是一种将弱学习器转换为强学习器的机器学习算法家族。 Boosting是基于Kearns和Valiant（1988,1989）提出的问题：一组弱学习器能创造一个强大的学习器吗？一个弱的学习器被定义为一个分类器，它与真实的分类只有轻微的相关性（它可以比随机猜测更好地标注示例）。相反，强大的学习器是一个与真实分类任意相关的分类器。

来源：Wikipedia

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

大数据技术技术

大数据，又称为巨量资料，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

来源：维基百科

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

生成对抗网络技术

生成对抗网络是一种无监督学习方法，是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成：用来拟合数据分布的生成网络G，和用来判断输入是否“真实”的判别网络D。在训练过程中，生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D，而D则尽可能的分辨真实数据和生成网络的输出，从而形成两个网络的博弈过程。理想的情况下，博弈的结果会得到一个可以“以假乱真”的生成模型。

来源：Generative Adversarial Networks

主动学习技术

主动学习是半监督机器学习的一个特例，其中学习算法能够交互式地查询用户（或其他信息源）以在新的数据点处获得期望的输出。在统计学文献中，有时也称为最佳实验设计。

来源：Wikipedia

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/