安妮 一璞 发自 凹非寺
　　量子位 出品 公众号 QbitAI

　　检测号称人类健康头号杀手癌症，现在实现了质的飞跃。

　　一个偏远小镇的乡村诊所，现在也有机会用 AI，采用人机结合的方式，筛查出难度极高的淋巴结转移的乳腺癌、前列腺癌了。

　　谷歌这项潜力无限的研究，登上了 Nature Medicine。

　　和人类费时费力取材切片固定染色找癌细胞不同，这台智能显微镜能从海量细胞中自动寻找癌细胞病灶，完成实时检测。

　　并且，这台显微镜加入 AR 技术，可将诊断结果直接叠加到显微镜原来的图像中。

　　此前观察癌细胞，效果是繁杂累眼的：

　　而谷歌的显微镜，开挂了：

　　层层锁定，一招制敌！

　　相比从前天荒地老的显微镜下地毯式搜查，AI 能瞬间抓捕癌细胞，堪比生物界的安防摄像头。

　　而需要这样大的运算量，竟然还能在本地完成。无需联网、无需接入云端，在终端即可完成。

　　是不是需要很高大上的设备？

　　nonono，只需将普通光学显微镜略加改装，加入摄像头连接计算机，就能完成乳腺癌、前列腺癌的识别。设备简单，能够快速复制。

　　可离线，可实时，而且算法模型稳定、硬件成本兼具性价比，整个工作高度自动化……在一个医疗 AI 普遍处于大哥大的时代，谷歌 AI 迈出了类似安卓智能机的一步。

　　甚至有网友直言：

　　比起人类我更信任这个机器。

　　这是台能救命的显微镜。

　　准确率超 90%

　　在这台显微镜下，以淋巴结和前列腺结节的样本，分别在 10 倍放大和 20 倍放大下做实验，发现可以成功的标注出有癌细胞的地方。

　　从 ROC 曲线图上可以看出，10 倍显微镜下淋巴结检测 AUC 达到了 0.92，20 倍显微镜下淋巴结检测 AUC 达到了 0.97，10 倍显微镜下前列腺结节检测 AUC 达到了 0.93，20 倍显微镜下前列腺结节检测 AUC 达到了 0.92。

　　最后，无论是追求准确率、精确率还是召回率，四个实验中所有数值结果都超过了 0.9。

　　另外，除了癌症之外，各种其他的也能显示出来，比如黄体酮受体染色计数、有丝分裂计数、细胞计数、微生物检测……等等。

　　而这，也意味着除了诊断疾病之外，这项成果还能用在生物学研究、法医鉴定等多个领域。

　　显微镜构造

　　整个 AR 显微镜包含三个部分：显微镜本体、深度学习算法、跑算法的计算机。

　　先来看显微镜本体。本体就是一个普通的明场光学显微镜，这里用到的是 Nikon Eclipse Ni-U。

Nikon Eclipse Ni-U 显微镜

　　看起来跟中学生物课堂上用的差不多是不是？现在，给这台显微镜加装两个模块。

　　一个模块是摄像头，可以捕捉当前显微镜视野内的高分辨率图像。

　　另一个模块是为显示器，可以为摄像头捕捉到的原始图像增加数字信息，进行叠加。

　　摄像头模块拍下的图像，在经过深度学习算法处理后，就可以不算自动筛查、找到病灶，交给显示器。

　　计算机方面，AR 显微镜包含一块高速图像采集卡 BitFlow CYT，还有一块英伟达 Titan Xp GPU。

　　针对每张显微镜视野图像，需要经过几个过程：先把当前视野拍下来，之后将图像转换为 RGB 像素值，在图像上运行深度学习算法，之后找到病灶。

　　实时不卡顿

　　因为最大限度的利用到了不同的硬件来完成不同的任务，所以，这个过程成本更低，比传统的全片扫描仪（whole slide scanners）成本低一两个数量级。

　　并且，整套系统可以方便的迁移到各种普通显微镜上。

　　神经网络使用的是 1000×1000 的尺寸，但显微镜视野更大，达到了 5120×5120，因此，需要滑动窗口来逐步处理整张大图。

　　为了提高速度，研究团队将完全卷积网络（FCN）应用到了 InceptionV3 深度学习构架中，组成了 InceptionV3-FCN，减少了 75% 的计算量。

InceptionV3-FCN

修改 InceptionV3

　　并且，改造之后，延迟也降低了，从 2126ms 降到了 296ms，FPS 从 0.94 提高到了 6.84。之后，再用其他软件方法优化，延迟最终降为了 37ms，FPS 也高达 27，基本上不卡了。

　　谷歌 AI 大手笔

　　这一次，是 Google Brain 团队的又一次大手笔研究，谷歌 AI 总负责人、深度学习大牛 Jeff Dean 也位列作者行列。

　　共同一作共三位，分别为：

　　Po-Hsuan Cameron Chen，博士毕业于普林斯顿大学神经科学研究所，此前还在国立台湾大学获得了电子工程学学士学士，主要研究大脑工作原理。

　　Krishna Gadepalli，毕业美国北开来罗纳大学，入职谷歌 12 年。

　　此外，还有 Google Health 部门的研究人员 Robert MacDonald。

　　这篇论文是今年 6 月 19 日向 Nature 提交的，7 月 2 日确定被接收了，从提交到接收只经历了18 天，接收速度令网友感叹了一把。

　　此前，也不是没有过智能显微镜的研究。

　　Global Good 基金会投资的中国显微镜制造公司 Motic，曾经推出过一款智能显微镜 EasyScan Go，可用于诊断疟疾。但其样本检测需要 20 分钟，在向缩短至 10 分钟迈进。

　　在去年的腾讯全球合作伙伴大会上，腾讯 AI Lab 也发布了一款智能显微镜，医生不能从显微镜中实时看到 AI 反馈，需要与电脑连接后，从电脑显示屏中读取显微镜中的图像和 AI 辅诊意见。

　　但即便是在国内走在前列的腾讯觅影，目前也还处在顶级定点医院的合作状态，还达不到谷歌 AI 这样的端到端、可复制，开箱即用。

　　所以具备实时诊断、AI+AR 可在显微镜视野中直接叠加、还能诊断转移病灶的能力……谷歌的这台显微镜当前看起来已经万事俱备，只欠 FDA 批准的东风了。

　　先别走，拿上代码！

　　先别走，谷歌智能显微镜，你也有机会自己动手 DIY 一个，官方已经放出了其中的模型架构和工具代码。

　　深度学习架构代码可获取：

　　https://github.com/google-research/google-research/tree/master/nopad_inception_v3_fcn

　　相机抓取器驱动程序 BitFlow：

　　http://www.bitflow.com/

　　此外，还需要用到 TensorFlow、OpenCV、Scipy 等基础工具，这里就不提供了。

　　最后，附上 Nature 论文地址：

　　https://www.nature.com/articles/s41591-019-0539-7.epdf?author_access_token=BI9AOTsesmNoV2lSdpucn9RgN0jAjWel9jnR3ZoTv0PDGU3ZwysZtsN41a2fOgaoj4PRxjTvAHjSFrKF_S_mq4QNNV8dNoxAjytIQuVz9vdjplLQHUSEPiIo392MzIJY8fqxLKHC5vIwNpLLEoXMnA%3D%3D