大家都聽說過AR（增強現實）、VR（虛擬現實），電影《頭號玩家》也展示了未來VR游戲的巨大潛力。但是如果把AR和機器學習相結合呢？

今天，谷歌Research團隊在AI＋AR＋醫療相結合的領域又邁出了一步：他們在普通的光學顯微鏡上裝了一個AR組件。

工作原理是這樣的：用機器學習的方法實時分析顯微鏡視野下的圖像，并實時輸出模型的結果，通過AR組件，在原本的圖像上繪制出潛在腫瘤的邊緣。

也就是說，醫生在看顯微鏡的時候，看到的不僅僅是細胞組織，還有機器學習建模的結果：一條“癌癥輪廓線”。

最令人激動的地方在于，這個組件的成本非常低，可以直接被安裝到普通的光學顯微鏡上，這將讓全世界各地的醫生、病理學家都有機會接觸到深度學習。

深度學習在眼科、皮膚科、放射科和病理學等醫學學科的應用，大大提高了醫療保健的準確性與可用性，給世界各地的患者帶來了福音。比如，谷歌的最新研究表明卷積神經網絡在檢測乳腺癌轉移方面，擁有與專業病理學家相媲美的準確度。

然而，利用復合光顯微鏡直接探測是否存在病變組織仍然是病理學家診斷疾病的主要手段。因此，在病理學中廣泛采用深度學習的一個關鍵障礙是對微觀組織進行數字化表示。

在4月17號舉辦的美國癌癥研究協會年度會議上，谷歌的科學家公布了這篇名為“An Augmented Reality Microscope for Real－time Automated Detection of Cancer”的論文，描述了增強現實顯微鏡（Augmented Reality Microscope，ARM）平臺。

ARM增強現實顯微鏡平臺由改進的光學顯微鏡組成，支持實時圖像分析，并且能將機器學習算法的結果直接渲染。重要的是，谷歌的ARM平臺組件可以直接被裝入各個醫院和診所中現有的光學顯微鏡中，成本低且易于使用。

通過現代計算組件和深度學習模型，例如建立在TensorFlow上的模型，人們將能在此平臺上運行大量預訓練模型。使用方式和傳統的顯微鏡類似，用戶通過目鏡觀察樣本，機器學習算法將其實時輸出投影到顯微鏡的光路中。

這種數字投影被疊加在樣本的原始圖像上，以幫助觀看者定位或量化感興趣的特征。重要的是，計算和視覺反饋更新迅速——目前，模型以每秒約10幀的速度運行，因此當用戶在顯微鏡載玻片上移動或改變放大率時，模型輸出可以無縫更新。

左圖：ARM的示意圖。數碼相機捕獲與用戶相同的視場（FoV），并將圖像傳送到能夠運行機器學習模型的實時推斷的附加計算單元。結果被反饋到一個自定義的AR顯示屏中，該顯示屏與目鏡齊平，并將模型輸出投影到玻片所在的平面上。右圖：原型圖，由典型的臨床級光學顯微鏡改裝。

ARM可以提供多種視覺反饋，包括文本、箭頭、輪廓、熱圖或動畫，并且能夠運行多種類型的機器學習算法，旨在解決不同的問題，如目標檢測、量化或分類。

為了展示ARM的潛在用途，谷歌在其上運行了兩種不同的癌癥檢測算法：一種檢測淋巴結標本中的乳腺癌轉移，另一種檢測前列腺切除標本中的前列腺癌。這些模型可以在4－40倍的放大倍數下運行。下圖中的綠色輪廓是檢測到的腫瘤區域，也就是模型輸出的結果。這些輪廓有助于將病理學家的注意力吸引到感興趣的區域，而不會掩蓋潛在的腫瘤細胞外觀。

ARM鏡頭的示例視圖：4x、10x、20x和40x顯微鏡下的淋巴結轉移模型（綠色輪廓的區域是模型識別出的腫瘤區域）

雖然這兩種癌癥模型最初都是在掃描儀的圖像之上訓練，且掃描儀的光學配置明顯不同，但這些模型在ARM上執行得非常好，無需額外重新訓練。

例如，淋巴結轉移模型的曲線下面積（AUC）為0．98，而在ARM上運行時，前列腺癌模型在視場中的癌癥檢測（FoV）的AUC為0．96，性能僅略低于WSI。通過直接從ARM本身獲取的數字圖像中訓練可以進一步提高這些模型的性能。

谷歌認為，增強現實顯微鏡有潛力對全球健康產生重大影響，且在醫療保健、生命科學研究和材料科學等領域有著廣泛的應用，特別是對發展中國家傳染病（包括肺結核和瘧疾）的診斷。此外，即使在即將采用數字病理工作流程的醫院中，ARM也可以與數字工作流程結合使用，處理掃描儀需要快速周轉或者不能很好地檢測問題的情況（如細胞學、熒光成像或手術中的冷凍部分）。（ 虎嗅網 大數據文摘）