文 / VRAR星球 維克多

谷歌近日為其新研發(fā)的“增強現(xiàn)實顯微鏡”（ARM）申請了專利，這臺顯微鏡采用了人工智能增強功能，能在操作載玻片時實時將檢測結(jié)果投射到視野上，不僅能放大細胞，還能為它們描繪出醒目的視覺標記，讓癌細胞無處遁形，幫助醫(yī)生更早發(fā)現(xiàn)癌癥。ARM徹底改變了病理學(xué)家檢查生物樣本的方式，標志著增強現(xiàn)實+人工智能在醫(yī)療領(lǐng)域的又一重大突破。

最佳仲裁員

西雅圖退伍軍人醫(yī)院辦公室里，一場爭論正在兩位醫(yī)生間發(fā)生。

Nadeem Zafar醫(yī)生是一位病理學(xué)家，主要對體液和組織進行臨床實驗室測試，以診斷癌癥等疾病。這是一項經(jīng)常在幕后運作的工作，但它是醫(yī)療保健的關(guān)鍵支柱。

另一位醫(yī)生是Zafar的同事，他咨詢了一個癌癥病例。很明顯，這名患者患有癌癥，但兩位醫(yī)生在病情嚴重程度上存在分歧。Zafar認為癌癥比他的同事預(yù)料得更具攻擊性。

Zafar轉(zhuǎn)向他的顯微鏡——這是一種深受醫(yī)生喜愛的病理學(xué)工具，醫(yī)生們依靠它來幫助做出診斷。但這不是一臺普通的顯微鏡，它是由谷歌和美國國防部合作研發(fā)制造的增強現(xiàn)實顯微鏡——ARM （Augmented Reality Microscope） 。

兩人用這臺特殊的顯微鏡觀察了這個病例。幾秒鐘后，人工智能標記出了Zafar認為更具攻擊性的腫瘤確切部位。事實證明他是對的。Zafar的同事被說服了。在接受媒體記者采訪時，Zafar表示：“這就是這項技術(shù)的美妙之處，它很像一位仲裁員?！?/p>

病理學(xué)家的新工具

多年以來，谷歌公司和美國防部一直在悄悄地研究這種由人工智能驅(qū)動的增強現(xiàn)實顯微鏡。目前這項技術(shù)仍處于早期階段，尚未廣泛用于幫助診斷患者，但初步研究顯示它很有希望，極有可能成為病理學(xué)家的有用工具。

乍一看，ARM很像高中生物教室里的顯微鏡。該設(shè)備是米色的，有一個大目鏡和一個托盤，盤上有用于檢查的傳統(tǒng)的載玻片。顯微鏡連接到一個方形的計算機箱塔上，里面裝有人工智能模型。

增強現(xiàn)實顯微鏡外觀

當(dāng)準備好載玻片并將其固定在顯微鏡下時，人工智能能夠勾勒出癌癥的位置。輪廓看起來是一條亮綠色的線，病理學(xué)家可以通過目鏡和單獨的監(jiān)視器看到。人工智能還指示癌癥的嚴重程度，并在監(jiān)視器上生成黑白熱圖，以像素化的形式顯示癌癥的邊界。

病理學(xué)家使用ARM時在屏幕上看到的內(nèi)容

在最近的一份專利申請中，谷歌將其ARM描述為“病理學(xué)家用來觀察含有組織或血液等生物樣本的載玻片的顯微鏡”。該顯微鏡的與眾不同之處在于，它能夠在操作載玻片時實時將增強功能投射到視野上，為病理學(xué)家提供寶貴的意見。這些增強功能起到了輔助作用，為病理學(xué)家提供了表征或分類樣本的重要信息。例如，ARM可以幫助識別樣本中癌癥細胞或病原體的存在，從而有可能徹底改變癌癥的早期診斷和治療。

用于診斷癌癥的組織切片包含大量信息，破解這些信息非常費時費力。每個細胞都要進行檢查，癌癥有時候很難識別。ARM把AR+AI技術(shù)和顯微鏡結(jié)合起來，實時檢查癌癥。攝像頭把有關(guān)信息傳輸?shù)诫娔X上，電腦會進行上億次計算，告訴醫(yī)生哪些是腫瘤哪些不是。增強現(xiàn)實顯微鏡具備的癌癥知識是由眾多病理學(xué)家通過訓(xùn)練機器學(xué)習(xí)模型賦予的。ARM有一個病理學(xué)家團隊，他們用上萬張圖片來教計算機如何識別癌細胞。

這套系統(tǒng)可以讓醫(yī)生的工作更快，效果更好，提高癌癥診斷的精確度。

谷歌ARM項目的一個值得注意的方面是，它致力于補充而不是取代醫(yī)院和診所中常見的現(xiàn)有顯微鏡。其目的是創(chuàng)建一個可以輕松改裝到醫(yī)療機構(gòu)基礎(chǔ)設(shè)施中的系統(tǒng)。ARM可以提供豐富的視覺反饋，包括文本、箭頭、輪廓、熱圖和動畫。上述要素中的每一個都可以根據(jù)具體的評估目標進行定制，這就為病理學(xué)家提供了一個增強診斷能力的強大工具。

簡易實用，方便存儲

目前有13個ARM原型正在進行測試，其中一個位于華盛頓特區(qū)近郊的Mitre公司。

Mitre是一家非營利組織，與政府機構(gòu)合作解決涉及技術(shù)的重大問題。該公司以網(wǎng)絡(luò)安全、航空科技著稱，是全球網(wǎng)絡(luò)安全領(lǐng)域技術(shù)創(chuàng)新的領(lǐng)跑者。疫情期間，該公司曾幫助美國疾控中心建立疫情監(jiān)控系統(tǒng)，合作對抗新冠病毒大流行。目前Mitre的研究人員正在與ARM合作，以確定在臨床環(huán)境中可能給病理學(xué)家?guī)淼穆┒础?/p>

近年來，就像醫(yī)療服務(wù)的許多其他方面一樣，病理學(xué)家一直在為人員短缺而苦惱。隨著普通人群年齡增長，患者增多，病理學(xué)家的工作量也在日益增加。這種局面很危險。如果因病理學(xué)家人手緊張而在檢測中遺漏了什么，很可能會對患者產(chǎn)生嚴重后果。一些相關(guān)機構(gòu)一直在嘗試將病理學(xué)家的工作流程數(shù)字化，以提高效率，但數(shù)字病理也帶來了許多挑戰(zhàn)。數(shù)字化一張幻燈片可能需要超過千兆字節(jié)的存儲空間，這會使與大規(guī)模數(shù)據(jù)收集相關(guān)的基礎(chǔ)設(shè)施和成本迅速大幅增長。對于許多經(jīng)費不多的較小衛(wèi)生機構(gòu)來說，實現(xiàn)數(shù)字化是有一定難度的。

ARM有意選擇了一種簡易實用的設(shè)計。Mitre的自主系統(tǒng)高級工程師Patrick Minot說：“ARM人工智能直接覆蓋在顯微鏡的視野上，它不會中斷病理學(xué)家既定的工作流程。它并非要取代數(shù)字病理系統(tǒng)，而是可以幫助人們避開對數(shù)字病理系統(tǒng)的需求。例如，病理學(xué)家可以選擇使用ARM的軟件對幻燈片進行截屏，這些軟件的存儲成本要低得多?！辟徶靡惶譇RM設(shè)備約需花費9萬至10萬美元，這對于眾多規(guī)模不大的部隊醫(yī)院和普通醫(yī)療機構(gòu)是完全可以承受的。

構(gòu)筑第二道防線

ARM的最初創(chuàng)意來自一位在海軍服役的病理學(xué)家——Niels Olson博士。2016年8月10日，Olson在圣地亞哥海軍醫(yī)療中心做住院醫(yī)生時，已經(jīng)設(shè)計出了像類似ARM這樣的工具。他發(fā)給谷歌一條信息，描述了他的大致想法。

幾個月后，Olson站在了加州山景城的谷歌辦公樓里，擠在一間只有公司少數(shù)人才能進入的鎖著的房間中。在那里，他看到一臺早期的人工智能顯微鏡在他隨身攜帶的一小組載玻片上成功地識別出癌癥。Olson說，當(dāng)時感覺房間里很悶熱，因為里面的每個人都特別興奮。Olson說：“我不想說這就像是第一次見到你的孩子，但這有點像，這太棒了，這將是一件大事?！薄?/p>

2018年，Olson被派往關(guān)島，在那里擔(dān)任海軍醫(yī)院的實驗室醫(yī)學(xué)主任和血庫主任。在關(guān)島的兩年里，他是島上兩名病理學(xué)家之一，也是海軍醫(yī)院唯一的病理學(xué)家。這意味著他經(jīng)常獨自做出重大決策和診斷。

Olson在接受媒體采訪時說：“你的工作不僅僅是說‘這是癌癥，這是一種癌癥?！ぷ鞯囊徊糠质钦f‘絕對不是癌癥’，當(dāng)你獨自一人時，這可能會讓人神經(jīng)緊張?！??！拔液芟朐陉P(guān)島擁有一臺增強現(xiàn)實顯微鏡，這樣就會有人，有其他人在幫忙?！?/p>

ARM旨在成為病理學(xué)家的第二道防線，Olson表示，它不會取代醫(yī)生。增強現(xiàn)實顯微鏡的最初使用案例可能是在較小的遠程實驗室中，它也可以作為病理學(xué)住院醫(yī)師培訓(xùn)的資源。

大約在Olson被派往關(guān)島的時候，美國國防部DIU（Defense Innovation Unit：國防創(chuàng)新部門）的一位產(chǎn)品經(jīng)理偶然發(fā)現(xiàn)了他的研究。DIU創(chuàng)建于2015年，是軍方整合商業(yè)界開發(fā)尖端技術(shù)的一個部門。該部門與公司談判合同，以便能夠展開合作，并避免官僚作風(fēng)。2019年，兩人共同撰寫了一篇文章，講述了國防部和硅谷如何合作利用人工智能。

他們表示，聯(lián)邦政府的醫(yī)療保健系統(tǒng)中有數(shù)百萬患者，這意味著它擁有世界上最全面的醫(yī)療保健數(shù)據(jù)集。這些數(shù)據(jù)顯然具有商業(yè)用途。他們寫道：“大數(shù)據(jù)是硅谷做得最好的，向民用醫(yī)療系統(tǒng)擴散的潛力巨大。”此后不久，DIU開始尋找商業(yè)合作伙伴來幫助構(gòu)建和測試ARM。它選擇了著名光學(xué)技術(shù)公司Jenoptik處理硬件，在評估了39家公司后選擇了谷歌來開發(fā)軟件。

推出四種算法，仍需大量測試

谷歌云醫(yī)療保健戰(zhàn)略和解決方案全球總監(jiān)Aashima Gupta表示，該公司已經(jīng)為ARM推出了四種算法，可以識別乳腺癌、宮頸癌、前列腺癌和有絲分裂。

人工智能模型是根據(jù)DIU的數(shù)據(jù)進行訓(xùn)練的。Gupta表示，谷歌員工和谷歌基礎(chǔ)設(shè)施都無法訪問這些數(shù)據(jù)。Gupta在接受媒體采訪時說：“它一直都是加密的，從數(shù)據(jù)的收集方式、存儲方式和分析方式、以及介于它們之間的一切?！?/p>

隨著硬軟件就緒，下一步需要對ARM進行大量測試。DIU已經(jīng)開始了這方面的初步工作，目前正在測試ARM的功效。2022年秋季，該組織在《病理信息學(xué)雜志》上發(fā)表了一篇同行評審論文。論文的主要作者、國防部首席數(shù)字和人工智能辦公室人工智能評估副主任David Jin表示，該論文指出了乳腺癌人工智能算法在大量樣本中表現(xiàn)相當(dāng)不錯，但也有一些需要注意的地方。這篇論文還專門研究了人工智能在檢測癌癥淋巴結(jié)轉(zhuǎn)移時的表現(xiàn)，金說它在某些類型的細胞上比其他類型的細胞表現(xiàn)更好。他說，這項研究很有希望，但在為病理學(xué)家提供真正的幫助之前，仍需要進行大量嚴格的測試。金指出：“這樣的事情有極大的好處，但也有很多風(fēng)險。”因為它會改變癌癥的診斷方式。

Niels Olson從關(guān)島返回，于2020年開始在DIU工作，成為DIU的首席醫(yī)療官。他也被列為該論文的作者。他說，其他三種模型，即宮頸癌、前列腺癌和有絲分裂，尚未在DIU進行獨立評估。

國防部DIU（國防創(chuàng)新部門）首席醫(yī)療官Niels Olson博士在使用增強現(xiàn)實顯微鏡

ARM的研究正在進行之中，DIU還在征求Mitre公司和退伍軍人事務(wù)部衛(wèi)生保健系統(tǒng)的反饋，還有很多工作要做。但由于已經(jīng)驗證了最初的概念，DIU開始考慮如何擴大技術(shù)規(guī)模并與監(jiān)管機構(gòu)合作。

DIU與谷歌和Jenoptik談判達成協(xié)議，允許該技術(shù)通過軍事和商業(yè)渠道分發(fā)。DIU希望在今年秋天的某個時候，通過負責(zé)政府采購的美國總務(wù)管理局的網(wǎng)站，向所有政府用戶推出ARM。

西雅圖退伍軍人醫(yī)院的Zafar醫(yī)生表示，ARM首先肯定會幫到病理學(xué)家，但公眾最終將從這項技術(shù)中受益最大。ARM的準確性、速度和成本效益都將有助于更好的診斷和治療。

改變與期待

增強現(xiàn)實顯微鏡通過提供實時視覺增強，以協(xié)助病理學(xué)家進行關(guān)鍵性工作，有可能徹底改變癌癥檢測和診斷的方式。

谷歌致力于加強現(xiàn)有的醫(yī)療保健基礎(chǔ)設(shè)施，同時探索增強現(xiàn)實加持人工智能的無限可能性，突顯了它在塑造醫(yī)療保健和技術(shù)未來方面的重要作用。

我們期待ARM早日正式投入使用，同時期待更多科技企業(yè)在醫(yī)療領(lǐng)域做出更多突破性的創(chuàng)新，以造福人類。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。