過(guò)度吹捧AI在醫(yī)療領(lǐng)域的功效忽視了醫(yī)療系統(tǒng)的現(xiàn)實(shí)問(wèn)題。AI的使用不僅不能解決醫(yī)療數(shù)據(jù)缺失和偏見(jiàn)問(wèn)題，反而可能放大現(xiàn)有歧視。
人工智能在醫(yī)學(xué)領(lǐng)域取得了顯著進(jìn)展，例如通過(guò)視網(wǎng)膜圖像檢測(cè)帕金森病、識(shí)別潛在藥物候選物以及預(yù)測(cè)住院患者的再入院風(fēng)險(xiǎn)。盡管這些進(jìn)步令人興奮，但我對(duì)人工智能對(duì)患者的實(shí)際影響持謹(jǐn)慎態(tài)度。
我最近觀看了一場(chǎng)深夜脫口秀，懷疑論者和狂熱分子辯論人工智能安全問(wèn)題。盡管他們觀點(diǎn)相左，但有一點(diǎn)所有人都同意：“人工智能將治愈癌癥，”一位嘉賓宣稱(chēng)，其他人也自信地表示贊同。這種集體樂(lè)觀讓我覺(jué)得過(guò)于理想主義，并且忽視了醫(yī)療保健的現(xiàn)實(shí)問(wèn)題。
我對(duì)醫(yī)療領(lǐng)域人工智能的保留源于兩個(gè)核心問(wèn)題：首先，醫(yī)療體系經(jīng)常忽視患者的觀點(diǎn)，這本質(zhì)上限制了我們對(duì)醫(yī)療狀況的理解。其次，人工智能被用于不成比例地使特權(quán)階層受益，同時(shí)加劇不平等現(xiàn)象。在許多情況下，“人工智能將治愈癌癥”之類(lèi)的說(shuō)法更多地只是膚淺的營(yíng)銷(xiāo)口號(hào)。要理解原因，首先需要了解人工智能的使用方式以及醫(yī)療體系的運(yùn)作方式。
如何使用自動(dòng)化決策
涉及人工智能的自動(dòng)化計(jì)算機(jī)系統(tǒng)越來(lái)越多地被用于做出影響人們生活的重大決策，例如決定誰(shuí)可以獲得工作、住房或醫(yī)療保健。在許多國(guó)家和各種系統(tǒng)中都發(fā)現(xiàn)了令人不安的模式：通常沒(méi)有辦法發(fā)現(xiàn)或糾正錯(cuò)誤，而且所有這一切的目標(biāo)往往都是通過(guò)拒絕窮人獲得生存所需的資源來(lái)增加企業(yè)和政府的收入。
法國(guó)的一位女士因計(jì)算機(jī)程序而減少了食品福利，現(xiàn)在已經(jīng)無(wú)法負(fù)擔(dān)足夠的飲食。她和程序員交談，對(duì)方說(shuō)這是計(jì)算機(jī)程序錯(cuò)誤造成的，但無(wú)法更改。她的食品福利沒(méi)有恢復(fù)。該系統(tǒng)的設(shè)計(jì)使得計(jì)算機(jī)總是被認(rèn)為是正確的，即使人類(lèi)認(rèn)識(shí)到這是一個(gè)錯(cuò)誤。這位女士并不是唯一的一個(gè)例子；她是因這些錯(cuò)誤而挨餓的 6 萬(wàn)人之一。
澳大利亞的一名男子被告知他領(lǐng)取了過(guò)多的福利金，現(xiàn)在欠政府債務(wù)。這筆債務(wù)是一個(gè)錯(cuò)誤，是計(jì)算機(jī)器人債務(wù)計(jì)劃 (RoboDebt) 中故意錯(cuò)誤計(jì)算的一部分。然而，該男子無(wú)法提出異議。他心灰意冷，最終自殺身亡。這不是偶發(fā)事件。后來(lái)發(fā)現(xiàn)，澳大利亞政府錯(cuò)誤地為數(shù)十萬(wàn)人創(chuàng)造了債務(wù)。他們用一個(gè)有缺陷的計(jì)算系統(tǒng)讓窮人背負(fù)債務(wù)，大規(guī)模地有效地毀掉他們的生活。政府將每周將其歸類(lèi)為債務(wù)窮人的數(shù)量增加了 50 倍，比實(shí)施 RoboDebt 之前還要多。
美國(guó)的一位患有腦癱的女士需要一名護(hù)理人員幫助她在早上起床、吃東西以及完成其他基本任務(wù)。由于計(jì)算機(jī)程序錯(cuò)誤，她的護(hù)理服務(wù)被大幅削減。她沒(méi)有得到任何解釋和補(bǔ)救措施，她的生活質(zhì)量急劇下降。只有經(jīng)過(guò)漫長(zhǎng)的訴訟，才最終揭露許多患有腦癱的人由于計(jì)算機(jī)錯(cuò)誤而錯(cuò)誤地失去了護(hù)理。
自動(dòng)化決策中的模式
這些例子總是遵循相同的模式。喬治敦大學(xué)法學(xué)院隱私和技術(shù)中心創(chuàng)始主任 Alvaro Bedoya 教授寫(xiě)道：“歷史上，監(jiān)視一直被用來(lái)對(duì)付那些被認(rèn)為是‘劣等’的人，比如窮人、有色人種、移民和異端者。它被用來(lái)阻止邊緣群體獲得權(quán)力?！?在決策系統(tǒng)中，技術(shù)也扮演著同樣的角色。
許多自動(dòng)化決策系統(tǒng)的目標(biāo)是增加政府和私營(yíng)公司的收入。當(dāng)將其應(yīng)用于衛(wèi)生和醫(yī)療領(lǐng)域時(shí)，通常會(huì)通過(guò)拒絕窮人獲得食物或醫(yī)療護(hù)理來(lái)實(shí)現(xiàn)這一目標(biāo)。人們通常比人類(lèi)更信任計(jì)算機(jī)的準(zhǔn)確性，這種偏見(jiàn)稱(chēng)為自動(dòng)化偏見(jiàn)。一項(xiàng)針對(duì) 74 項(xiàng)研究的系統(tǒng)性審查發(fā)現(xiàn)，自動(dòng)化偏見(jiàn)存在于包括醫(yī)療保健在內(nèi)的多個(gè)領(lǐng)域，并且會(huì)產(chǎn)生持續(xù)的影響。這種偏見(jiàn)可能會(huì)使人們更難識(shí)別自動(dòng)化決策中的錯(cuò)誤。此外，實(shí)施識(shí)別和糾正錯(cuò)誤的機(jī)制通常被視為不必要的支出。
在上述所有案例中，受影響最嚴(yán)重的人(那些失去獲得所需食物或醫(yī)療護(hù)理的機(jī)會(huì)，或被不公正地背負(fù)債務(wù)的人)最早認(rèn)識(shí)到系統(tǒng)中的錯(cuò)誤。然而，這些系統(tǒng)沒(méi)有建立任何識(shí)別錯(cuò)誤、允許受影響者參與、或?yàn)槭艿絺φ咛峁┭a(bǔ)救措施的機(jī)制。不幸的是，這種情況也可能發(fā)生在醫(yī)學(xué)領(lǐng)域。
醫(yī)療系統(tǒng)如何運(yùn)作
即使一個(gè)能夠更準(zhǔn)確讀取 MRI 的 AI 算法也無(wú)法幫助神經(jīng)學(xué)家 Ilene Ruhoy 博士在她患有 7 厘米腦瘤時(shí)得到及時(shí)診斷。她治療的關(guān)鍵障礙是讓其他神經(jīng)學(xué)家相信她的癥狀，甚至首先給她安排 MRI 檢查。Ruhoy 博士回憶說(shuō)：“他們告訴我，我知道得太多了，我工作太努力了，我壓力很大，我很焦慮。” 最終，在她癥狀進(jìn)一步惡化后，她得以接受 MRI 檢查，并緊急接受了 7 小時(shí)的手術(shù)。由于診斷延遲，她的腫瘤長(zhǎng)得太大，無(wú)法完全切除，導(dǎo)致腫瘤在她第一次手術(shù)后又長(zhǎng)回來(lái)了。
Ruhoy 博士的經(jīng)歷很遺憾，但卻很常見(jiàn)。雖然 Ruhoy 博士住在美國(guó)，但英國(guó)的一項(xiàng)研究發(fā)現(xiàn)，幾乎三分之一的腦瘤患者在得到準(zhǔn)確診斷之前必須至少去看 5 次醫(yī)生。同樣，MRI 讀取 AI 無(wú)法幫助那些醫(yī)生一開(kāi)始就不愿意給患者安排 MRI 檢查的患者。平均而言，狼瘡患者需要 7 年才能得到正確的診斷，三分之一的患者最初被誤診，醫(yī)生錯(cuò)誤地聲稱(chēng)他們的癥狀是心理健康問(wèn)題引起的。即使是醫(yī)護(hù)人員也常常驚訝于自己一旦成為患者后，會(huì)被多么快地忽視和不信任。例如，對(duì)十幾名醫(yī)護(hù)人員的采訪顯示，他們患上長(zhǎng)新冠后，他們的同事開(kāi)始不再尊重他們的專(zhuān)業(yè)知識(shí)。
這種對(duì)患者經(jīng)驗(yàn)和專(zhuān)業(yè)知識(shí)的忽視嚴(yán)重限制了醫(yī)學(xué)知識(shí)。它導(dǎo)致診斷延遲、誤診、數(shù)據(jù)缺失和數(shù)據(jù)錯(cuò)誤。人工智能擅長(zhǎng)發(fā)現(xiàn)現(xiàn)有數(shù)據(jù)中的模式。但是，人工智能無(wú)法解決數(shù)據(jù)缺失和錯(cuò)誤的根本問(wèn)題。此外，對(duì)于人們不太了解的疾病，缺乏醫(yī)學(xué)數(shù)據(jù)存在一個(gè)負(fù)反饋循環(huán)：醫(yī)生不相信患者，并將他們視為焦慮或抱怨過(guò)多，無(wú)法收集有助于闡明疾病的數(shù)據(jù)。
錯(cuò)誤的數(shù)據(jù)
更糟糕的是，研究問(wèn)題經(jīng)常被重新定義為適合不足的數(shù)據(jù)來(lái)源。分析電子健康記錄數(shù)據(jù)比尋找新的因果機(jī)制更便宜。醫(yī)學(xué)數(shù)據(jù)通常受到計(jì)費(fèi)代碼類(lèi)別、醫(yī)生從患者病歷中選擇記錄的內(nèi)容以及所訂購(gòu)的檢查的限制。數(shù)據(jù)本身是不完整的。
醫(yī)療偏見(jiàn)普遍存在，研究表明，對(duì)于相同的病情，醫(yī)生給黑人患者的止痛藥比給白人患者的要少。平均而言，女性在獲得相同病情的準(zhǔn)確診斷方面需要等待數(shù)月或數(shù)年，比男性更長(zhǎng)。這會(huì)影響收集的數(shù)據(jù)以及將用于人工智能的數(shù)據(jù)。多項(xiàng)研究表明，人工智能不僅會(huì)編碼現(xiàn)有的偏差，還會(huì)放大它們的程度。從本質(zhì)上講，這些偏見(jiàn)往往源于不相信邊緣群體對(duì)他們經(jīng)歷的講述：不相信他們所說(shuō)的疼痛感，也不相信他們報(bào)告癥狀的方式。
在更深層次上，忽視患者的專(zhuān)業(yè)知識(shí)限制了假設(shè)的制定，并可能減緩研究進(jìn)展。這些問(wèn)題會(huì)傳播到人工智能，除非研究人員尋求方法納入有意義的患者參與。這些問(wèn)題并非任何一個(gè)國(guó)家或任何一種醫(yī)療系統(tǒng)的特有現(xiàn)象。美國(guó)、英國(guó)、澳大利亞和加拿大(我最為熟悉的四個(gè)國(guó)家)的患者都有充分的記錄表明他們經(jīng)歷了這些問(wèn)題。
雖然人工智能為醫(yī)學(xué)帶來(lái)了變革的可能性，但我們必須對(duì)風(fēng)險(xiǎn)和機(jī)遇保持清醒的認(rèn)識(shí)。許多關(guān)于醫(yī)學(xué)人工智能的演講給人的印象是，阻礙醫(yī)學(xué)發(fā)展的唯一因素是知識(shí)缺乏。這些討論經(jīng)常忽視影響醫(yī)療保健的許多其他因素，包括系統(tǒng)性忽視患者對(duì)其自身經(jīng)歷的了解。忽視這些現(xiàn)實(shí)會(huì)導(dǎo)致人們?yōu)橐粋€(gè)并不存在的理想化醫(yī)療系統(tǒng)設(shè)計(jì)人工智能。已經(jīng)有一個(gè)明確的模式，即人工智能被用來(lái)集中權(quán)力和傷害邊緣群體。在醫(yī)學(xué)領(lǐng)域，這可能導(dǎo)致患者更加失去權(quán)力和聲音，而他們現(xiàn)在已經(jīng)被剝奪了權(quán)力，經(jīng)常被忽視。
在我看來(lái)，一些最有希望的研究領(lǐng)域是參與式機(jī)器學(xué)習(xí)和患者主導(dǎo)的醫(yī)學(xué)研究。ICML 上的“參與式機(jī)器學(xué)習(xí)方法”研討會(huì)收錄了一系列強(qiáng)有力的演講和論文，內(nèi)容涉及設(shè)計(jì)更具參與性的系統(tǒng)的必要性和機(jī)會(huì)，讓受影響的人群參與其中。人工智能倫理學(xué)工作需要圍繞可爭(zhēng)議性(建立參與者挑戰(zhàn)輸出的方式)和可行的補(bǔ)救措施展開(kāi)。對(duì)于醫(yī)學(xué)研究而言，更廣泛地說(shuō)，以患者為中心的研究所 (專(zhuān)注于長(zhǎng)新冠) 是一個(gè)令人鼓舞的模式。我希望看到醫(yī)學(xué)人工智能領(lǐng)域更多地以患者專(zhuān)業(yè)知識(shí)為中心。
本文譯自Rachel Thomas，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
