在企業(yè)中使用人工智能解決方案的挑戰(zhàn)之一，是人工智能通常運行在所謂的黑匣子情況下。往往人工智能應(yīng)用采用神經(jīng)網(wǎng)絡(luò)，使用算法產(chǎn)生結(jié)果，其復(fù)雜程度只有計算機可以理解。在其他情況下，人工智能廠商不會透露他們的人工智能是如何工作的。在任何一種情況下，當(dāng)傳統(tǒng)人工智能生成決策時，人類用戶是不知道這個決策是如何得來的。
這個黑匣子可能是一個很大的障礙。即使計算機正在處理信息，并且提出建議，計算機也沒有最終決定權(quán)。這種責(zé)任落在人類決策者身上，人類決策者應(yīng)該對任何負(fù)面后果負(fù)責(zé)。在許多當(dāng)前的人工智能用例中，這不是一個主要問題，因為“錯誤”決策的潛在影響可能非常低。
然而，隨著人工智能應(yīng)用的擴展，計算機制定的決策可能涉及數(shù)百萬美元——甚至是關(guān)系到人類的健康和安全。在高度監(jiān)管、高風(fēng)險／高價值的行業(yè)中，信任計算機的決策而不了解計算機給出建議可能存在的潛在風(fēng)險根源，你就可能面臨著極大的風(fēng)險。這些企業(yè)越來越需要一種可解釋的人工智能（XAI）。
人工智能領(lǐng)域已經(jīng)注意到了這個問題?？山忉尩?a href="http://worldfootballweekly.com/AI_1.html" target="_blank" class="keylink">AI曾經(jīng)是2017年神經(jīng)信息處理系統(tǒng)（NIPS）研討會的核心主題，而且DARPA也已經(jīng)投資了一個探索可解釋AI的項目。
超越黑匣子：認(rèn)知AI
認(rèn)知的、生物啟發(fā)的AI解決方案采用了類似人類推理和解決問題的方式，讓用戶可以看到黑匣子內(nèi)部的情況。與傳統(tǒng)的AI方法相比，認(rèn)知AI解決方案在數(shù)字?jǐn)?shù)據(jù)處理技術(shù)（如機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)）之上使用符號邏輯來獲得知識。
常規(guī)AI使用的神經(jīng)網(wǎng)絡(luò)必須接受數(shù)據(jù)的訓(xùn)練，但不必像人類那樣進行理解。神經(jīng)網(wǎng)絡(luò)將數(shù)據(jù)視為一系列數(shù)字，根據(jù)他們的訓(xùn)練方式標(biāo)記這些數(shù)字，并使用模式識別來解決問題。當(dāng)神經(jīng)網(wǎng)絡(luò)得到數(shù)據(jù)的時候，它就會詢問自己之前是否已經(jīng)看過這些數(shù)據(jù)，如果是的話，就會詢問之前是如何標(biāo)記這些數(shù)據(jù)的。
相反，認(rèn)知AI是基于概念的。我們可以嚴(yán)格的關(guān)系級別來描述概念，或者可以添加允許AI自我解釋的自然語言組件。認(rèn)知AI會對自己說：“我受過訓(xùn)練才能理解這類問題。你向我展示了一系列功能，所以我需要操縱那些與我接受過的訓(xùn)練相關(guān)的功能?！?/p>
認(rèn)知系統(tǒng)不會取代神經(jīng)網(wǎng)絡(luò)，但確實解釋了神經(jīng)網(wǎng)絡(luò)的輸出并提供了敘述性的注釋。認(rèn)知AI所做出的決策是在清晰的審查跟蹤中提供出來的，人們可以理解這些決策，并查詢到更多的細(xì)節(jié)。這些審查線索解釋了AI給出建議背后的原因，以及證據(jù)、風(fēng)險、信心和不確定性。
自上而下的可解釋性
可解釋性取決于誰需要解釋，對不同的人可能意味著不同的內(nèi)容。但是一般來說，如果風(fēng)險很高的話，則需要更多的可解釋性。解釋可以是非常詳細(xì)的，顯示用于推導(dǎo)答案的各個數(shù)據(jù)和決策點?？山忉屝赃€可以是為最終用戶編寫摘要報告的系統(tǒng)。強大的認(rèn)知AI系統(tǒng)可以根據(jù)查看信息的人員，以及信息的使用方式，自動調(diào)整解釋的深度和細(xì)節(jié)。
在大多數(shù)情況下，人類可視化決策過程的最簡單方法是使用決策樹，樹的頂部包含最少量的信息，底部包含最多的信息。考慮到這一點，可解釋性通?？梢苑譃樽陨隙禄蜃韵露?。
自上而下的方法適用于對細(xì)節(jié)不感興趣的最終用戶；他們只想知道答案是否正確。認(rèn)知AI可以預(yù)測計算機在當(dāng)前條件下會生成怎樣的預(yù)測。然后，技術(shù)用戶可以查看詳細(xì)信息，確定問題的原因，然后將其交給工程師進行修復(fù)。自下而上的方法對于那些必須診斷和解決問題的工程師來說很有用。這些用戶可以查詢認(rèn)知AI，一直到?jīng)Q策樹的底部，并查看在頂部解釋AI結(jié)論的詳細(xì)信息。
可解釋的AI是關(guān)于人的
可解釋的人工智能始于人類。人工智能工程師可以與不同領(lǐng)域的專家展開合作，了解他們所在的領(lǐng)域，從算法／過程／探索角度研究他們的工作。工程師學(xué)到的東西被編碼成一個知識庫，讓認(rèn)知AI能夠驗證其建議，并以人類可以理解的方式解釋它們得出的推理結(jié)果。
認(rèn)知AI是面向未來的。盡管政府對人工智能的監(jiān)管速度緩慢，但立法機構(gòu)正在迎頭趕上。歐盟從去年5月開始實施通用數(shù)據(jù)保護法規(guī)（GDPR），它賦予了消費者在做出自動決策時的知情權(quán)，解釋這些決定的權(quán)利，以及徹底選擇退出自動決策的權(quán)利?，F(xiàn)在采用可解釋AI的企業(yè)將為未來的法規(guī)遵從要求做好準(zhǔn)備。
AI不應(yīng)取代人類決策，它應(yīng)該幫助人類做出更好的決策。如果人們不相信人工智能系統(tǒng)的決策能力，這些系統(tǒng)就永遠(yuǎn)不會得到廣泛采用。為了讓人類信任AI，系統(tǒng)不能將所有秘密都鎖定在黑匣子里，XAI提供了這種解釋。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
