對一些人來說，“黑箱”這個詞會讓人想起飛機上有價值的記錄設備，如果發(fā)生不可思議的事情，這些記錄設備將對事后分析非常有價值。對于其他人來說，它則喚起了小型、裝備簡陋的影院的印象。但黑箱也是人工智能世界中一個重要的術語。
AI黑箱指的是AI系統(tǒng)的內(nèi)部工作方式對用戶是不可見的。你可以輸入數(shù)據(jù)并得到輸出結(jié)果，但你無法檢查系統(tǒng)的代碼或產(chǎn)生輸出結(jié)果的邏輯。
機器學習是人工智能的主要子集。它支持ChatGPT和DALL-E2等生成型AI系統(tǒng)。機器學習有三個組成部分：算法或一組算法、訓練數(shù)據(jù)和模型。算法是一組程序。在機器學習中，算法經(jīng)過大量的示例訓練后學習識別模式——訓練數(shù)據(jù)。一旦機器學習算法被訓練，結(jié)果就是一個機器學習模型。這就是人們使用的東西。
例如，可以設計一個機器學習算法來識別圖像中的模式，訓練數(shù)據(jù)可以是狗的圖像。得到的機器學習模型將是一個狗識別器。你可以輸入一張圖片并得到輸出結(jié)果，即圖像中是否有狗以及狗在圖像中的位置。
機器學習系統(tǒng)的任何一個組成部分都可以被隱藏，或者被放在黑箱中。通常情況下，算法是公開的，這使得將其放入黑箱的效果較小。因此，為了保護其知識產(chǎn)權，AI開發(fā)人員經(jīng)常將模型放在黑箱中。另一種軟件開發(fā)人員采取的方法是遮蔽用于訓練模型的數(shù)據(jù)，即將訓練數(shù)據(jù)放在黑箱中。
黑箱的相反面有時被稱為玻璃匣子。AI玻璃匣子是一個系統(tǒng)，其算法、訓練數(shù)據(jù)和模型都可以供任何人查看。但研究人員有時將這些方面的某些方面描述為黑箱，這是因為研究人員并不完全了解機器學習算法，特別是深度學習算法是如何操作的?？山忉屝訟I領域正在努力開發(fā)算法，雖然不一定是玻璃匣子，但可以更好地被人類理解。
為什么AI黑箱很重要
在許多情況下，對于黑箱機器學習算法和模型，人們有充足的理由持謹慎態(tài)度。假設一個機器學習模型對你的健康做出了診斷。你希望這個模型是黑箱還是玻璃匣子？那么，如果醫(yī)生開具了你的治療方案，她想知道這個模型是如何得出決策的。
如果一個機器學習模型決定你是否有資格從銀行獲得商業(yè)貸款，并拒絕了你的申請呢？你不想知道原因嗎？如果你知道了，你就可以更有效地上訴，或者改變你的情況以增加下一次獲得貸款的機會。
黑箱對軟件系統(tǒng)安全也有重要影響。多年來，計算機領域的許多人認為將軟件放在黑箱中可以防止黑客檢查，因此會更安全。但這一假設往往被證明是錯誤的，因為黑客可以反向工程軟件，即通過密切觀察軟件的工作方式來構(gòu)建一個仿制品，并發(fā)現(xiàn)可以利用的漏洞。
如果軟件是玻璃匣子，那么軟件測試人員和有良好意圖的黑客可以檢查它，并告知創(chuàng)建者存在的弱點，從而最大程度地減少網(wǎng)絡攻擊。
本文譯自 HowStuffWorks，由 bali 編輯發(fā)布。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
