科技云報道原創(chuàng)。

2023年，生成式AI技術(shù)破繭成蝶，引發(fā)了一場全球范圍的數(shù)字革命。

從最初的聊天、下棋開始，到醫(yī)療、金融、制造、教育、科研等，生成式AI表現(xiàn)出了強大的創(chuàng)造力和無限潛力。據(jù)不完全統(tǒng)計，截至今年8月底，全國已經(jīng)發(fā)布了逾百個行業(yè)AI大模型。

但與此伴生的對于數(shù)據(jù)保護(hù)、合規(guī)風(fēng)險及隱私泄露的擔(dān)憂，也讓業(yè)界格外關(guān)注AI大模型部署過程中將帶來的安全風(fēng)險。

同時，生成式AI又是一把雙刃劍，它既可以幫助企業(yè)解決實際問題，又面臨著數(shù)據(jù)泄露等巨大風(fēng)險。

今年年初，某大型全球化企業(yè)就在大模型訓(xùn)練過程中，泄露了企業(yè)數(shù)據(jù)庫中的機密信息，給企業(yè)帶來了巨大的負(fù)面影響。而此類事件依然層出不窮。

對于生成式AI帶來的安全挑戰(zhàn)，部分AI企業(yè)認(rèn)為，生成式AI已經(jīng)展現(xiàn)前所未有的智能化水平，由此將占據(jù)企業(yè)的IT關(guān)鍵位置，而就此重要性帶來的受攻擊頻度，也將使得大模型成為云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)之后的一個全新的安全戰(zhàn)場。

與此同時，生成式AI技術(shù)也將會在多個方面幫助提升網(wǎng)絡(luò)安全運維效率，在更深層次改變網(wǎng)絡(luò)安全格局的基礎(chǔ)。

生成式AI的主流企業(yè)用例正在出現(xiàn)

生成式AI是一種利用深度學(xué)習(xí)技術(shù)生成高質(zhì)量內(nèi)容的人工智能，其基于深度學(xué)習(xí)技術(shù)的生成式算法、生成式函數(shù)和無模板調(diào)用。

在計算機視覺、自然語言處理、機器翻譯等領(lǐng)域具有廣泛的應(yīng)用。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展和應(yīng)用場景的擴大，生成式AI將在未來獲得更廣泛的應(yīng)用。目前，有三種企業(yè)用例正在成為行業(yè)主流。

首先，在客戶支持方面，生成式AI包括GPT和其他大型學(xué)習(xí)模型，正在將對話式聊天機器人的能力轉(zhuǎn)變?yōu)橐环N感覺自然、更加準(zhǔn)確、能更好感知和應(yīng)對語氣和情緒的能力。

因此，產(chǎn)品支持聊天機器人中的對話式人工智能是我們在業(yè)界看到的第一批企業(yè)用例之一。這些聊天機器人可以搜索和查詢現(xiàn)有的內(nèi)部信息，并以類似人類的方式進(jìn)行交流，為客戶回答問題和解決常見問題。

對于已經(jīng)使用某種形式的對話式人工智能的公司來說，GPT提高了響應(yīng)質(zhì)量和客戶滿意度。而對于希望將其人工呼叫中心轉(zhuǎn)換為反應(yīng)更迅速、永遠(yuǎn)在線且更有效的公司來說，GPT成為了一個極具吸引力的選擇。

第二，圍繞商業(yè)洞察力，數(shù)據(jù)科學(xué)最大的挑戰(zhàn)之一是將商業(yè)用戶與數(shù)據(jù)科學(xué)家分開。

前者最了解業(yè)務(wù)的細(xì)微差別和需要回答的問題，但只有后者才能真正用計算機語言編程來獲得這些問題的答案。生成式AI現(xiàn)在允許商業(yè)用戶用自然語言提出問題。

AI可以將這些問題轉(zhuǎn)換為SQL查詢，針對內(nèi)部數(shù)據(jù)庫運行，并以結(jié)構(gòu)化的敘述方式返回答案，所有這些都在幾分鐘之內(nèi)。這里的優(yōu)勢不僅僅是效率，它是決策的速度和業(yè)務(wù)用戶更直接、更具交互性地詢問數(shù)據(jù)的能力。

第三，在編程自動化方面，大型語言模型在多種語言中具有很高的準(zhǔn)確性，包括計算機語言。

軟件開發(fā)人員編寫代碼和相關(guān)文檔的時間幾乎減少了50%。例如，微軟的Power Automate程序——一種機器人流程自動化的工具，現(xiàn)在可以使用自然語言編程，以更直觀和用戶友好的方式實現(xiàn)任務(wù)和工作流程的自動化。

這不僅比讓大型的程序員和測試人員團隊參與進(jìn)來更有效率，而且還減少了自動化啟動和運行的時間和迭代。

防范生成式AI風(fēng)險已成企業(yè)必修課

我們需要看到，生成式AI技術(shù)是把“雙刃劍”，其在推動社會進(jìn)步的同時，也有可能帶來技術(shù)、設(shè)計、算法以及數(shù)據(jù)等方面的安全風(fēng)險。因此，必須做好前瞻研究，建立健全保障人工智能健康發(fā)展的法律法規(guī)、制度體系、倫理道德，在重視防范風(fēng)險的同時，同步建立容錯、糾錯機制，努力實現(xiàn)規(guī)范與發(fā)展的動態(tài)平衡。

理解安全風(fēng)險的來源，首先需明了其運轉(zhuǎn)的特征和原理。生成式AI具有“大數(shù)據(jù)、大模型、大算力”三大技術(shù)特征，以及自然語言理解、知識工程方法、類腦交互決策等關(guān)鍵技術(shù)。

因此，這使得生成式人工智能具備社會價值、用戶使用、數(shù)據(jù)合規(guī)，數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量五大風(fēng)險，這些風(fēng)險在金融、醫(yī)療、教育、電商、傳媒等各領(lǐng)域和應(yīng)用場景都已有所體現(xiàn)。

年初以來，我國相關(guān)部門已推進(jìn)多項相關(guān)監(jiān)管法案落地。其中，4月11日，國家網(wǎng)信辦起草《生成式人工智能服務(wù)管理辦法（征求意見稿）》（以下簡稱《辦法》）并向社會公開征求意見。

該《辦法》聚焦隱私安全、技術(shù)濫用、知識產(chǎn)權(quán)和他人權(quán)益三大問題，為AIGC的發(fā)展建立了防護(hù)機制。

像任何新興技術(shù)一樣，生成式AI的最大挑戰(zhàn)之一是其相對不成熟。雖然生成式AI非常適合在個人使用中試驗聊天機器人，但它在主流企業(yè)應(yīng)用中仍處于早期。

部署它的組織不得不自己做很多繁重的工作，比如通過實驗找到最佳的使用案例，在不斷增加的、令人困惑的可用選項列表中進(jìn)行篩選（例如在OpenAI的ChatGPT服務(wù)與微軟Azure之間進(jìn)行選擇），或者將其整合到他們的業(yè)務(wù)流程中（通過將其充分整合到許多應(yīng)用工作流中）。

結(jié)果是，隨著技術(shù)的成熟，這其中的大部分都會消失，廠商會將更多技術(shù)以一種整合的方式納入到他們的核心產(chǎn)品中。

第二，生成式AI的主要缺陷之一是可能產(chǎn)出不正確但明顯令人信服的回答。由于GPT在自然語言處理方面取得了重大進(jìn)展，因此存在一個相當(dāng)大的風(fēng)險，即它提供的答復(fù)聽起來是正確的，但事實上是錯誤的。

在準(zhǔn)確性至關(guān)重要的行業(yè)，如醫(yī)療保健或金融服務(wù)，這是不允許發(fā)生的事情。企業(yè)必須仔細(xì)選擇正確的應(yīng)用領(lǐng)域，然后建立治理和監(jiān)督，以減輕這種風(fēng)險。

第三，企業(yè)需要注意設(shè)置和管理企業(yè)準(zhǔn)則，數(shù)據(jù)隱私以及維護(hù)受保護(hù)企業(yè)數(shù)據(jù)的機密性是企業(yè)成功的關(guān)鍵。因此，作為第一步，定義和設(shè)置適當(dāng)?shù)钠髽I(yè)準(zhǔn)則是至關(guān)重要的。

除了機密或個人身份識別或其他受保護(hù)數(shù)據(jù)丟失的風(fēng)險外，用專有數(shù)據(jù)訓(xùn)練公開可用的語言模型的額外風(fēng)險是，它可能導(dǎo)致知識產(chǎn)權(quán)的無意損失，特別是當(dāng)基于訓(xùn)練的結(jié)果被提供給其他競爭對手時。

要有健全的政策和框架很難，因為它們必須一方面平衡創(chuàng)新的需要，另一方面平衡生成式AI的相關(guān)風(fēng)險。

最后，在過度沉迷于被炒作的技術(shù)和專注于最高回報計劃之間找到適當(dāng)?shù)钠胶饪赡芫哂刑魬?zhàn)性。組織需要確保他們?yōu)樽罹o迫的計劃分配適當(dāng)?shù)馁Y本和資源。

另一方面，那些坐等技術(shù)成熟太久的組織，可能會失去AI在行業(yè)主流化的機會，落后于可能對他們的業(yè)務(wù)產(chǎn)生重大影響的最新技術(shù)，并降低他們的持久競爭優(yōu)勢。

治理思路回歸AI本源

在應(yīng)對生成式AI安全風(fēng)險的思路與策略上，AI技術(shù)本身具備的特性已經(jīng)受到業(yè)界重視。通過傳統(tǒng)的ICT網(wǎng)絡(luò)安全模式已無法適應(yīng)當(dāng)前生成式AI帶來的安全，而AI在逆向估算能力尤其是針對有些惡意軟件的反逆向工程能力，效果非常突出。

目前業(yè)內(nèi)普遍認(rèn)同，AI的服務(wù)能力估算已能達(dá)到從業(yè)技術(shù)人員四到五年的水平，而通過AI算力提升防御數(shù)字化水平，再加上作為輔助的自動化運營，這使得在應(yīng)對生成式AI風(fēng)險方面具有先天優(yōu)勢。

這一背景，也使得以安全大模型來治理生成式AI的風(fēng)險，成為行業(yè)共識。

這就需要從“場景牽引，技術(shù)驅(qū)動，生態(tài)協(xié)同”三個方面進(jìn)行建設(shè)，應(yīng)用AI實現(xiàn)安全行業(yè)工作范式重塑，通過大模型解決實戰(zhàn)態(tài)勢指揮調(diào)度、紅藍(lán)對抗輔助決策以及安全運營效能提升三大問題。

一方面，抓住生成式AI最根本的元素——數(shù)據(jù)和算法，以此為突破口，把控大數(shù)據(jù)源頭治理，提前布局和構(gòu)建系統(tǒng)性大數(shù)據(jù)防火墻，控制和防范數(shù)據(jù)泄密。

同時，應(yīng)及時啟動并優(yōu)化國家級自主研發(fā)數(shù)據(jù)庫系統(tǒng)和備份系統(tǒng)，抓緊布局和研發(fā)AI大數(shù)據(jù)控制系統(tǒng)、分級分層享用系統(tǒng)、網(wǎng)絡(luò)風(fēng)險防范系統(tǒng)以及由此產(chǎn)生的AI智能管控監(jiān)督架構(gòu)系統(tǒng)。

另一方面，采取多種舉措推動生成式AI的技術(shù)發(fā)展與治理。鼓勵生成式AI技術(shù)在各行業(yè)、各領(lǐng)域的創(chuàng)新應(yīng)用，探索優(yōu)化應(yīng)用場景，構(gòu)建應(yīng)用生態(tài)體系。

支持行業(yè)組織、企業(yè)、教育和科研機構(gòu)、公共文化機構(gòu)、有關(guān)專業(yè)機構(gòu)等在生成式AI技術(shù)創(chuàng)新、數(shù)據(jù)資源建設(shè)、轉(zhuǎn)化應(yīng)用、風(fēng)險防范等方面開展協(xié)作。推動生成式AI基礎(chǔ)設(shè)施和公共訓(xùn)練數(shù)據(jù)資源平臺建設(shè)。

促進(jìn)算力資源協(xié)同共享，提升算力資源利用效能。推動公共數(shù)據(jù)分類分級有序開放，擴展高質(zhì)量的公共訓(xùn)練數(shù)據(jù)資源。

如今，爭奪“數(shù)據(jù)主權(quán)”已經(jīng)成為全球數(shù)據(jù)安全發(fā)展新態(tài)勢，隨著各國紛紛出臺數(shù)據(jù)戰(zhàn)略，立法維護(hù)國家數(shù)據(jù)主權(quán)。

在此背景下，提升生成式AI的安全性將成為全球各國未來的產(chǎn)業(yè)重任之一，而我國安全企業(yè)已然邁出重要一步。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。