7月4日消息（趙婷婷）7月4日，2024世界人工智能大會暨人工智能全球治理高級別會議-全體會議在上海世博中心舉辦。會上，上海人工智能實驗室主任、首席科學(xué)家、清華大學(xué)惠妍講席教授周伯文發(fā)表主題演講，分享了關(guān)于人工智能技術(shù)發(fā)展和安全治理的見解。他提出一個技術(shù)主張——探索人工智能的45度平衡率。

當(dāng)前，以大模型為代表的生成式人工智能快速發(fā)展，但是人力不斷提升，模型應(yīng)用存在一系列潛在風(fēng)險顧慮。去年5月份，數(shù)百名AI科學(xué)家共同簽署文件表達了對AI風(fēng)險的擔(dān)憂，呼吁、防御人工智能風(fēng)險應(yīng)該與流行病、核戰(zhàn)爭與其他大規(guī)模風(fēng)險一樣成為全球優(yōu)先議題。

周伯文指出，其根本原因是目前AI發(fā)展是失衡的。目前AI技術(shù)能力提升，Transformer帶來的模型基礎(chǔ)下，大數(shù)據(jù)、大參數(shù)量的定理呈指數(shù)級增長；而安全標(biāo)識、安全賦能與評估測量等，呈現(xiàn)離散化、碎片化且后置的特性。

最近的一些技術(shù)兼顧了性能和安全性，人類反饋強化學(xué)習(xí)、超級對齊等，這些方法幫助將人類偏好傳遞給大模型，涌現(xiàn)出了ChatGPT、GPT4，以及上海書生大模型等。雖然瞄準(zhǔn)安全提升，往往還是性能優(yōu)先。

所以，總體上AI模型安全的提升還遠遠落后于性能，這種失衡的背后是兩者投入上的巨大差異，安全度投入遠落后于AI投入，“目前世界上只有1%對齊或者安全優(yōu)先考量。”

“AI要確保安全可控，統(tǒng)籌發(fā)展以安全。所以毫無疑問，要避免現(xiàn)在這類AI發(fā)展，真正需要追求的是AGI（通用人工智能）。AGI需要兼顧安全與性能，所以需要找到AI安全優(yōu)先，但又能保證AI能力長期發(fā)展的技術(shù)體系，把這樣一種技術(shù)思想體系叫做‘AI45度平衡率’?！?/p>

“AI45度平衡率”是指長期來看，要大體上沿著45度安全與性能平衡發(fā)展。平衡是指短期內(nèi)可以有波動，但不能長期低于45度，也不能長期高于45度，這樣會阻礙技術(shù)和產(chǎn)業(yè)應(yīng)有發(fā)展。45度平衡的技術(shù)體系要求強技術(shù)驅(qū)動、全流程優(yōu)化、多主體參與，以及敏捷治理。

周伯文提到，實現(xiàn)“AI45度平衡率”，也許有很多技術(shù)路徑。而上海探索一條以因果為核心的路徑，并將其命名為“可信AGI‘因果之梯’”。其分為泛對齊、可干預(yù)、能反思三個遞進階段。

泛對齊主要包含當(dāng)前最前沿人類偏好對齊技術(shù)，但需要注意的是。這些安全對齊技術(shù)目前僅依賴于其相關(guān)性，而不是真正的因果關(guān)系，可能導(dǎo)致錯誤的推理和潛在的危險；

可干預(yù)包含AI系統(tǒng)進行動態(tài)干預(yù)，探究其因果安全技術(shù)，包括人在回路，機器可解釋性和剛剛最近提出的對抗演練?？梢酝ㄟ^提高可解釋性和泛化性來提升安全性，同時也提升AI的能力；

能反思要求AI系統(tǒng)不僅追求高效的執(zhí)行任務(wù)，還能夠?qū)徱曌陨硇袨榈耐庠谟绊懞蜐撛陲L(fēng)險，從而確保性能同時保證安全和道德邊界不被突破，這階段技術(shù)包括基于價值的訓(xùn)練、因果可解釋性、推理等。

周伯文指出，目前從全球來看，AI安全和性能技術(shù)發(fā)展主要停留在第一階段，部分在嘗試第二階段，真正實現(xiàn)AI安全與性能平衡必須完善第二階段，并勇于攀登第三階段。沿著“可信AGI‘因果之梯’”乘勢而上，希望能夠?qū)崿F(xiàn)AI卓越與安全完美融合，并且深度理解AI內(nèi)在機理和內(nèi)在過程，從而有效開發(fā)革命性技術(shù)。

“我們堅信AI安全性也是全球性公共福祉，需要國際社會共同努力和合作。我們要與大家攜手推進‘AI45度發(fā)展’，共享AI安全技術(shù)，加強全球AI安全人才的交流與合作，平衡AI安全與能力的投入，共同構(gòu)建開放、安全的通用人工智能創(chuàng)新生態(tài)和人才發(fā)展環(huán)境?！彼詈笳f道。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。