6月15日消息,在第六屆“北京智源大會(huì)”上,零一萬(wàn)物CEO、創(chuàng)新工場(chǎng)董事長(zhǎng)李開復(fù)博士,中國(guó)工程院院士、清華大學(xué)智能產(chǎn)業(yè)研究院(AIR)院長(zhǎng)張亞勤院士、智源研究院理事長(zhǎng)黃鐵軍教授,三位行業(yè)領(lǐng)袖就大模型的成功因素、面臨的挑戰(zhàn)、產(chǎn)業(yè)化場(chǎng)景等多個(gè)熱點(diǎn)話題展開了深入的討論。
以下為討論內(nèi)容部分摘錄:
一、什么原因使得大模型如此成功?
黃鐵軍:近期關(guān)于大模型的討論特別熱門,從剛才的報(bào)告大家也感受到了大模型的能量以及其在各領(lǐng)域的應(yīng)用潛力,可以說(shuō)大模型是至今為止人工智能發(fā)展最成功的一個(gè)技術(shù)方向。想請(qǐng)問(wèn)兩位,是什么原因使得大模型如此成功?還有哪些欠缺的地方需要進(jìn)一步發(fā)展?
李開復(fù):AI 2.0是有史以來(lái)最偉大的科技革命和平臺(tái)革命,大模型Scaling Law 的重要性在這個(gè)時(shí)代得以凸顯——人類能夠用更多計(jì)算和數(shù)據(jù)不斷增加大模型的智慧,這條被多方驗(yàn)證的路徑還在推進(jìn)中,還遠(yuǎn)沒有觸達(dá)天花板,這點(diǎn)也讓大家非常振奮。
第二,大模型的智慧來(lái)自于接近無(wú)損的壓縮,這點(diǎn)也非常重要。上世代的人工智能從業(yè)者很難想到今天會(huì)把壓縮和智能連接在一起。因?yàn)镾caling Law過(guò)程中不能盲目堆更多的GPU,所以需要有一個(gè)方法評(píng)估我們有沒有越做越好或者哪個(gè)方法做得更好。零一萬(wàn)物內(nèi)部有嚴(yán)謹(jǐn)?shù)姆椒ㄕ摚脡嚎s的理念去評(píng)估,讓以往漫無(wú)目的“煉丹”訓(xùn)模過(guò)程變得更系統(tǒng)也更有科學(xué)和數(shù)學(xué)根據(jù)。
大模型正面臨著一些挑戰(zhàn)。比方說(shuō),如果“僅僅用更多算力就能把它往前推動(dòng)”是主要方向的話,就會(huì)導(dǎo)致只有那些GPU資源豐富的公司和國(guó)家能夠在這方面勝出。但話說(shuō)回來(lái),我們已經(jīng)驗(yàn)證了,很多國(guó)內(nèi)大模型在部分案例里接近或者打平、或者偶爾超過(guò)美國(guó)的大模型。所以我認(rèn)為需要專注的是算法和工程創(chuàng)新一體化的推進(jìn),以及怎么以這種能力避免進(jìn)入“盲目堆算力推動(dòng)模型性能提升”的狀態(tài)。
當(dāng)然,目前大模型還直面許多挑戰(zhàn)。就像每個(gè)技術(shù)剛誕生都會(huì)有問(wèn)題,起初大模型也不知道最近一年發(fā)生了什么。還有記憶的問(wèn)題、窗口構(gòu)成的問(wèn)題、幻覺問(wèn)題等等,但我們可以看到的是,當(dāng)全球如此多聰明的大腦涌入這個(gè)領(lǐng)域后,大部分問(wèn)題不能說(shuō)被完美地解決,但是都在逐步被攻克的過(guò)程中,所以我對(duì)大模型的未來(lái)相當(dāng)樂觀。
張亞勤:我講“三個(gè)做對(duì)了”的和“三個(gè)需要改進(jìn)”的 。
“三個(gè)做對(duì)了”的點(diǎn)是,首先,規(guī)模定律Scaling Law。規(guī)模定律的實(shí)現(xiàn),主要得益于對(duì)海量數(shù)據(jù)的利用以及算力的顯著提升。再加上現(xiàn)在的Diffusion和Transformer架構(gòu)能夠高效地利用算力和數(shù)據(jù),使得“飛輪效應(yīng)”得以正循環(huán)。盡管有人質(zhì)疑Scaling Law在2到3年后是否仍然有效,但我個(gè)人認(rèn)為至少在未來(lái)5年里,它仍將是產(chǎn)業(yè)發(fā)展的主要方向。
其次是“Token-Based”統(tǒng)一表述方式。在大模型中,“Token”是一個(gè)基本元素。無(wú)論是文本、語(yǔ)音、圖像、視頻,還是自動(dòng)駕駛中的激光雷達(dá)信號(hào),甚至是生物領(lǐng)域的蛋白質(zhì)和細(xì)胞,最終都可以抽象為一個(gè)Token。Token之間的訓(xùn)練、學(xué)習(xí)和生成是核心環(huán)節(jié),這與我們大腦中的神經(jīng)元工作原理相似,無(wú)論執(zhí)行何種任務(wù),其基礎(chǔ)機(jī)制都是相同的。
最后是通用性。這與Token緊密相關(guān)。現(xiàn)在的通用性不僅體現(xiàn)在文本處理上,還擴(kuò)展到了多模態(tài)領(lǐng)域,甚至可以生成如蛋白質(zhì)等復(fù)雜結(jié)構(gòu)。此外,它在物理世界(如具身智能)和生物世界(如生物智能)中也有著廣泛的應(yīng)用前景。以上這三個(gè)是大模型做對(duì)的。
現(xiàn)階段主要問(wèn)題呢,第一個(gè)是效率較低。特別是大模型的計(jì)算效率低下問(wèn)題,與人類大腦的高效性形成了鮮明的對(duì)比。
人類大腦擁有860億個(gè)神經(jīng)元,每個(gè)神經(jīng)元又有數(shù)千個(gè)突觸連接,卻只需要20瓦的能量,重量還不到三斤;而GPT-4這個(gè)萬(wàn)億參數(shù)模型則需要巨大的算力和能源,與人腦相比相差1,000倍之多。
此外,人腦能夠根據(jù)不同的情境靈活調(diào)用不同區(qū)域的神經(jīng)元,而大模型卻每次輸入一個(gè)問(wèn)題都要調(diào)用和激活幾乎大量參數(shù)。
因此,如何借鑒人類大腦的計(jì)算方法,在降低計(jì)算耗能、提高效率方面進(jìn)行探索和創(chuàng)新,是一個(gè)值得關(guān)注的方向。
第二個(gè),大模型目前還未能真正理解物理世界,相關(guān)的推理能力、透明性以及開復(fù)剛才提到的幻覺等問(wèn)題都還在深入研究中。
有一個(gè)重要的問(wèn)題是,即使我們的大模型做得再好,它在生成式表述與對(duì)真實(shí)世界的描繪之間仍存在矛盾。因此,我們需要探索如何將生成式的概率大模型與現(xiàn)有的“第一性原理”或真實(shí)模型、知識(shí)圖譜相結(jié)合。
目前,雖然已經(jīng)有了一些嘗試,如采用RAG技術(shù)或進(jìn)行微調(diào),并取得了一定的進(jìn)展,但我認(rèn)為這些方法并非根本解決方案。我預(yù)測(cè),在未來(lái)五年內(nèi),將會(huì)有一個(gè)全新的架構(gòu)出現(xiàn),這個(gè)架構(gòu)有望取代目前的Transformer和Diffusion模型。
第三個(gè)欠缺的地方是邊界問(wèn)題?,F(xiàn)在大模型無(wú)法知道“我不知道什么”,這是目前要解決的問(wèn)題,是它的邊界效應(yīng)。
黃鐵軍:謝謝亞勤的“三個(gè)做對(duì)了”和“三個(gè)不足”。
剛才開復(fù)老師沒講,我想再追加問(wèn)一下,有些人認(rèn)為大模型是一個(gè)實(shí)踐、是一個(gè)工程,是經(jīng)驗(yàn)主義做的東西,沒有理論基礎(chǔ),說(shuō)得不好聽叫“不靠譜”,不知道你怎么看這個(gè)問(wèn)題?
李開復(fù):我覺得科學(xué)和工程缺一不可。如果只做工程,不了解“第一性原理”,沒有數(shù)學(xué)的根據(jù)、沒法評(píng)估不同路徑的效果,考慮到高昂的算力成本,這樣的摸索肯定是做不出一個(gè)好模型的。但是如果只是在實(shí)驗(yàn)室里雕花,期待有工程人才把自己的論文做成產(chǎn)品,這也是不行的。
零一萬(wàn)物的經(jīng)驗(yàn)是,每個(gè)做AI、做模型的Researcher要懂Infrastructure、都要懂推理、都要知道成本的問(wèn)題。這樣當(dāng)你需要面對(duì)科研問(wèn)題時(shí),就知道在產(chǎn)品里需要的反應(yīng)速度有多快,要怎么實(shí)現(xiàn),做完實(shí)驗(yàn)就能確保模型可以得到令人滿意的工程結(jié)果。訓(xùn)練模型的過(guò)程中絕對(duì)不只是寫Paper,還要同時(shí)考慮怎樣系統(tǒng)化、工程化地做數(shù)據(jù)工程,因?yàn)閿?shù)據(jù)的訓(xùn)練、數(shù)據(jù)的篩選是非常重要的。還有底層的AI Infrastructure,GPU這么昂貴,如果把一張當(dāng)成兩張、三張使用,任何公司都會(huì)得到好處,所以科技和工程這兩方面缺一不可。
二、大模型產(chǎn)業(yè)化To B、To C哪個(gè)賽道更有機(jī)會(huì)?
黃鐵軍:大家關(guān)心AI2.0,大模型產(chǎn)業(yè)化最大的場(chǎng)景在哪里?移動(dòng)互聯(lián)網(wǎng)這么多年,To B、To C ,這兩個(gè)大賽道哪個(gè)更有機(jī)會(huì)?為什么?
李開復(fù):簡(jiǎn)單來(lái)說(shuō),在中國(guó)To C 短期更有機(jī)會(huì),國(guó)外兩者都有機(jī)會(huì)。To C方面,就像移動(dòng)互聯(lián)網(wǎng)、PC時(shí)代里,一個(gè)新技術(shù)、新平臺(tái)帶來(lái)新應(yīng)用,大模型同樣如此,這是巨大的機(jī)會(huì),但是這些應(yīng)用的出現(xiàn)一定是按部就班的。
我認(rèn)為AI 2.0 時(shí)代會(huì)和PC、移動(dòng)互聯(lián)網(wǎng)時(shí)代一樣,第一個(gè)階段應(yīng)該是生產(chǎn)力工具,包括信息獲?。坏诙€(gè)階段可能會(huì)是娛樂、音樂、游戲,第三個(gè)階段可能會(huì)是搜索;再下一個(gè)階段可能會(huì)是電商;然后可能會(huì)有社交、短視頻、O2O的應(yīng)用出現(xiàn)。
一個(gè)理由就是剛開始應(yīng)用要能夠賺錢、能夠解決問(wèn)題,所以第一波潮流會(huì)是生產(chǎn)力工具,但越往后,難度越高——高用戶量的應(yīng)用商業(yè)模式往往是先堆積用戶再找變現(xiàn)模式,所以應(yīng)用成本一定要很低,試錯(cuò)難度很大、所需要的投資也更多。
我認(rèn)為遞進(jìn)的模式不會(huì)有特別大的改變,To C應(yīng)用會(huì)從生產(chǎn)力工具一步步走向短視頻類應(yīng)用。To C確實(shí)會(huì)產(chǎn)生大量的用戶,但這不是說(shuō)不能用大模型來(lái)做產(chǎn)品,只是在普及順序上會(huì)按照這六個(gè)階段進(jìn)行。
當(dāng)然,這個(gè)過(guò)程中也有挑戰(zhàn),在大模型領(lǐng)域做應(yīng)用跟PC、互聯(lián)網(wǎng)時(shí)代不一樣,因?yàn)橥评沓杀具€太貴。最近零一萬(wàn)物提出了TC-PMF概念(技術(shù)成本??產(chǎn)品市場(chǎng)契合度),這個(gè)概念是指,當(dāng)你考慮PMF時(shí),還要把技術(shù)的需求、實(shí)現(xiàn)難度和成本考慮進(jìn)去。
做應(yīng)用一定要考慮到剛才這六個(gè)階段誰(shuí)先誰(shuí)后、什么時(shí)候做、提早做。第二,做應(yīng)用的時(shí)候還要綜合考慮到當(dāng)時(shí)的技術(shù)夠不夠好,成本是否足夠低,所以大模型To C應(yīng)用不像過(guò)去移動(dòng)互聯(lián)網(wǎng)時(shí)代,產(chǎn)品經(jīng)理一個(gè)人就可以做主,它需要做Infrastructure、做推理引擎的人、一起打磨TC-PMF。這件事難度高,但是回報(bào)也高,機(jī)會(huì)也更大。
最后我想講,在To C方面,我不相信技術(shù)可以永久領(lǐng)先,事實(shí)上技術(shù)帶來(lái)的領(lǐng)先窗口非常短暫,一旦巨頭看到你驗(yàn)證了PMF,他們會(huì)有很多方法超越你。一旦你驗(yàn)證了TC-PMF,要把握時(shí)間窗口把品牌打出來(lái),最終勝出的To C應(yīng)用不只是需要有技術(shù)優(yōu)勢(shì),還需要在時(shí)間窗口內(nèi)打造持續(xù)優(yōu)勢(shì),比如品牌優(yōu)勢(shì),比如社交鏈,比如用戶數(shù)據(jù),讓用戶不能離開你這個(gè)平臺(tái)。在微信強(qiáng)大的時(shí)代里抖音能被做出來(lái),就是因?yàn)樗プ×诉@個(gè)時(shí)間窗口。
再講一下To B的應(yīng)用。大模型有可能在To B方向上帶來(lái)更大價(jià)值,而且能夠比To C更快實(shí)現(xiàn),但是To B這個(gè)領(lǐng)域有幾個(gè)挑戰(zhàn)。
第一個(gè)挑戰(zhàn)是大公司、傳統(tǒng)公司不是很敢采取顛覆式技術(shù),大公司會(huì)習(xí)慣每年增長(zhǎng)5%預(yù)算,做和去年一樣的事情。
第二個(gè)挑戰(zhàn)在中國(guó)比較嚴(yán)重,許多大公司沒有認(rèn)識(shí)到軟件的價(jià)值,為軟件付費(fèi)意的意識(shí)有待進(jìn)一步提高?,F(xiàn)在有許多大模型公司在競(jìng)標(biāo)時(shí)越競(jìng)越低,做到最后做一單賠一單,都沒有利潤(rùn)。我們?cè)贏I 1.0時(shí)代曾見過(guò)這個(gè)現(xiàn)象,現(xiàn)在它在AI 2.0時(shí)代又重現(xiàn)了。這種心態(tài)導(dǎo)致部分大公司只愿支付很低的價(jià)格,大模型公司也只能給出折中的方案,達(dá)到驚艷效果的寥寥無(wú)幾。
零一萬(wàn)物堅(jiān)決做To C,不做賠錢的To B,而是做能賺錢的To B。所以零一萬(wàn)物在To B方面精挑細(xì)選,找那種公司上下都愿意擁抱新概念的公司,也為它們?cè)O(shè)計(jì)了 RAG 知識(shí)檢索、專有云、微調(diào)等方案,在國(guó)內(nèi)國(guó)外都有嘗試。
無(wú)論To C還是To B,API都很重要,最近國(guó)內(nèi)很多模型降價(jià)了,零一萬(wàn)物也推出了接入國(guó)際SOTA成績(jī)Yi-Large大模型的API,也希望有機(jī)會(huì)可以跟各位合作。這個(gè)API背后的模型能力大概接近GPT-4o,但是價(jià)格是GPT-4的四分之一,我相信這可以幫助更多公司或者創(chuàng)業(yè)者達(dá)到所謂的TC-PMF。
黃鐵軍:謝謝開復(fù)老師對(duì)To B、To C的分析,很透徹。亞勤,剛才關(guān)于To B的觀點(diǎn),大家還有一個(gè)非常關(guān)心的問(wèn)題,大模型產(chǎn)業(yè)的最大場(chǎng)景會(huì)在哪里?To B、To C在什么地方能夠落地發(fā)揮作用?
張亞勤:在應(yīng)用和服務(wù)層面,先面向消費(fèi)者(To C)再面向企業(yè)(To B)。To B的周期相對(duì)較長(zhǎng),而To C的應(yīng)用產(chǎn)品則可以迅速推出,這與過(guò)去的PC互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展路徑基本一致。在基礎(chǔ)設(shè)施層,目前真正盈利的主要集中在To B領(lǐng)域,特別是在芯片、硬件、服務(wù)器等。像英偉達(dá)、AMD等芯片制造商,以及服務(wù)器、HBM存儲(chǔ)、InfiniBand和NVLink等相關(guān)技術(shù)的提供商,他們目前是盈利最多的。
關(guān)于AI路徑,我在過(guò)去十年中一直強(qiáng)調(diào)三個(gè)關(guān)鍵領(lǐng)域:首先是信息智能,其次是物理智能(現(xiàn)在流行的術(shù)語(yǔ)是具身智能),最后是生物智能。在具身智能階段,To B的應(yīng)用可能會(huì)比To C更快落地。然而,在生物智能階段,情況可能相反,To C的應(yīng)用可能會(huì)先于To B出現(xiàn)。盡管每個(gè)領(lǐng)域的具體情況可能有所不同,但總體來(lái)看,無(wú)論是To C還是To B,都將存在開源模型、商業(yè)閉源模型、基礎(chǔ)大模型,以及針對(duì)垂直行業(yè)模型和邊緣模型。
- 何小鵬回應(yīng)特斯拉煥新 Model Y“撞臉小鵬” :好的設(shè)計(jì)總是心有靈犀
- 余承東評(píng)價(jià)特斯拉煥新 Model Y:智界R7仍然保持領(lǐng)先優(yōu)勢(shì)
- 文遠(yuǎn)知行自動(dòng)駕駛小巴在瑞士蘇黎世機(jī)場(chǎng)啟動(dòng)測(cè)試運(yùn)營(yíng)
- 《原始征途》正式版今日上線 首次推出小程序版本
- 魏建軍親自掛帥 長(zhǎng)城汽車將打造超豪車品牌:售價(jià)或超百萬(wàn)
- 特斯拉煥新 Model Y發(fā)布!宣傳文案稱“盡管對(duì)比” 雷軍回復(fù)了兩個(gè)字
- 美光斥資70億美元在新加坡增建先進(jìn)封裝廠 預(yù)計(jì)明年竣工投運(yùn)
- TikTok可能被禁之際 美國(guó)網(wǎng)紅們推廣字節(jié)“小黃書”
- 李佳琦直播間年貨節(jié)專場(chǎng)直播開啟:首次開設(shè)寵物、潮玩&IP專場(chǎng)
- WiFi萬(wàn)能鑰匙:與江蘇衛(wèi)視與達(dá)成深度合作
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。