今日，媒體紛紛報(bào)道一條新聞：百度最早發(fā)現(xiàn)大模型核心理論scaling law。其源頭是英文報(bào)紙南華早報(bào)報(bào)道稱，盡管美國在AI模型創(chuàng)新方面一直被視為領(lǐng)先者，但最新的討論顯示，中國在探索這些概念上可能更為超前。業(yè)界意識(shí)到，百度在OpenAI之前就發(fā)現(xiàn)了Scaling Law。
Scaling Law也被稱為“尺度定律”，被業(yè)界認(rèn)為是大模型預(yù)訓(xùn)練第一性原理，即訓(xùn)練數(shù)據(jù)和模型參數(shù)越大，模型的智能能力就越強(qiáng)。OpenAI在2020年發(fā)表了論文《Scaling Laws for Neural Language Models》，自那以后，這個(gè)概念已成為AI研究的基石。
推出ChatGPT系列大模型，讓OpenAI一鳴驚人，成為AI領(lǐng)域炙手可熱的明星，加之美國Google、Meta、xAI等公司不斷推出性能強(qiáng)大的大模型，使得不少國人潛意識(shí)認(rèn)為美國在AI領(lǐng)域大幅領(lǐng)先。事實(shí)上，中國AI技術(shù)并不弱，一直以來處于并跑狀態(tài)，這也是為何2023年出現(xiàn)“百模大戰(zhàn)”的原因。而“百度率先發(fā)現(xiàn)Scaling Law”的往事曝光，反映出中國在AI領(lǐng)域的深厚底蘊(yùn)。
不用懷疑，已經(jīng)“實(shí)錘”
百度比OpenAI更早發(fā)現(xiàn)Scaling Law，很多國人即歡欣鼓舞，又有一些疑惑。畢竟OpenAI如日中天，對(duì)其發(fā)起任何挑戰(zhàn)都需要強(qiáng)有力的證據(jù)。
從各方報(bào)道看，這一事件已經(jīng)“實(shí)錘”。主要有三個(gè)方面的佐證：
首先是AI行業(yè)大牛、Anthropic創(chuàng)始人Dario Amodei在11月初的播客節(jié)目中提到，2014年與吳恩達(dá)在百度研究AI的時(shí)候，他就已經(jīng)發(fā)現(xiàn)了模型發(fā)展的規(guī)律Scaling Law。而Dario Amodei曾于2014年11月-2015年10月期間在百度硅谷實(shí)驗(yàn)室工作，并擔(dān)任過OpenAI研究副總裁，堪稱當(dāng)事人，其言論極具分量。
其次是Meta研究員、康奈爾大學(xué)博士候選人Jack Morris在X（推特）上公開力挺：“Scaling Law的原始研究來自2017年的百度，而不是2020年的OpenAI”。隨后有媒體人貼出了百度在2017年發(fā)表的《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》論文，詳細(xì)討論了機(jī)器翻譯、語言建模等領(lǐng)域的Scaling現(xiàn)象，進(jìn)一步證明其言論。
此外還有一個(gè)重要證據(jù)：之前曾在Open AI工作，參與了GPT-3等重要項(xiàng)目開發(fā)的AI專家Gwern Branwen，也經(jīng)常在公開場合提起：百度的這篇論文確實(shí)被忽視了。
百度在AI理論領(lǐng)域的投入和貢獻(xiàn)可見一斑。此后，百度繼續(xù)向前走，并在國內(nèi)率先推出了大語言模型文心一言。中國互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布的《生成式人工智能發(fā)展應(yīng)用發(fā)展報(bào)告（2024）》顯示，文心一言已經(jīng)成為國內(nèi)使用率第一的生成式人工智能平臺(tái)。
百度往事：招攬多位AI大牛
百度能領(lǐng)先于OpenAI發(fā)現(xiàn)Scaling Law，與其早早投資AI研究、招攬AI人才是分不開的，包括來自全球各地的AI大牛。
除了上述提到的Dario Amodei，百度還招攬了國內(nèi)更知名的AI頂級(jí)科學(xué)家、原谷歌大腦創(chuàng)始人吳恩達(dá)，當(dāng)年亦引發(fā)媒體熱議。
此外據(jù)媒體之前爆料，AI教父、2024年度諾貝爾物理學(xué)獎(jiǎng)得主Geoffrey Hinton，也在百度招攬之列。2012年，李彥宏親自派人前往美國向其遞出了橄欖枝，甚至驚動(dòng)了硅谷的兩家巨頭Google和微軟紛紛發(fā)出邀請(qǐng)。Hinton由于年齡等因素考量，最后留在了美國，百度才遺憾地失之交臂。
盡管外部對(duì)百度與Scaling Law的認(rèn)知才剛剛被爆料，但這也讓業(yè)界意識(shí)到，百度此前對(duì)包括大模型在內(nèi)的AI技術(shù)已有深厚積累。資料顯示，百度早在2019年就發(fā)布了第一代文心大模型，幾乎與OpenAI處于同一時(shí)期。2023年以來，大模型如雨后春筍般冒出，百度始終處在領(lǐng)跑地位。
例如，中國軟件評(píng)測(cè)中心《人工智能大語言模型技術(shù)發(fā)展研究報(bào)告（2024年）》顯示，文心大模型技術(shù)、產(chǎn)品、應(yīng)用全面領(lǐng)跑；沙利文《2024年中國大模型能力評(píng)測(cè)》顯示，文心大模型穩(wěn)居國產(chǎn)大模型首位，獲4項(xiàng)第一。百度AI技術(shù)的10多年積累，在2024年厚積薄發(fā)。
中國AI產(chǎn)業(yè)展現(xiàn)創(chuàng)新力
實(shí)際上，不僅是百度，整個(gè)中國AI產(chǎn)業(yè)，處在高度繁榮的發(fā)展?fàn)顟B(tài)，國內(nèi)AI頭部公司無論是技術(shù)創(chuàng)新、產(chǎn)品創(chuàng)新還是應(yīng)用創(chuàng)新，與海外頭部公司并沒有明顯的差距，整體處在同一水平線上。
據(jù)上海社科院最新發(fā)布的《全球信息社會(huì)藍(lán)皮書：全球信息社會(huì)發(fā)展報(bào)告(2024)》顯示，中國、美國、歐盟在人工智能研究、創(chuàng)新、教育、應(yīng)用等方面體量相當(dāng)，人工智能仍然是中國、美國、歐盟三極為主的世界發(fā)展格局。
百度作為代表性AI公司之一，更是與Google、OpenAI一道，共同被沙利文2024全球AI全景報(bào)告評(píng)為“AI-Native Giant”，處于領(lǐng)導(dǎo)者地位。
當(dāng)前，AI時(shí)代已經(jīng)來臨，展現(xiàn)出變革經(jīng)濟(jì)社會(huì)的巨大潛能，AI產(chǎn)業(yè)競爭愈加火熱。AI技術(shù)已成為大國科技競爭的勝負(fù)手，美國不斷使出盤外招限制我國AI技術(shù)發(fā)展，候任總統(tǒng)特朗普更是計(jì)劃任命一位人工智能部長（AI czar），打響AI軍備競賽。
在這一大背景下，國人要對(duì)國內(nèi)AI產(chǎn)業(yè)發(fā)展抱有信心。在這場長跑中，包括百度在內(nèi)，有很多中國公司正在高強(qiáng)度投資AI技術(shù)創(chuàng)新，并已取得大量成果，將推動(dòng)AI產(chǎn)業(yè)發(fā)展走向繁榮，成為經(jīng)濟(jì)高質(zhì)量轉(zhuǎn)型發(fā)展的助推器。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
