文 | 智能相對論

作者 | 沈浪

知名科學(xué)雜志《Nature》發(fā)表了一篇關(guān)于大模型規(guī)模參數(shù)大小爭議的文章《In Al, is bigger always better?》——AI大模型，越大越好嗎？隨著大模型應(yīng)用走向?qū)嵺`，這一問題不可避免地成為了當(dāng)前AI行業(yè)發(fā)展的焦點與爭議。

有人認(rèn)為，大模型當(dāng)然是越大越好，參數(shù)越大，性能越優(yōu)。也有人認(rèn)為，小模型更好，消耗更小，更能精準(zhǔn)地解決專業(yè)問題。兩相對比之下，各有各的道理，懸而未決，究竟什么才是AI大模型發(fā)展的出路？

這一問題或許在日前商湯科技舉辦的技術(shù)交流日活動上有所解答。在活動現(xiàn)場，商湯科技發(fā)布了行業(yè)首個“云、端、邊”全棧大模型產(chǎn)品矩陣，以滿足不同規(guī)模場景的應(yīng)用需求，對大模型的場景應(yīng)用提出了新的思路，并且全新升級了“日日新SenseNova 5.0”大模型體系，綜合能力全面對標(biāo)GPT-4 Turbo。

當(dāng)然，在當(dāng)前節(jié)點上，領(lǐng)先的意義已經(jīng)不僅僅是超越GPT-4，更是探索出能解決實際應(yīng)用問題的有效路徑。

01、離譜or靠譜？日日新端側(cè)大模型“暴打”GPT-4

在技術(shù)交流日活動的現(xiàn)場，商湯科技以一個很有趣的畫面闡釋了大模型與小模型之間的差別?；谌视螒虻漠嬅嫜菔荆虦萍紝⒆约业腟enseChat-Lite 版本日日新端側(cè)?模型與GPT-4進行PK。

一開始，GPT-4還能略占上風(fēng)，但是SenseChat-Lite出拳速度更快，隨后各種連招打到他根本反應(yīng)不過來，只得被商湯科技的模型“暴打”，直接K.O出局。

這一結(jié)局似乎太離譜了？商湯科技對此做了解釋：實際上其中的差距并非模型能力強弱問題，而是在不同的適用場景之下小模型決策速度快。當(dāng)大模型還在計算的時候，小模型已經(jīng)完成了判斷并且出拳了，而且實實在在打到了對手身上。

正所謂，“天下武功，唯快不破”！對比大模型，小模型在具體的場景應(yīng)用中有著更明顯的決策優(yōu)勢。

因此，業(yè)內(nèi)正在形成一個全面的共識：在實際應(yīng)用中，大模型并非越大越好，而是得看具體場景需求。前不久，美國AI公司Anthropic發(fā)布Claude 3系列模型，一度超越GPT-4，登頂全球最強大模型。其中Claude 3系列就給出了不同量級的模型產(chǎn)品，包括Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus，以便適用于不同的企業(yè)和場景。

同樣的，基于這一思路，商湯科技也在搭建完善的基模型體系與小模型系統(tǒng)方案，并發(fā)布了一系列的垂類大模型和端側(cè)大模型。其中，SenseChat-Lite版本端側(cè)大模型就可以面向手機、平板、VR 眼鏡、智能汽車等提供輕量、高效的大模型能力，結(jié)合端云解決方案，及時適應(yīng)變化的環(huán)境和需求，保持高性能和準(zhǔn)確性。

對比來說，中國更注重實踐。商湯科技在這個思路上給出的解決方案更具有主動性和服務(wù)意識以及更有實踐價值。具體的，商湯端側(cè)大模型不僅是參數(shù)量級小，還講究端側(cè)部署與端側(cè)處理能力的強化，在解決實際問題上響應(yīng)更快速。

與此同時，商湯科技還面向金融、代碼、醫(yī)療、政務(wù)等多個領(lǐng)域推出了邊緣產(chǎn)品“商湯企業(yè)級大模型一體機”，在實際場景應(yīng)用中更能滿足專業(yè)化需求，主動貼合客戶需求。比如，“大醫(yī)”醫(yī)療健康大模型一體機就可以在醫(yī)療機構(gòu)內(nèi)部一鍵部署大模型應(yīng)用，實現(xiàn)“開箱即用”，并有效針對智能問診、導(dǎo)診、病歷結(jié)構(gòu)化、影像報告解讀等場景，支持智能調(diào)整回復(fù)內(nèi)容的語言風(fēng)格、詳略程度、格式要求等。

當(dāng)然，這也是目前商湯科技在AI大模型領(lǐng)域領(lǐng)先行業(yè)的關(guān)鍵點。同樣的思路，以小模型為應(yīng)用焦點，商湯比別人多走了幾步，提出了軟硬兼顧的解決方案。

02、在尺度定律之下，沒有永恒的“最強”，唯有“日日新”

從經(jīng)濟性而言，小模型更利于企業(yè)應(yīng)用與解決實際問題。那么，是否對于AI行業(yè)而言，就不需要訓(xùn)練大模型了？

實則不然。

在技術(shù)交流日活動現(xiàn)場，商湯科技提到了一個同為業(yè)內(nèi)共識的理論：尺度定律。在普遍的認(rèn)知中，以尺度定律為參考，隨著模型的參數(shù)變大、數(shù)據(jù)量變大、訓(xùn)練時長加長，則算法性能會越來越好。

OpenAl于2020年曾發(fā)布一篇論文《Scaling Laws for Neural Language Models》，其中也有類似的觀點，即模型性能隨著模型參數(shù)大小的增長而變好。因此，在后續(xù)的大模型迭代中，OpenAI通過構(gòu)建一個巨大的海量數(shù)據(jù)集，再簡單增加GPT模型的深度，就做出了具有驚人的涌現(xiàn)能力的大模型產(chǎn)品。

對此，很多廠商也作了相關(guān)驗證，包括谷歌、商湯科技等。其中，谷歌曾精調(diào)了三個尺寸的Minerva模型，分別使用了80億，620億和5400億個參數(shù)的預(yù)訓(xùn)練PaLM模型。

結(jié)果發(fā)現(xiàn)，Minerva的性能隨著規(guī)模的擴大而提高。在整個MATH數(shù)據(jù)集上，最小模型的準(zhǔn)確率為25%，中型模型達(dá)到43%，最大模型突破50%大關(guān)。

由此，基于尺度定律的認(rèn)知，他們發(fā)現(xiàn)自家的模型產(chǎn)品在一定測試級上超越GPT-4的能力，并非不可能。如今，商湯科技發(fā)布的最新的“日日新SenseNova 5.0”大模型體系，其性能就超越了GPT-4。

其中，日日新·商量大模型5.0主模型在語言、知識、推理、數(shù)學(xué)、代碼等領(lǐng)域的能力，在主流客觀評測上就達(dá)到或超越了GPT-4 Turbo，在聊天、多輪對話、信息提取、寫作等場景能和GPT-4 Turbo相媲美。

更值得一提的是，日日新·商量多模態(tài)大模型的圖文感知能力達(dá)到了全球領(lǐng)先水平，在多模態(tài)大模型權(quán)威綜合基準(zhǔn)測試MMBench中綜合得分排名首位，并在多個知名多模態(tài)榜單MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU 取得領(lǐng)先成績。

換句話說，在尺度定律的認(rèn)知下，GPT-4被超越是遲早的事情，AI大模型領(lǐng)域沒有永恒的“最強”。

當(dāng)然，若要登頂最強，雖說可行，但絕不簡單。大模型的參數(shù)爭議，其中就有能耗的問題。谷歌曾坦言，PaLM的訓(xùn)練在2個月內(nèi)消耗了大約300個美國家庭一年的電力消耗，其中所需要的算力、數(shù)據(jù)等基礎(chǔ)設(shè)施絕非常規(guī)企業(yè)可以負(fù)擔(dān)。

在這一點上，商湯科技秉持“大模型+大算力”的“雙輪驅(qū)動”戰(zhàn)略布局又一次為其拓寬了道路。其中，SenseCore商湯大裝置作為商湯科技前瞻決策所打造的高效率、低成本、規(guī)模化的新一代AI基礎(chǔ)設(shè)施，可以支撐超過20個千億超大模型同時訓(xùn)練，并支持萬億參數(shù)大模型的全生命周期生成，為大模型的打造提供了非常關(guān)鍵的支撐。

簡單來說，雖說有尺度定律作為理論支持，但是以SenseCore商湯大裝置為代表的大算力才是商湯科技能超越GPT-4的底氣。從這個角度來看，商湯科技做AI，比大多企業(yè)要更加純粹且徹底。

03、大模型的最優(yōu)解，是場景平衡

從國內(nèi)外的實驗與實踐來看，模型的大小之爭意義不大，離開基礎(chǔ)理論和場景應(yīng)用去拋棄任何一方都不可取。因此，目前主流的AI廠商在迭代和發(fā)布系列模型時，往往都會推出主模型與小模型以及垂類專業(yè)模型，根據(jù)場景需求按需提供服務(wù)。

這一點將在接下來的時間里拉開專業(yè)AI服務(wù)商之間的差距。目前，日日新SenseNova5.0大模型體系采用了混合專家模式，這樣做的目的在于通過將模型分割成多個具有專門功能的模塊，使得模型在推理過程中能更有效地利用計算資源，并可能提高模型的泛化能力和應(yīng)對復(fù)雜任務(wù)的性能。

具體來看，商湯瓊宇發(fā)布的3D高斯?jié)姙R技術(shù)，就具備輕量化的web渲染能力，可以產(chǎn)生更輕量的模型資產(chǎn)，使城市級三維模型的構(gòu)建和編輯重建效果更加真實，成本更低，也可以應(yīng)用在更多場景。

這是混合專家模式思想在實際應(yīng)用中的體現(xiàn)，通過不同技術(shù)和模型組件之間的配合，實現(xiàn)了對特定任務(wù)定制化處理和資源優(yōu)化，從而加速大模型在不同場景中的應(yīng)用，實現(xiàn)AI普惠。目前，瓊宇已服務(wù)客戶超過60個，實現(xiàn)了15個城市120多種場景的重建。

因此，當(dāng)我們把目光投遞到實際中的場景問題，就會發(fā)現(xiàn)大模型和小模型均有用武之地，問題則在于如何去平衡地調(diào)配資源，實現(xiàn)最優(yōu)解。由此來看，商湯科技對混合專家模式的應(yīng)用，可以視為是一種領(lǐng)先行業(yè)的熟練決策。

未來不屬于大模型或小模型，而是大小模型之間的平衡。因此，“AI大模型是否越大越好”類似的問題不必糾結(jié)，但需要面對，即如何去打造大模型，又如何把大模型的能力調(diào)配出小模型服務(wù)好市場，會是各大廠商接下來的必修課程。

*本文圖片均來源于網(wǎng)絡(luò)

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。