8月30日消息，8月28日，云知聲旗下山海大模型迎來又一次迭代升級，當前版本參數(shù)規(guī)模達到千億，實現(xiàn)了多學科能力、醫(yī)療能力雙提升，實測性能在C-Eval全球大模型綜合性評測中超越GPT-4，以平均分70分的成績進入前三甲。

C-Eval是由清華大學、上海交通大學和愛丁堡大學合作構(gòu)建的面向中文語言模型的綜合性考試評測集，包含13948道多項選擇題，涵蓋數(shù)學、物理、化學、生物、歷史、政治、計算機等52個不同學科和四個難度級別，是全球最具影響力的綜合性考試評測集之一。作為第三方發(fā)起的測試基準， C-Eval以其客觀性、公正性備受業(yè)內(nèi)關(guān)注，也吸引了多家企業(yè)、機構(gòu)和高校的參與。

據(jù)悉，本次山海大模型2.0版參數(shù)規(guī)模達到千億，增加了更多的學科類的預訓練語料，訓練數(shù)據(jù)（Tokens）達到兩萬億（2.0T）。

在本次模型升級過程中，山海團隊充分利用了教材、文獻、百科類語料的價值，這些語料包含了人類對客觀世界知識的豐富理解、詳盡解釋以及在各個領(lǐng)域的深入研究所得到的科學結(jié)論。不同的學科領(lǐng)域的數(shù)據(jù)涵蓋了各自學科的專業(yè)知識，這在一定程度上彌補了第一版山海大模型在某些專業(yè)領(lǐng)域的知識盲區(qū)。

為了使模型能更科學合理地汲取這些不同領(lǐng)域和來源的數(shù)據(jù)中的知識，山海大模型團隊使用了DoReMi方法對數(shù)據(jù)進行了優(yōu)化權(quán)重采樣。

通過這種策略，可以在較大范圍內(nèi)均勻并深入地提取各類信息。這一策略使得山海團隊在本次模型升級過程中，能更有效地吸取和運用各種知識，使模型的知識庫更加全面。

云知聲深耕醫(yī)學領(lǐng)域多年，山海大模型2.0在預訓練階段使用了海量的醫(yī)學病歷、醫(yī)學教材、臨床指南和醫(yī)學文獻等數(shù)據(jù)，并在對齊階段使用了人機結(jié)合方法構(gòu)建的近百萬級的病歷理解、醫(yī)學考試和醫(yī)學知識問答等指令學習數(shù)據(jù)。

C-Eval中醫(yī)療學科的結(jié)果表明，山海大模型2.0在基礎(chǔ)醫(yī)學、臨床醫(yī)學和醫(yī)師資格數(shù)據(jù)集上都能獲得接近90分的水平，為業(yè)內(nèi)最高。

云知聲山海大模型團隊參加了剛剛在沈陽結(jié)束的CCKS2023-PromptCBLUE評測，該評測是當前最權(quán)威的中文醫(yī)療大模型的評測榜單，我們同樣也取得了第一名的成績，再次證明了山海大模型專業(yè)的醫(yī)學能力。

山海團隊發(fā)現(xiàn)，在運用位置插值（Position Interpolation）方法進行大幅度擴展時——比如將窗口從4k擴展到32k——其性能會顯著受到影響。這種影響主要體現(xiàn)在短距離情況下的使用。

為了更好地解釋這一點，假設(shè)原始數(shù)據(jù)中距離為1的兩個token，當我們將數(shù)據(jù)從4k擴展到32k時，這兩個token之間的距離實際上變成了1/8。

這就意味著，在進行位置插值的過程中，原本距離很近的兩個token之間的距離被大比例地拉遠了。這種場景下，衰減規(guī)律在短距離的使用會受到較大的影響，這是因為衰減規(guī)律在短距離時可能具有非常突出的變化率，意味著原本應該很近的兩個token在大規(guī)模擴展之后，它們之間的關(guān)聯(lián)性會大幅度減小。

因此，直接進行位置插值的方法會使得窗口大幅度擴展后的性能較大程度地降低。發(fā)現(xiàn)RoPE位置編碼短距離之間的差異，主要體現(xiàn)在高頻分量上，長距離之間的差異，主要體現(xiàn)在低頻分量上。

山海大模型2.0版根據(jù)神經(jīng)正切核的思想，采用Neural Tangent Kernel (NTK)的非線性差值方法，實現(xiàn)高頻外推、低頻內(nèi)插的大規(guī)模長度擴展。采用NTK擴展后模型能夠更好的支持文本窗口擴展，當前山海大模型2.0版本已經(jīng)支持32K的窗口長度。

在大多數(shù)行業(yè)中，對大模型的并發(fā)使用和響應時間有很高的要求。這要求我們在保證大模型算法效果的基礎(chǔ)上，更需要深思其推理速度。

本次山海大模型2.0基于落地場景需要，設(shè)計了受限解碼方法，在解碼過程中不需要計算整個詞表的概率，只需關(guān)注落地場景下關(guān)注的token，極大地提高了解碼效率。如圖所示，利用受限解碼方法，生成token“今”后面只需考慮token“夕”和“天”的概率，而不需要完成整個詞表概率分布的計算。

作為中國AGI技術(shù)產(chǎn)業(yè)化的先驅(qū)之一，云知聲于2016年開始打造Atlas人工智能基礎(chǔ)設(shè)施，并以此為基礎(chǔ)，構(gòu)建云知大腦(UniBrain)技術(shù)中臺——以山海（UniGPT）通用認知大模型為核心，結(jié)合多模態(tài)感知與生成、知識圖譜、物聯(lián)平臺等智能組件，為云知聲智慧物聯(lián)、智慧醫(yī)療等業(yè)務提供高效的產(chǎn)品化支撐，持續(xù)推動“U(云知大腦)+X(應用場景)”戰(zhàn)略布局，踐行“通過通用人工智能(AGI)創(chuàng)建互聯(lián)直覺的世界”的公司使命。

山海大模型作為云知大腦的核心，能力體系涵蓋語言生成、語言理解、知識問答、 邏輯推理、代碼能力、數(shù)學能力等。此外，為提高大模型在具體場景的應用落地水平，山海大模型在通用能力基礎(chǔ)上，增強物聯(lián)、醫(yī)療等行業(yè)能力，致力為客戶提供更智能、更靈活的解決方案，加速千行百業(yè)的智慧化升級。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。