精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    直追GPT-4 零一萬物Yi-34B-Chat躋身全球權(quán)威大模型榜單前列

    12月11日消息,繼11月初零一萬物發(fā)布Yi-34B 基座模型后,Yi-34B-Chat 微調(diào)模型在11月24日開源上線。開源兩周,Yi-34B-Chat即獲得全球開發(fā)者廣泛關(guān)注,并在全球多個英文、中文大模型權(quán)威榜單名列前茅。

    Yi模型開源首月,在Hugging Face社區(qū)下載量為16.8萬,魔搭社區(qū)下載量1.2萬。在GitHub 獲得超過4900個Stars。

    據(jù)介紹,截至目前,已有多家知名公司和機構(gòu)推出了基于Yi模型基座的微調(diào)模型,比如獵豹旗下的獵戶星空公司推出的OrionStar-Yi-34B-Chat模型,南方科技大學和粵港澳大灣區(qū)數(shù)字經(jīng)濟研究院(簡稱IDEA研究院)認知計算與自然語言研究中心(簡稱CCNL中心)聯(lián)合發(fā)布的SUS-Chat-34B;AMD和Hugging Face合作的GPU加速大模型的實驗中,也選擇了Yi-6B作為范例項目。

    零一萬物宣布,邀請全球開發(fā)者共同測試使用 Yi-34B-Chat 模型能力,一起搭建 Yi 開源模型的應(yīng)用生態(tài)系。

    Yi-34B-Chat霸榜中英文大模型榜單

    斯坦福大學研發(fā)的大語言模型評測 AlpacaEval Leaderboard 中,Yi-34B-Chat以94.08%的勝率,超越LLaMA2 Chat 70B、Claude 2、ChatGPT,成為世界范圍內(nèi)僅次于GPT-4 英語能力的大語言模型。

    AlpacaEval Leaderboard排行榜(發(fā)布于2023年12月7日)

    在加州大學伯克利分校主導(dǎo)的LMSYS ORG排行榜中,Yi-34B-Chat也以1102的Elo評分,晉升最新開源SOTA開源模型之列,性能表現(xiàn)追平GPT-3.5。伯克利LMSYS ORG排行榜采用了一個最為接近用戶體感的 “聊天機器人競技場” 特殊測評模式,讓眾多大語言模型在評測平臺隨機進行一對一 battle,通過眾籌真實用戶來進行線上實時盲測和匿名投票。

    LMSYS ORG 在12月8日官宣的最新的榜單中,經(jīng)25000的真實用戶投票總數(shù)計算了20個大模型的總得分。在開源模型中,Yi-34B-Chat成為當之無愧的“最強王者” 之一(英語能力),榜單對評價:“Yi-34B-Chat 和 Tulu-2-DPO-70B 在開源界的進擊表現(xiàn)已經(jīng)追平 GPT-3.5”。

    LMSYS ORG榜單(發(fā)布于2023年12月8日)

    中文能力方面,Yi-34B-Chat 微調(diào)模型同樣不遑多讓。SuperCLUE是一項針對中文能力的排行榜,從基礎(chǔ)能力、專業(yè)能力和中文特性能力三個不同的維度,評估模型的能力。根據(jù)11月底發(fā)布的《SuperCLUE中文大模型基準評測報告 2023》,11月下旬首度發(fā)布的 Yi-34B Chat,迅速晉升到和諸多國產(chǎn)優(yōu)秀大模型齊平的 “卓越領(lǐng)導(dǎo)者” 象限,在多項基準評測中的 “SuperCLUE 大模型對戰(zhàn)勝率” 這項關(guān)鍵指標上,Yi-34B-Chat 取得31.82%的勝率,僅次于GPT4-Turbo。

    中文SuperCLUE排行榜(發(fā)布于2023年11月28日)

    對廣大開發(fā)社區(qū)來說特別值得一提的是,Yi-34B-Chat 微調(diào)模型還為開發(fā)者提供了 4bit/8bit 量化版模型。Yi-34B-Chat 4bit 量化版模型可以直接在消費級顯卡(如RTX3090)上使用,訓練成本友好。

    實力源于Yi 強基座+創(chuàng)新對齊策略

    今年11月6日,零一萬物正式開源發(fā)布首款預(yù)訓練大模型 Yi-34B。作為基座模型,Yi-34B能力表現(xiàn)突出,在Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜(2023年11月5日)、C-Eval中文權(quán)威榜單排行榜中Yi-34B均高居榜首;在MMLU、BBH等評測集上,Yi-34B在通用能力、知識推理、閱讀理解等多項指標評比中全部勝出。

    據(jù)零一萬物介紹,除了 Yi 系列強基座的貢獻以外,Yi-34B-Chat 模型的效果還得益于其人工智能對齊(AI Alignment)團隊采用了一系列創(chuàng)新對齊策略。通過精心設(shè)計的指令微調(diào)流程,不僅強化了模型在理解和適應(yīng)人類需求方面的能力,還使得模型與人類價值觀對齊,包括幫助性(Helpful),可靠性(Honest),無害性(Harmless)等。

    在強基座設(shè)定下,該團隊采用了一種輕量化指令微調(diào)方案,該方案涵蓋了單項能力提升和多項能力融合兩個階段。

    其中,單項能力包括通用指令跟隨、創(chuàng)意內(nèi)容生成、數(shù)學、推理、編程、泛COT、對話交互等。通過大量的消融實驗,針對模型單能力構(gòu)建和多能力融合總結(jié)了獨家認知經(jīng)驗。

    在數(shù)據(jù)的量和質(zhì)方面,一方面,團隊在強基座模型上,實現(xiàn)僅需要少量數(shù)據(jù)(幾條到幾百條),就能激發(fā)模型特定單項能力;另一方面,數(shù)據(jù)質(zhì)量比數(shù)量重要,少量高質(zhì)量數(shù)據(jù)比大量低質(zhì)量數(shù)據(jù)更好。通過關(guān)注超出模型能力的“低質(zhì)量”數(shù)據(jù),減少了模型“幻覺”。

    在指令多樣性與難度方面,團隊通過在各能力項下構(gòu)建任務(wù)體系,實現(xiàn)了訓練數(shù)據(jù)中的指令均衡分布,大幅提升了模型泛化性。通過復(fù)合指令構(gòu)造和指令難度進化,不僅提升了模型效果,也顯著降低了對數(shù)據(jù)量的需求。

    在風格一致性方面,團隊發(fā)現(xiàn)訓練數(shù)據(jù)的風格會影響模型收斂速度和能力上限的逼近程度,因此統(tǒng)一了回復(fù)風格,比如重點設(shè)計了CoT的回復(fù)風格,實現(xiàn)在輕量SFT情況下,避免了風格不一致加劇模型的“記憶”現(xiàn)象。

    在多能力融合階段,團隊采用網(wǎng)格搜索的方法來決定數(shù)據(jù)配比和超參數(shù)的設(shè)置,通過基準測試和自建評測集的結(jié)果來指導(dǎo)搜索過程,成功實現(xiàn)模型的多能力融合。

    “風波”過后 Eric Hartford已成Yi-34B的忠實擁躉

    事實上,Yi-34B開源發(fā)布后,就獲得了極大關(guān)注,甚至還鬧出一場“風波”。

    在11月初Yi-34B開源后,Hugging Face社區(qū)開發(fā)者Eric Hartford敏銳發(fā)現(xiàn)了模型存在的一個小問題。

    于是,Eric Hartford在郵件中寫道,“感謝你們提供了一個優(yōu)秀的模型。Yi模型使用了與LLaMA模型完全相同的架構(gòu),只是將兩個張量改了名字。由于圍繞LLaMA架構(gòu)有很多投資和工具,保持張量名稱的一致性是有價值的?!盓ric建議,在Yi被廣泛傳播前,及時恢復(fù)張量名稱。

    零一萬物意識到命名問題的疏忽對開發(fā)者造成的不便,跟Eric和其他開發(fā)者提出說明,表達誠摯的歉意,并很快便在各開源平臺重新提交模型及代碼,完成了開源社區(qū)的版本更新。

    然而Eric的這個建議,在國內(nèi)被曲解、誤讀,進而引發(fā)了輿論關(guān)于Yi模型“抄襲”LLaMA的質(zhì)疑。

    事實上,一個模型核心技術(shù)護城河是在架構(gòu)之上,通過數(shù)據(jù)訓練獲得的參數(shù)和代碼。

    零一萬物團隊在回應(yīng)Yi模型“抄襲”LLaMA的質(zhì)疑時就明確表示,在沿用了開源社區(qū)普遍使用的LLaMA 架構(gòu)之上,零一萬物團隊從零開始,用高質(zhì)量的數(shù)據(jù)集、自研訓練科學和AI Infra打造了 Yi-34B 在內(nèi)的系列模型。為了執(zhí)行對比實驗的需要,對部分推理參數(shù)進行了重新命名。原始出發(fā)點是為了充分測試模型,而非刻意隱瞞來源。

    身處這場輿論風暴的中心,Eric自發(fā)且不遺余力為Yi辯護。

    他在X(twitter)上寫道:“他們沒有在任何事情上撒謊。所有的模型都是在相互借鑒架構(gòu)。架構(gòu)是學術(shù)研究的產(chǎn)物,已經(jīng)發(fā)表在論文中,任何人都可以自由使用,這絲毫不減損Yi團隊的成就。他們從零開始使用自己創(chuàng)建的數(shù)據(jù)集訓練Yi,對開源領(lǐng)域的貢獻是值得贊揚的。”
    緊接著,他又說,“使用Llama架構(gòu)沒有任何問題。訓練才是關(guān)鍵。Yi給了我們目前可獲得的最佳模型,沒有任何可抱怨的?!?/p>

    現(xiàn)在,Eric已經(jīng)成為Yi-34B的忠實擁躉,會使用Yi-34b-200k數(shù)據(jù)集訓練其他的模型產(chǎn)品,并感嘆絲滑般的訓練體驗。

    另外,魔搭swift框架技術(shù)開發(fā)人員黃錦濤認為,因為沿用了Llama架構(gòu),Yi-34B的生態(tài)對開發(fā)者非常友好,部署方便輕盈,而且Llama生態(tài)中有很多加速技術(shù)工具,比如對推理加速的支持,均顯著降低了成本。Yi還為開發(fā)者提供了4bit/8bit 量化版模型。Yi-34B-Chat 4bit 量化版模型可以直接在消費級顯卡(如3090、4090)上使用,這就大大降低了基礎(chǔ)模型運行的算力需求。對很多沒有高效能顯卡的個人開發(fā)者來說,顯著降低了使用門檻。

    Yi-34B-Chat中文理解能力演示

    最后,看看Yi-34B-Chat 模型實力在不同的對話場景中實力如何,直接上幾個直觀的問題演示。

    首先,來一段繞口令式的【中文理解】:小王給領(lǐng)導(dǎo)送了一份禮物后。領(lǐng)導(dǎo)說:“小王,你這是什么意思?”小王:“一點心意,意思意思。”領(lǐng)導(dǎo):“你這就不夠意思了?!毙⊥酰骸靶∫馑迹∫馑??!鳖I(lǐng)導(dǎo):“小王,你這人真有意思。”小王:“也沒什么別的意思?!鳖I(lǐng)導(dǎo):“那我多不好意思?!毙⊥酰骸笆俏也缓靡馑??!边@個意思到底是什么意思?

    Yi-34B-Chat 給出了準確回復(fù)。

    在看看Yi-34B-Chat生成文案的能力。“給我生成一個小紅書文案,給大家安利一只豆沙色的口紅?!?/p>

    (免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
    任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

    贊助商
    2023-12-11
    直追GPT-4 零一萬物Yi-34B-Chat躋身全球權(quán)威大模型榜單前列
    12月11日消息,繼11月初零一萬物發(fā)布Yi-34B 基座模型后,Yi-34B-Chat 微調(diào)模型在11月24日開源上線。

    長按掃碼 閱讀全文