精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    虎博科技發(fā)布大模型Tigerbot 開源1日Star已過1000

    Tigerbot是虎博科技自研的多語言多任務(wù)大規(guī)模語言模型,已于6月7日發(fā)布并開源。上線僅一日,Tigerbot已在開源社區(qū)GitHub上獲超1000 Stars,深受廣大開發(fā)者喜愛。

    (截至6月8日,開源社區(qū)github上Tigerbot的相關(guān)情況)

    此次開源涉及模型、代碼、數(shù)據(jù)三部分內(nèi)容,包含 TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research 等多個模型版本;基本訓(xùn)練且覆蓋雙卡推理 180B 模型的量化和推理代碼;以及達 100G 的預(yù)訓(xùn)練數(shù)據(jù)、監(jiān)督微調(diào) 1G/100 萬條數(shù)據(jù)。

    值得一提的是,開源版本中,TigerBot-7B-base的綜合表現(xiàn)優(yōu)于同等可比的OpenAI和BLOOM,TigerBot-180B-research 的參數(shù)量達1800億,或是目前業(yè)內(nèi)最大的大規(guī)模語言模型,而高達100G的預(yù)訓(xùn)練數(shù)據(jù),更被視為目前業(yè)內(nèi)最大且質(zhì)量最優(yōu)的開源預(yù)訓(xùn)練數(shù)據(jù)之一。

    同時,虎博科技還與廣大開發(fā)者共享了大模型應(yīng)用開發(fā)所需的全套API,包括對話(Chat)、插件(Plug-ins)、微調(diào)(Fine-Tunes)等,并提供金融、法律、百科等專業(yè)領(lǐng)域數(shù)據(jù),旨在構(gòu)建構(gòu)建大模型生態(tài)藍圖。

    據(jù)了解,Tigerbot基于 GPT 和 BLOOM 兩個開源模型基礎(chǔ)上進行研發(fā),在模型架構(gòu)、算法以及計算經(jīng)濟性等方面做了一系列優(yōu)化,主要體現(xiàn)在四方面:

    (1)、指令完成監(jiān)督微調(diào)的創(chuàng)新算法,以提升可學(xué)習(xí)型(learnability);

    (2)、運用ensemble 和 probabilistic modeling 的方法,實現(xiàn)更可控的事實性(factuality)和創(chuàng)造性(generativeness),進一步 避免模型可能產(chǎn)生的“胡說八道”;

    (3)、在并?訓(xùn)練上,突破了 deep-speed 等主流框架中若?內(nèi)存和通信問題,使得在千卡環(huán)境下數(shù)??間斷,不僅大大縮短了模型訓(xùn)練的時間,每月還能節(jié)省數(shù)十萬訓(xùn)練費用;

    (4)、對中?語?的更不規(guī)則的分布,從 tokenizer 到訓(xùn)練算法等方面做了針對性算法優(yōu)化,使得模型的問答更具中國文化屬性。

    然而,這些創(chuàng)新僅僅是個10人小團隊在3個月內(nèi)完成的。據(jù)虎博科技創(chuàng)始人兼CEO陳燁介紹,他自己也在一線寫代碼。過去三個月中,團隊累計完成超3000次實驗,“每天至少有3次實驗,第一個月的模型表現(xiàn)已經(jīng)可以達到OpenAI可比模型的八成。”根據(jù) OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動評測,TigerBot-7B就已達到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%,且只是 MVP(最小最小可行性模型)。

    秉持科學(xué)無國界無階層的理念,陳燁希望共享階段性成果,“大模型技術(shù)就像是一門新興學(xué)科,將是顛覆式且長周期的,其未來的可能性將超過每個人的想象?!?/p>

    對于開源,他給出了兩點理由:

    第一、作為一名AI領(lǐng)域內(nèi)的技術(shù)人員,出于對技術(shù)最本能的信仰,他有一點熱血、有一點煽情,“我們想要以世界級的大模型,貢獻于中國創(chuàng)新。給行業(yè)一個可用的、底層基礎(chǔ)扎實的通用模型,能讓更多人快速訓(xùn)練出專業(yè)大模型,實現(xiàn)產(chǎn)業(yè)集群的生態(tài)打造。”

    第二、TigerBot會繼續(xù)保持高速迭代,并在目前賽跑的局面下,仍能保持身位優(yōu)勢。即便是看到有人以TigerBot為底層開發(fā)出了性能更好的產(chǎn)品,這對于行業(yè)內(nèi)來說又何嘗不是一件好事?

    陳燁認(rèn)為,現(xiàn)階段不宜過早和過于理性地探討產(chǎn)品、應(yīng)用、場景和商業(yè)化,更重要的是推廣這一人工智能基礎(chǔ)設(shè)施的原創(chuàng)突破,促進技術(shù)的發(fā)展和更新,“開源就是最好的方式”。

    極客網(wǎng)企業(yè)會員

    免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

    2023-06-09
    虎博科技發(fā)布大模型Tigerbot 開源1日Star已過1000
    Tigerbot是虎博科技自研的多語言多任務(wù)大規(guī)模語言模型,已于6月7日發(fā)布并開源。上線僅一日,Tigerbot已在開源社區(qū)GitHub上獲超1000 Stars,深受廣大開發(fā)者喜愛。

    長按掃碼 閱讀全文