歷經(jīng)3個月“隱蔽模式”研發(fā)，國內(nèi)新銳算法公司虎博科技于6月6日發(fā)布并開源其自研大模型TigerBot，同步發(fā)布大模型應(yīng)用開發(fā)所需的全套API并提供多領(lǐng)域?qū)I(yè)數(shù)據(jù)，旨在構(gòu)建大模型生態(tài)藍(lán)圖。據(jù)悉，Tigerobot在經(jīng)典公開NLP語料測試中表現(xiàn)不俗，效果逼近OpenAI同等大小模型的96%，更在推理式問答等個別領(lǐng)域表現(xiàn)亮眼。

Tigerbot是虎博科技自研的多語言多任務(wù)大規(guī)模語言模型，致力于改善人們的工作流以提高效率，將成為人們工作必備的外腦搜索引擎之一。參與評測的TigerBot-7B是其第一版MVP，經(jīng)歷了3000次實驗迭代。目前，虎博科技創(chuàng)始人兼CEO陳燁持續(xù)帶領(lǐng)團(tuán)隊改進(jìn)，已迭代出同等大小且表現(xiàn)優(yōu)于OpenAI的新模型，并將在近期更新發(fā)布。(產(chǎn)品體驗：https://www.tigerbot.com/chat，登錄即可申請體驗，感受逼近OpenAI表現(xiàn)的國產(chǎn)大模型。)

根據(jù)OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動評測，TigerBot-7B 已達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%，這得益于虎博科技在 GPT和BLOOM 基礎(chǔ)上，對模型架構(gòu)和算法進(jìn)行了多項創(chuàng)新優(yōu)化，包括指令完成監(jiān)督微調(diào)的創(chuàng)新算法，以提升可學(xué)習(xí)型;運用ensemble 和 probabilistic modeling 的方法，實現(xiàn)更可控的事實性和創(chuàng)造性;在并?訓(xùn)練上，突破了 deep-speed 等主流框架中若?內(nèi)存和通信問題，使得在千卡環(huán)境下可實現(xiàn)數(shù)??間斷等。此外，經(jīng)對中?語?的更不規(guī)則的分布，虎博科技從 tokenizer 到訓(xùn)練算法等方面做了針對性算法優(yōu)化，使得模型的問答更具中國文化屬性。

(上圖為公開 NLP 數(shù)據(jù)集上的自動評測，以O(shè)penAI-instruct GPT-6B-SFT為基準(zhǔn)，歸一化并平均各模型的得分情況)

“此等一生難遇一次的大機(jī)遇，是吾輩之幸事!”在人工智能領(lǐng)域從業(yè)20年后，陳燁對大模型的橫空出世發(fā)表了真摯的言辭，更激發(fā)了他內(nèi)心年少時的激情。他認(rèn)為，推進(jìn)人類文明的技術(shù)變革往往源于本能、直覺和偶然性，而擁有自由的創(chuàng)新精神是根本。大模型技術(shù)就像是一門新興學(xué)科，其未來的可能性將超過每個人的想象，他表示，現(xiàn)階段過早和過于理性地探討產(chǎn)品、應(yīng)用、場景和商業(yè)化或許沒有必要，更重要的是推廣這一人工智能基礎(chǔ)設(shè)施的原創(chuàng)突破，促進(jìn)技術(shù)的發(fā)展和更新?！八鼘⑹穷嵏彩角议L周期的?！?/p>

秉持科學(xué)創(chuàng)新無國界、無階層的信念，虎博科技將以全套API形式開源Tigerbot的階段性成果，試圖與廣大大模型應(yīng)用開發(fā)者共同構(gòu)建大模型生態(tài)藍(lán)圖，通過生態(tài)的發(fā)展反哺促進(jìn)大模型能力迭代，讓技術(shù)和產(chǎn)業(yè)發(fā)展共榮共生，共同打造中國的世界級應(yīng)用。此次開源內(nèi)容包含模型、代碼、數(shù)據(jù)三部分，包含TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research等多個模型版本，經(jīng)基本訓(xùn)練且覆蓋雙卡推理 180B 模型的量化和推理代碼，以及高達(dá)100G的預(yù)訓(xùn)練數(shù)據(jù)和監(jiān)督微調(diào) 1G 或 100 萬條數(shù)據(jù)。值得一提的是，TigerBot-7B-base的綜合表現(xiàn)優(yōu)于同等可比的OpenAI和BLOOM，TigerBot-180B-research 的參數(shù)量達(dá)1800億，或是目前業(yè)內(nèi)最大的大規(guī)模語言模型，而高達(dá)100G的預(yù)訓(xùn)練數(shù)據(jù)，更被視為目前業(yè)內(nèi)最大且質(zhì)量最優(yōu)的開源預(yù)訓(xùn)練數(shù)據(jù)之一。同時，虎博科技還將開放大量的金融、法律、百科等領(lǐng)域?qū)I(yè)數(shù)據(jù)，供應(yīng)用開發(fā)者使用。

(開源地址：https://github.com/TigerResearch/TigerBot)

回顧Tigerbot研發(fā)過程，虎博科技致敬了硅谷90年代經(jīng)典的“車庫創(chuàng)業(yè)”模式，項目組在陳燁的帶領(lǐng)下，從5人小隊發(fā)展成目前10人小組。團(tuán)隊克服多重困難，在1月內(nèi)實現(xiàn)自研全棧代碼，當(dāng)時測試表現(xiàn)已達(dá)OpenAI可比模型的80%效果，為整個團(tuán)隊注入了一劑“強(qiáng)心針”，促使他們不斷突破事實性、創(chuàng)造性和思維鏈等底層研究，最終實現(xiàn)了算法、工程、數(shù)據(jù)的高效迭代。他們以每日至少3次，累計超過3000次的實驗，打造出了Tigerbot。

據(jù)悉，虎博科技成立于2017年，以讓人們獲取知識更簡單為愿景，致力于通過深度學(xué)習(xí)、自然語言處理等世界前沿技術(shù)，深入挖掘全球各行業(yè)信息，以可視化的問答方式呈現(xiàn)關(guān)鍵內(nèi)容。同時，以貼近一線的視角精準(zhǔn)洞察行業(yè)痛點，將核心技術(shù)產(chǎn)品化，幫助企業(yè)在日常運營、產(chǎn)品體驗等多方面高度提效。截至目前，虎博科技融資額超越同階段AI+NLP領(lǐng)域其他企業(yè)。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。