4月19日消息，Meta發(fā)布了其最新的開源大模型Llama 3 ，引發(fā)全網(wǎng)關(guān)注。Meta表示，Llama 3模型利用數(shù)據(jù)和規(guī)模將性能提升到新的高度。

此次，Meta發(fā)布了Llama 3 80億和700億參數(shù)兩款模型，分別有預(yù)訓(xùn)練和指令微調(diào)兩個(gè)版本。

Meta介紹，Llama 3在兩個(gè)定制24K GPU集群上接受了訓(xùn)練，使用的數(shù)據(jù)量超過15萬億個(gè)token，這個(gè)訓(xùn)練數(shù)據(jù)集是Llama 2使用的數(shù)據(jù)量的7倍，其中包括了4倍數(shù)量的代碼。這使得Llama 3成為迄今為止最強(qiáng)大的Llama模型，支持8000個(gè)上下文長度，是Llama 2容量的兩倍。

比肩GPT4的開源模型

在Meta公布的AI基準(zhǔn)測(cè)試中，Llama 3 8B、70B模型在語言（MMLU）、知識(shí)（GPQA）、編程（HumanEval）、數(shù)學(xué)（GSM-8K、MATH）等能力上，幾乎全面領(lǐng)先于同等規(guī)模的其他模型。

Llama 3 8B模型在MMLU、GPQA、HumanEval等多項(xiàng)基準(zhǔn)上均勝過Gemma 7B和Mistral 7B Instruct。在Meta公布的AI基準(zhǔn)測(cè)試中，Llama 3 70B的表現(xiàn)甚至超越了谷歌的Gemini Pro1.5以及Anthropic的Claude 3 Sonnet。
Meta還披露了Llama 3 4000億參數(shù)版本模型的性能，在多語言推理任務(wù)、代碼能力，可與GPT-4、Claude 3相匹敵。

Llama 3的優(yōu)良表現(xiàn)被譽(yù)為“媲美GPT4的開源模型”！它將改變?cè)S多研究工作和草根創(chuàng)業(yè)公司的計(jì)算方式。

本月剛剛加入亞馬遜董會(huì)的傳奇研究員，AI開源倡導(dǎo)者吳恩達(dá)在X上發(fā)文表示：Llama 3的發(fā)布是自己收到過的最好的生日禮物！

Llama 3上手教程已搶先出爐

亞馬遜云科技也在Llama 3發(fā)布的第一時(shí)間火速官宣，稱其客戶已可以通過Amazon SageMaker JumpStart使用這兩款Llama 3模型，并發(fā)布了如何通過SageMaker JumpStart發(fā)現(xiàn)和部署Llama 3模型的官方教程博文。

Amazon SageMaker JumpStart是亞馬遜云科技專門構(gòu)建的一個(gè)機(jī)器學(xué)習(xí)中心，提供預(yù)訓(xùn)練的模型、內(nèi)置算法和預(yù)構(gòu)建的解決方案，幫助客戶快速開始機(jī)器學(xué)習(xí)項(xiàng)目。

Amazon SageMaker JumpStart能夠幫助客戶從廣泛的公開可用基礎(chǔ)模型中進(jìn)行選擇，并將基礎(chǔ)模型部署到專用的SageMaker實(shí)例中，這些實(shí)例置于網(wǎng)絡(luò)隔離的環(huán)境，并可以使用SageMaker進(jìn)行模型訓(xùn)練和部署。

現(xiàn)在亞馬遜云科技的用戶可以在Amazon SageMaker Studio中通過幾次點(diǎn)擊或通過SageMaker Python SDK編程方式發(fā)現(xiàn)并部署Llama 3模型，還可以利用SageMaker Pipelines、SageMaker Debugger或容器日志等功能，提升模型性能并實(shí)施MLOps控制。

教程博文節(jié)選：

通過SageMaker Studio UI和SageMaker Python SDK中的SageMaker JumpStart訪問基礎(chǔ)模型。

從SageMaker JumpStart登錄頁，用戶可以通過瀏覽以模型提供商命名的不同集線器來輕松發(fā)現(xiàn)各種模型，可以在Meta hub中找到Llama 3型號(hào)。

用戶可以通過在左上角的搜索框中搜索“Meta-Llama-3”來找到Llama 3型號(hào)。

點(diǎn)擊Meta hub，用戶可以在SageMaker JumpStart中發(fā)現(xiàn)所有可用的Meta模型。

目前，SageMaker JumpStart 中可用的所有 Llama 3 模型，以及每個(gè)模型支持的默認(rèn)實(shí)例類型和最大總token數(shù)如下：

單擊模型卡打開相應(yīng)的模型詳細(xì)信息頁面，用戶就可以從中輕松部署模型。

接著，當(dāng)用戶選擇部署并確認(rèn)EULA條款時(shí)，部署將開始。您可以在單擊“部署”按鈕后顯示的頁面上監(jiān)視部署進(jìn)度。用戶也可以選擇“打開筆記本”通過示例筆記本進(jìn)行部署。

隨著Meta Llama 3的加入，亞馬遜云科技目前提供的“大模型豪華套餐”已包括：通過Amazon Bedrock提供的來自AI21 Labs, Amazon, Anthropic, Cohere, Meta, Mistral AI和Stability AI的領(lǐng)先大模型，以及通過Amazon SageMaker JumpStart提供的包括Meta Llama 3在內(nèi)的各種模型。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。