7月24日消息，Meta推出開(kāi)源模型Llama 3.1，包括3個(gè)大小版本，分別是迄今為止最強(qiáng)大的開(kāi)源模型Llama 3.1 405B，以及全新升級(jí)的Llama 3.1 70B和8B模型。

Meta CEO扎克伯格的公開(kāi)信也在官網(wǎng)貼出，他指出，開(kāi)源大模型正在迅速縮小差距。去年，Llama 2 還只能與上一代閉源模型性能相當(dāng)；今年，Llama 3 與最先進(jìn)的模型相媲美，并在某些領(lǐng)域處于領(lǐng)先地位；從明年開(kāi)始，預(yù)計(jì)未來(lái)的Llama模型將成為業(yè)內(nèi)最先進(jìn)的。

同時(shí)，Meta AI宣布已接入Llama 3.1 405B，并推出AI圖片編輯、AI編程等新功能。

Llama 3.1 405B性能超GPT-4o，采用超16000個(gè)H100 GPU訓(xùn)練

Meta在公開(kāi)文檔中介紹，Llama 3.1將上下文長(zhǎng)度擴(kuò)展到 128K，增加了對(duì)八種語(yǔ)言的支持。

其中，Llama 3.1 405B在基于15萬(wàn)億個(gè)Tokens、超16000個(gè)H100 GPU上進(jìn)行訓(xùn)練，這是Meta有史以來(lái)第一個(gè)以這種規(guī)模進(jìn)行訓(xùn)練的Llama模型。

Llama 3.1 405B 在常識(shí)、可操縱性、數(shù)學(xué)、工具使用和多語(yǔ)言翻譯方面的最先進(jìn)能力方面可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等頂級(jí) AI 模型相媲美。

最新推出的Llama 3.1 8B 和 70B 模型的升級(jí)版本，支持相同的128K Tokens上下文窗口、多語(yǔ)言、改進(jìn)的推理和最先進(jìn)的工具使用，能夠支持高級(jí)應(yīng)用，例如長(zhǎng)篇文本摘要、多語(yǔ)言對(duì)話代理和編碼助手。

升級(jí)后的Llama 3.1 8B和70B模型，相比于同樣參數(shù)大小的模型如Gemma2 9B、GPT3.5 Turbo等性能表現(xiàn)也更好。

另外，在現(xiàn)實(shí)場(chǎng)景中，Llama 3.1 405B進(jìn)行了與人工評(píng)估的比較，總體表現(xiàn)優(yōu)于GPT-4o和Claude 3.5 Sonnet。

Meta還對(duì)許可證進(jìn)行了更改，允許開(kāi)發(fā)人員使用 Llama 模型（包括 405B）的輸出來(lái)改進(jìn)其他模型。

從今天開(kāi)始，Meta將在 llama.meta.com 和 Hugging Face 上提供這些模型供下載，用戶可在合作伙伴平臺(tái)生態(tài)系統(tǒng)上立即開(kāi)發(fā)。

扎克伯格：通過(guò)封閉大模型來(lái)防止中國(guó)獲得AI優(yōu)勢(shì)，行不通

在Llama 3.1發(fā)布之際，扎克伯格還發(fā)表了題為《開(kāi)源AI是前進(jìn)的道路》的署名文章。

扎克伯格認(rèn)為，今天，幾家科技公司正在開(kāi)發(fā)領(lǐng)先的閉源模型，但開(kāi)源正在迅速縮小差距。

去年，Llama 2 還只能與上一代閉源模型相當(dāng)；今年，Llama 3 與最先進(jìn)的模型相媲美，并在某些領(lǐng)域處于領(lǐng)先地位。從明年開(kāi)始，預(yù)計(jì)未來(lái)的 Llama 模型將成為業(yè)內(nèi)最先進(jìn)的。

在文章中，扎克伯格從三個(gè)方面談到了開(kāi)源AI的好處，以下為重點(diǎn)摘要：

1、為什么開(kāi)源AI對(duì)開(kāi)發(fā)人員有好處

我們需要掌控自己的命運(yùn)，而不是被鎖定在封閉的供應(yīng)商身上。許多組織不想依賴他們無(wú)法運(yùn)行和控制的模型。他們不希望封閉模型提供商能夠更改他們的模型、更改他們的使用條款，甚至完全停止為他們提供服務(wù)。他們也不想被鎖定在擁有模型專(zhuān)有權(quán)的單一云中。開(kāi)源使擁有兼容工具鏈的廣泛公司生態(tài)系統(tǒng)成為可能，您可以輕松地在這些工具鏈之間移動(dòng)。

我們需要保護(hù)我們的數(shù)據(jù)。許多組織處理需要保護(hù)的敏感數(shù)據(jù)，并且不能通過(guò)云 API 將其發(fā)送到封閉模型。其他組織根本不信任封閉模型提供商處理他們的數(shù)據(jù)。開(kāi)源通過(guò)允許開(kāi)發(fā)者在任何地方運(yùn)行模型來(lái)解決這些問(wèn)題。人們普遍認(rèn)為，開(kāi)源模型往往更安全，因?yàn)樗拈_(kāi)發(fā)更加透明。

2、為什么開(kāi)源AI對(duì)Meta有利

人們經(jīng)常問(wèn)我是否擔(dān)心開(kāi)源 Llama 會(huì)使得Meta失去技術(shù)優(yōu)勢(shì)，但我認(rèn)為這忽略了大局，原因如下：

首先，為了確保我們能夠使用最好的技術(shù)，并且不會(huì)長(zhǎng)期被鎖定在封閉的生態(tài)系統(tǒng)中，Llama 需要發(fā)展成為一個(gè)完整的生態(tài)系統(tǒng)。如果我們是唯一一家使用 Llama 的公司，這個(gè)生態(tài)系統(tǒng)就不會(huì)發(fā)展。

其次，我預(yù)計(jì)人工智能開(kāi)發(fā)將繼續(xù)非常具有競(jìng)爭(zhēng)力，這意味著開(kāi)源任何給定的模型并不會(huì)放棄當(dāng)時(shí)相對(duì)于下一個(gè)最佳模型的巨大優(yōu)勢(shì)。Llama 成為行業(yè)標(biāo)準(zhǔn)的道路是一代又一代地保持競(jìng)爭(zhēng)力、效率和開(kāi)放。

第三，Meta 和封閉模型提供商之間的一個(gè)關(guān)鍵區(qū)別是，出售人工智能模型的訪問(wèn)權(quán)限不是我們的商業(yè)模式。這意味著公開(kāi)發(fā)布 Llama 不會(huì)像閉源模型提供商那樣削弱我們的收入、可持續(xù)性或投資研究的能力。（這也是一些閉源模型提供商不斷游說(shuō)政府反對(duì)開(kāi)源的原因之一。）

最后，Meta 擁有悠久的開(kāi)源項(xiàng)目和成功歷史。我們通過(guò)開(kāi)放計(jì)算項(xiàng)目發(fā)布我們的服務(wù)器、網(wǎng)絡(luò)和數(shù)據(jù)中心設(shè)計(jì)，并讓供應(yīng)鏈在我們的設(shè)計(jì)上實(shí)現(xiàn)標(biāo)準(zhǔn)化，從而節(jié)省了數(shù)十億美元。我們通過(guò)開(kāi)源領(lǐng)先的工具（如 PyTorch、React 等）從生態(tài)系統(tǒng)的創(chuàng)新中受益。只要我們長(zhǎng)期堅(jiān)持，這種方法就一直對(duì)我們有效。

3、為什么開(kāi)源AI對(duì)世界有益

與任何其他現(xiàn)代技術(shù)相比，AI 更具有潛力提高人類(lèi)的生產(chǎn)力、創(chuàng)造力和生活質(zhì)量，并加速經(jīng)濟(jì)增長(zhǎng)，同時(shí)推動(dòng)醫(yī)學(xué)和科學(xué)研究的進(jìn)步。開(kāi)源將確保全世界更多的人能夠享受 AI 帶來(lái)的好處和機(jī)會(huì)，權(quán)力不會(huì)集中在少數(shù)公司手中，并且該技術(shù)可以更均勻、更安全地部署到整個(gè)社會(huì)。

有些人認(rèn)為，我們必須封閉我們的模型，以防止中國(guó)獲得這些模型，但我認(rèn)為這行不通，只會(huì)讓美國(guó)及其盟友處于不利地位。

將美國(guó)創(chuàng)新限制在封閉開(kāi)發(fā)中，增加了我們完全無(wú)法領(lǐng)先的可能性。相反，我認(rèn)為我們最好的策略是建立一個(gè)強(qiáng)大的開(kāi)放生態(tài)系統(tǒng)，讓我們的領(lǐng)先公司與我們的政府和盟友密切合作，以確保他們能夠最好地利用最新進(jìn)展，并在長(zhǎng)期內(nèi)實(shí)現(xiàn)可持續(xù)的先發(fā)優(yōu)勢(shì)。

我相信 Llama 3.1 版本將成為行業(yè)的一個(gè)轉(zhuǎn)折點(diǎn)，大多數(shù)開(kāi)發(fā)人員將開(kāi)始主要使用開(kāi)源。

接入Llama 3.1 405B的Meta AI

最后，再看看已經(jīng)接入Llama 3.1 405B大模型的Meta AI還能怎么玩兒。此次推出的一批新的Meta AI創(chuàng)意工具主要聚焦視覺(jué)生成、數(shù)學(xué)和編碼等領(lǐng)域。Meta AI也放出了一些演示視頻。

以復(fù)雜推理為例，根據(jù)提示：“我有 3 件襯衫、5 條短褲和 1 件太陽(yáng)裙。我要旅行 10 天，我的假期夠穿嗎？”，Meta AI能給出一些好的建議。

或者通過(guò)編碼助手，Meta AI能創(chuàng)建一個(gè)使用遞歸回溯算法或深度優(yōu)先搜索算法生成完美迷宮的程序，具有可自定義的大小和復(fù)雜性。（果青）

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。