12月30日消息（南山）近日，幻方量化旗下的DeepSeek公司宣布發(fā)布全新系列模型DeepSeek-V3首個版本，并同步開源。
DeepSeek-V3為自研MoE模型，671B參數(shù)，激活37B，在14.8T token上進(jìn)行了預(yù)訓(xùn)練。
DeepSeek引用評測報(bào)告指出，DeepSeek-V3多項(xiàng)評測成績超越了阿里旗下Qwen2.5-72B和Meta旗下Llama-3.1-405B等其他開源模型，并在性能上和世界頂尖的閉源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。
令業(yè)界震驚的是，DeepSeek-V3訓(xùn)練僅花費(fèi)了557.6萬美元，在2048xH800集群上運(yùn)行55天完成，還很坦誠地公布了技術(shù)細(xì)節(jié)。
相比之下，GPT-4o這樣的模型訓(xùn)練成本約為1億美元。
這一成果已經(jīng)引起海外注意。其中，OpenAI創(chuàng)始成員Karpathy點(diǎn)評稱，DeepSeek-V3讓在有限算力預(yù)算上進(jìn)行模型預(yù)訓(xùn)練這件事變得容易。它看起來比Llama 3 405B更強(qiáng)，訓(xùn)練消耗的算力卻僅為后者的1/11。
這意味著算力成本的大幅下降，也意味著大模型領(lǐng)域在經(jīng)歷了“百模大戰(zhàn)”后，可能會迎來新一輪的大模型產(chǎn)品競爭。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 最新報(bào)告揭示全球量子信息產(chǎn)業(yè)發(fā)展?fàn)顩r
- 盤點(diǎn)算力網(wǎng)絡(luò)2024：算網(wǎng)城市迅速崛起 1ms時(shí)延圈漸成標(biāo)配
- 中電電氣朱建平：以電力支撐算力，賦能綠色數(shù)據(jù)中心建設(shè)發(fā)展
- CAICT：我國已開始400G光模塊批量部署，800G應(yīng)用尚處探索階段
- 塵埃落定！榮耀完成股改，將適時(shí)啟動IPO
- 三大運(yùn)營商2025年工作會議：“十四五”規(guī)劃收官，創(chuàng)新動能愈發(fā)澎湃
- 新一代智能終端擴(kuò)展功能邊界，促進(jìn)人、機(jī)、物、境深度互聯(lián)融合
- 有廣度、有高度、有溫度：中國聯(lián)通匠心護(hù)航“魅力亞冬”
- 不到600萬美元，性能匹敵GPT4.0！DeepSeek-V3發(fā)布震驚業(yè)界
- 中國信通院：數(shù)字技術(shù)適老化是構(gòu)建“老年友好”型社會的必由之路
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
