精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    英偉達發(fā)布AI芯片H200:性能飆升90%,Llama 2推理速度翻倍

    11月14日消息,英偉達北京時間13日發(fā)布了下一代人工智能超級計算機芯片,這些芯片將在深度學習和大型語言模型(LLM)方面發(fā)揮重要作用,比如 OpenAI 的 GPT-4。

    新芯片相比上一代有了顯著的飛躍,將被用于數(shù)據中心和超級計算機,處理諸如天氣和氣候預測、藥物發(fā)現(xiàn)、量子計算等任務。

    此次發(fā)布的關鍵產品是基于英偉達的“Hopper”架構的 HGX H200 GPU,是 H100 GPU 的繼任者,也是該公司第一款使用 HBM3e 內存的芯片,這種內存速度更快,容量更大,因此更適合大型語言模型。

    英偉達稱:“借助 HBM3e,英偉達 H200 以每秒 4.8 TB 的速度提供 141GB 的內存,與 A100 相比,容量幾乎是其兩倍,帶寬增加了 2.4 倍?!?/p>

    在人工智能方面,英偉達表示,HGX H200 在 Llama 2(700 億參數(shù) LLM)上的推理速度比 H100 快了一倍。HGX H200 將以 4 路和 8 路的配置提供,與 H100 系統(tǒng)中的軟件和硬件兼容。

    它將適用于每一種類型的數(shù)據中心(本地、云、混合云和邊緣),并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署,將于 2024 年第二季度推出。

    英偉達此次發(fā)布的另一個關鍵產品是 GH200 Grace Hopper“超級芯片(superchip)”,其將 HGX H200 GPU 和基于 Arm 的英偉達 Grace CPU 通過該公司的 NVLink-C2C 互連結合起來,官方稱其專為超級計算機設計,讓“科學家和研究人員能夠通過加速運行 TB 級數(shù)據的復雜 AI 和 HPC 應用程序,來解決世界上最具挑戰(zhàn)性的問題”。

    GH200 將被用于“全球研究中心、系統(tǒng)制造商和云提供商的 40 多臺 AI 超級計算機”,其中包括戴爾、Eviden、惠普企業(yè)(HPE)、聯(lián)想、QCT 和 Supermicro。

    其中值得注意的是,HPE 的 Cray EX2500 超級計算機將使用四路 GH200,可擴展到數(shù)萬個 Grace Hopper 超級芯片節(jié)點。

    極客網企業(yè)會員

    免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

    2023-11-14
    英偉達發(fā)布AI芯片H200:性能飆升90%,Llama 2推理速度翻倍
    用于深度學習和大模型。

    長按掃碼 閱讀全文