高層速讀

IBM Research 宣布他們使用一組由 Criteo Labs發(fā)布的40多億個廣告數(shù)據集來訓練邏輯回歸分類器，在POWER9服務器和GPU上運行自身機器學習庫Snap ML，能夠在91.5秒內訓練出邏輯回歸分類器，比之前谷歌的最佳結果快46倍。

IBM希望讓機器學習的速度和打響指的速度一樣快。

在IBM THINK會議上，IBM Research 宣布他們使用一組由 Criteo Labs發(fā)布的40多億個廣告數(shù)據集來訓練邏輯回歸分類器，在POWER9服務器和GPU上運行自身機器學習庫Snap ML，能夠在91.5秒內訓練出邏輯回歸分類器，比之前谷歌的最佳結果快46倍，后者在Google Cloud平臺上使用TensorFlow在70分鐘內訓練出相同的模型。

英偉達CEO黃仁勛與IBM高級副總裁John Kelly

IBM研究公司負責非易失性存儲器的經理Haris Pozidis在接受一家媒體采訪時表示，這篇論文概述的結果是最近幾年研究的頂峰。Pozidis說：“當我們開始做這件事情的時候，是為了使機器學習更容易被人們接受，并且使機器學習比過去和現(xiàn)在快得多。”

這個由人工智能軟件提供動力的新庫被稱為IBM Snap Machine Learning(簡稱Snap ML)，因為它訓練模型的速度“比你打拍子的速度快”，它為現(xiàn)代CPU/GPU計算系統(tǒng)上流行的機器學習模型提供了高速訓練。由此帶來的好處包括降低了用戶的云成本、減少了精力投入和縮短了實現(xiàn)時間。

IBM的Snap ML有三個核心元素

分布式培訓：該系統(tǒng)是作為一個數(shù)據并行框架構建的，能夠在大型數(shù)據集上進行擴展和訓練，這對于大型應用程序是至關重要的。

GPU加速：IBM使用專門的解決方案來利用GPU的大規(guī)模并行體系結構，同時尊重GPU內存中的數(shù)據局部性，以避免大量的數(shù)據傳輸開銷。它還利用了最近在異構學習方面的發(fā)展，使其具有可伸縮性，即使可以存儲在加速器內存中的數(shù)據只有一小部分，也可以實現(xiàn)GPU加速。

稀疏數(shù)據結構：在認識到了人機學習數(shù)據集是稀疏的基礎上，IBM的系統(tǒng)對算法進行了新的優(yōu)化。

IBM研究數(shù)學家Thomas Parnell說：“大多數(shù)機器都具有異構的計算基礎設施，但是我們分配培訓的方式，在某種程度上是為了減少培訓的不同模式之間必須進行的交流，這使我們能夠避免通過網絡傳送大量數(shù)據的開銷。”

Parnell說，對稀疏數(shù)據結構的支持是相當新穎的，在研究論文中進一步概述了這一點，并與現(xiàn)有的用于執(zhí)行這類任務的庫進行了一些比較。

IBM Research在91.5秒內將一個包含40多億個訓練示例的在線廣告數(shù)據集用于邏輯回歸分類器

特別地，IBM研究了Google的TensorFlow框架，該框架主要關注大規(guī)模線性模型上的機器學習?！癟ensorFlow非常靈活，”Parnell說，“它可以支持GPU加速，還可以從多個節(jié)點擴展。但我們發(fā)現(xiàn)TensorFlow的缺點之一是它對稀疏數(shù)據結構的支持相對有限?！?/p>

IBM研究人員的另一個發(fā)現(xiàn)是，在為這樣大規(guī)模的應用程序部署GPU加速時，由于訓練數(shù)據太大，而無法存儲在GPU可用的內存中。這意味著在訓練期間，需要有選擇地處理數(shù)據，并反復地將數(shù)據移入和移出GPU內存。

在論文中，研究人員還探索了不同層次的平行性，IBM的研究員Celestine Duenner說：“第一個層次是將工作負載分布在集群中的不同節(jié)點上，第二層是在一個節(jié)點內的不同計算單元之間分配工作負載，第三層是使用單個計算單元提供的所有并行性?！?/p>

通信必須通過網絡進行，但是可以對不適合單個機器內存的大型數(shù)據集進行訓練?！拔覀兪褂梅植际脚嘤?，這樣我們就可以使用多臺機器的聚合內存，”Duenner說，“我們使用最先進的技術來組織節(jié)點之間的工作，實現(xiàn)有效的通信?！?/p>

Parnell說，IBM最終的目標是加快機器學習的速度，并使計算機基礎設施能夠盡快商業(yè)化。他說：“訓練時間的長短非常關鍵，因為云實例通常按小時計費，因此您使用它們的時間越長，您為它們支付的費用就越多。”

預計今年下半年，作為Power AI技術組合的一部分，IBM Research所研究的成果將能夠商業(yè)化，IBM目前正在尋找對試點項目感興趣的客戶。

• 微信搜索【AI商業(yè)報道】，獲取國內外AI巨頭新動向及行業(yè)資訊！

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。