大多數(shù)人對Uber在人工智能領(lǐng)域的認知可能都來自于自動駕駛，但實際上Uber在人工智能底層技術(shù)上也有卓越的貢獻，其開源的分布式深度學(xué)習(xí)框架Horovod是世界上最優(yōu)秀的人工智能訓(xùn)練加速框架之一，數(shù)以萬計的人工智能開發(fā)者和組織從中受益。8月28日，在北京舉行的2019人工智能計算大會(AICC2019)上，Uber深度學(xué)習(xí)平臺經(jīng)理寧旭將在大會主論壇上分享如何更好的使用Horovod加速AI模型訓(xùn)練。

Horovod流行的背后是AI算力需求的急劇增加

Horovod實質(zhì)上是Uber開發(fā)并開源的一套先進的分布式系統(tǒng)，它并不依賴于某個框架，而是采用目前業(yè)界廣泛認可的基于環(huán)形All-reduce通信的同步SGD算法，通過計算與通信異步、梯度合并、梯度壓縮等設(shè)備間通信優(yōu)化手段，完成allreduce、allgather等集體操作通信工作。這一特性使得Horovod可以非常方便地與主流深度學(xué)習(xí)框架TensorFlow、PyTorch、 MXNet等進行匹配，在大規(guī)模GPU集群上的訓(xùn)練性能遠高于原生框架的訓(xùn)練性能，提供非常高效的分布式訓(xùn)練性能加速。Horovod的另一大優(yōu)點在于其提供的接口極為簡單，用戶只需修改幾行代碼，就可實現(xiàn)顯著的訓(xùn)練性能提升。

Horovod之所以受到越來越多AI開發(fā)者與研究機構(gòu)的青睞，其背后的原因在于越來越多的機器學(xué)習(xí)模型對數(shù)據(jù)和計算能力需求急劇增加。在大部分情況下，AI模型可以在單個或多GPU平臺的服務(wù)器上運行，但隨著數(shù)據(jù)集的增大和訓(xùn)練時間的增長，有時訓(xùn)練需要一周甚至更長時間。因此，AI開發(fā)者們不得不尋求分布式訓(xùn)練方法來縮短模型訓(xùn)練的時間。

Uber分享Horovod的“獨家秘笈”

Uber目前已經(jīng)將深度學(xué)習(xí)應(yīng)用到了很多公司業(yè)務(wù)中，從自動駕駛搜索路線到防御欺詐等。Uber深度學(xué)習(xí)平臺經(jīng)理寧旭認為，訓(xùn)練現(xiàn)代復(fù)雜的深度學(xué)習(xí)模型需要大量的計算。將計算擴展到多個GPU面臨兩大挑戰(zhàn)：低成本、高效的GPU間通信庫，以及用戶代碼可能會出現(xiàn)較大的更改。而Horovod成功地解決了這兩大難題。

在AICC2019上，寧旭將帶來《利用Horovod進行分布式深度學(xué)習(xí)》的主題演講，不僅將現(xiàn)場分享如何通過Horovod在TensorFlow、Keras、PyTorch和MXNet中實現(xiàn)更快、更輕松的分布式訓(xùn)練，講解Horovod的操作方法，同時也將披露Uber最近在橡樹嶺國家實驗室進行的一項案例研究，講述Horovod在世界上最快的超級計算機上實現(xiàn)百億億級計算。

寧旭曾帶領(lǐng)Uber大數(shù)據(jù)和基礎(chǔ)設(shè)施領(lǐng)域的團隊負責一些開源項目，在機器學(xué)習(xí)、深度學(xué)習(xí)、大數(shù)據(jù)和大規(guī)模計算、網(wǎng)絡(luò)、存儲問題方面有豐富的經(jīng)驗。在加入Uber之前，寧旭曾在Facebook、Akamai和Microsoft以及幾家初創(chuàng)公司工作。

AICC2019精彩紛呈

本屆AICC 2019可謂精彩紛呈，核心板塊為主論壇與自動駕駛、產(chǎn)業(yè)AI創(chuàng)新、AI計算與基準測試、AI+視覺計算、AI+創(chuàng)投五大主題論壇，其中主論壇嘉賓云集了來自中國工程院、英國皇家工程院、百度、中國新一代人工智能發(fā)展戰(zhàn)略研究院、浪潮、Facebook等機構(gòu)的AI產(chǎn)學(xué)研頂尖專家學(xué)者，共聚一堂解讀AI產(chǎn)業(yè)趨勢，分享前沿AI計算技術(shù)。大會同期舉行的AI千人訓(xùn)練營將邀請百度、平安科技、浪潮的資深A(yù)I工程師講解最新AI計算技術(shù)與應(yīng)用，幫助學(xué)員從零入門AI。

　　AICC 2019主論壇嘉賓陣容

與此同時，AICC2019大會期間還將重磅發(fā)布《2019-2020中國AI計算力發(fā)展報告》，公布中國AI計算力城市榜單與熱力分布等重要研究成果，為AI投資、創(chuàng)業(yè)與就業(yè)提供科學(xué)指導(dǎo)。

AICC大會由中國工程院信息與電子工程學(xué)部主辦，浪潮集團承辦，旨在圍繞人工智能的產(chǎn)業(yè)需求研討AI計算，促進AI技術(shù)創(chuàng)新、合作發(fā)展與人才培養(yǎng)。目前，AICC大會已成為AI計算領(lǐng)域最具分量的前沿技術(shù)交流平臺，每年都會吸引數(shù)千名AI產(chǎn)業(yè)與技術(shù)領(lǐng)袖、頂級AI專家和AI開發(fā)者等參與。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。