借助其定制的Inferentia芯片，Amazon的云計算服務(wù)部門Amazon Web Service（AWS）減少了對以前使用的NVIDIA圖形處理器的依賴。亞馬遜周四表示，它已將大部分處理工作從其個人助理Alexa轉(zhuǎn)移到了自己定制設(shè)計的專用集成電路（ASIC）芯片上，目的是使所有工作更快，更便宜，然后改善計算機的性能。語音助手。
亞馬遜開發(fā)人員Sebastien Stormacq在博客文章中寫道，將AWS Inferentia用于某些Alexa技能可將延遲時間縮短25％，成本估計便宜30％。
“今天，我們宣布，Amazon Alexa團隊已將其基于GPU的機器學(xué)習(xí)推理工作量的絕大部分遷移到了Amazon Elastic Compute Cloud（EC2）Inf1實例，該實例由AWS Inferentia。與Alexa文本到語音工作負載的基于GPU的實例相比，這導(dǎo)致端到端延遲降低了25％，成本降低了30％。減少的延遲使Alexa工程師可以通過更復(fù)雜的算法進行創(chuàng)新，并為我們的客戶改善Alexa的整體體驗。
Stormacq對Inferentia的硬件設(shè)計進行了如下描述：“ AWS Inferentia是由AWS構(gòu)建的定制芯片，用于加速機器學(xué)習(xí)推理工作負載并優(yōu)化其成本。每個AWS Inferentia芯片均包含四個NeuronCore。每個NeuronCore都實現(xiàn)了一個高性能的脈動矩陣乘法引擎，該引擎大大加快了典型的深度學(xué)習(xí)操作的速度，例如卷積和轉(zhuǎn)換器。NeuronCores還配備了大容量的片上緩存，從而減少了對外部存儲器的訪問，從而顯著減少了延遲并提高了吞吐量。
Alexa是亞馬遜基于云的語音服務(wù)，可為Amazon Echo設(shè)備和超過14萬種型號的智能揚聲器，燈光，插座，電視和攝像機提供動力。據(jù)該公司稱，今天，客戶每天將超過1億臺設(shè)備連接到Alexa。但是，如果將這些設(shè)備安裝在辦公室或家庭中，那么Alexa的大腦就會部署在AWS上，這樣，當擁有Echo或Echo點的人使用私人助手Alexa時，處理是在設(shè)備本身上執(zhí)行的。
主要基于人工智能的Alexa請求的工作負載
當諸如Amazon的Echo系列智能揚聲器之類的設(shè)備的用戶向語音助手詢問問題時，該設(shè)備會使用其自身的機載處理程序來檢測喚醒詞（Alexa），然后發(fā)送請求。到亞馬遜數(shù)據(jù)中心。然后，Echo將請求發(fā)送回Amazon的一個數(shù)據(jù)中心，以執(zhí)行多個處理步驟。當Amazon的計算機確定響應(yīng)時，該響應(yīng)為文本形式，必須將其翻譯成語音助手的可聽語言。
在將請求發(fā)送到數(shù)據(jù)中心后，這些計算步驟始終得到簽名Nvidia的GPU的支持，該GPU精確定義了其人工智能策略通過調(diào)整其圖形芯片以適應(yīng)模型訓(xùn)練或推理所需的計算類型。GPU專門從事并行計算，在執(zhí)行這些任務(wù)方面比CPU效率高得多，因此很快被采用。
但是現(xiàn)在Alexa將使用Amazon開發(fā)的第一款芯片AWS AWS Inferencia，該芯片專門用于加速深度學(xué)習(xí)計算。亞馬遜回憶說：“ AWS Inferentia旨在在云中提供較高的推理性能，降低推理的總成本，并允許開發(fā)人員輕松地將機器學(xué)習(xí)與其業(yè)務(wù)應(yīng)用程序的功能集成在一起。”在他的博客文章中。由于這些芯片是專為這些任務(wù)而設(shè)計的，因此在完成任務(wù)時，它們甚至比GPU更為高效。
于2018年首次宣布，亞馬遜的芯片是定制設(shè)計的，可加快大量機器學(xué)習(xí)任務(wù)的速度，例如文本到語音翻譯或圖像識別。諸如亞馬遜，微軟和Alpahbet Inc.的Google之類的云計算客戶已經(jīng)成為計算機芯片的最大買家，從而導(dǎo)致英特爾，英偉達等公司與數(shù)據(jù)中心相關(guān)的銷售激增。
但是，渴望減少對兩家行業(yè)巨頭Nvidia和Intel的依賴的大型科技公司，正越來越多地放棄傳統(tǒng)的芯片廠商來設(shè)計自己的定制芯片。蘋果本周推出了首批三臺Mac電腦（MacBook Air，內(nèi)部設(shè)計了自己的基于ARM架構(gòu)的中央處理器。蘋果甚至表示，計劃在未來兩年內(nèi)將其所有Mac切換到其自己的處理器，而不再使用英特爾芯片。
個人助理Alexa并非唯一一個從Inferentia處理器中受益的人：該芯片為Amazon的AWS Inf1實例提供動力，該實例可被公眾訪問并與由GPU提供動力的Amazon G4實例競爭。根據(jù)Stormacq的說法，亞馬遜的AWS Neuron SDK使機器學(xué)習(xí)開發(fā)人員可以將Inferentia用作流行的FrameWorks的目標，其中包括TensorFlow，PyTorch和MXNet。
除了Alexa，Seb Stomarcq還指定亞馬遜的基于云的面部識別系統(tǒng)Rekognition也將配備該組織的芯片。在他的文章中，他列舉了一些使用Inferentia的外部客戶。其中，Snap Inc.用于其Snapchat應(yīng)用程序或CondéNast組。保險公司Anthem也使用該芯片。
“從財富500強公司到初創(chuàng)公司的客戶都使用Inf1實例進行機器學(xué)習(xí)推理。例如，Snap Inc.將機器學(xué)習(xí)集成到Snapchat的許多方面，而在這方面探索創(chuàng)新是他們的頭等大事。在得知了AWS Inferentia之后，他們與AWS合作采用Inf1實例，以使其更易于部署機器學(xué)習(xí)，尤其是在性能和成本方面。
“看到所有這些公司如何用自己的芯片'一無所獲'，讓自己擺脫被既有芯片公司控制的可能性（如本例中的NVIDIA），真是令人驚訝和激動。也許這最終將滴入常規(guī)的PC和其他設(shè)備（例如Pi的設(shè)備）中。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
