雖然推理加速器最初用于數(shù)據(jù)中心，但它們已經(jīng)迅速發(fā)展到應用程序的邊緣推理，如自動駕駛和醫(yī)學成像。通過這種轉變，客戶發(fā)現(xiàn)，同樣的加速器，在數(shù)據(jù)中心處理圖像很順利，但移到邊緣推斷方面卻顯得糟糕。其實原因很簡單：一個處理數(shù)據(jù)池，而另一個處理的是數(shù)據(jù)流。
當你在batch ＝ 1時進行批處理時，池子里待處理的batch就會很多。在數(shù)據(jù)中心，客戶通常是數(shù)據(jù)的處理池，比如被標記的照片。其目標是用最少的資源和功耗以及最佳的延遲來處理盡可能多的照片。
另一方面，邊緣推斷應用程序需要處理數(shù)據(jù)流。我們通常的相機每秒拍攝30幀，每幀通常是200萬像素。通常情況下，每幅圖像需要33毫秒，每秒大約30幀。當你有一個圖像從一個流進來，它如何被處理取決于它需要做什么。
例如，使用推理進行零售分析的商店可能會計算給定時間排隊的人數(shù)。在這個例子中，他們真的不需要幾個小時甚至幾天的結果。然而，如果你駕駛一輛使用自動駕駛功能的汽車，你只有毫秒來處理圖像，否則你可能會撞到人。雖然在這兩個例子中，相機每3毫秒生成1幀圖像，但使用的推理加速器非常不同。
讓我們看看數(shù)據(jù)流發(fā)生了什么。
首先，您需要清理圖像以去除諸如光線條紋之類的東西，然后應用推理。當推理完成后，您需要采取一個行動，根據(jù)你正在處理的活動，所有這些都需要在特定的時間內(nèi)發(fā)生。如果你不需要幾個小時的結果，你可以對圖像進行批處理。在這種情況下，延遲就無關緊要了。重要的是用最少的成本和能量處理最多的圖像。
最常犯的一個錯誤就是在選擇邊緣推斷解決方案時沒有考慮延遲和流媒體吞吐量。比方說，你有一臺每秒能處理30幀的推理加速器，另一臺每秒能處理15幀。
大多數(shù)人自然而然地認為每秒30幀的解決方案更好——其實你錯了。
每秒30幀的加速器可能會獲得比較可觀的吞吐量，原因是它有三個引擎，每個引擎都有不同的延遲。最典型的是英偉達Xavier推理加速器。Xavier的深度學習引擎處理圖像大約需要300毫秒，GPU大約需要90毫秒。如果客戶有兩個深度學習引擎＋GPU都在運行，他們可能會在數(shù)據(jù)池中獲得顯著的吞吐量。
但是，如果它需要從數(shù)據(jù)流一次處理一個圖像，它就不能有效地使用深度學習引擎，吞吐量會顯著下降。在這種情況下，你需要觀察哪個執(zhí)行單元的延遲最短，即GPU的延遲為90毫秒。分割成1000毫秒就是每秒的幀數(shù)，這意味著這個吞吐量實際上只有每秒10幀（而不是宣傳的每秒30幀）。
x Logix購買了一臺Xavier AGX，并將其配置為NX模式（該軟件測量芯片的功率，當功率超過15W時，會調低芯片的時鐘，以防止芯片過熱）。
然后，我們通過Nvidia Xavier NX軟件流運行三個模型（YOLOv3加上我們客戶的兩個模型），并在芯片上運行，測量每張圖像的延遲。我們還通過自己的InferX X1性能評估器運行了相同的模型。
顯然，Nvidia不能為我們自己客戶的機型發(fā)布基準測試，但YOLOv3的數(shù)據(jù)是在Xavier AGX上發(fā)布的，而不是在NX上發(fā)布的——而且他們發(fā)布的數(shù)據(jù)是使用GPU和兩個DL加速器的綜合吞吐量。對于Batch＝ 1，GPU有可接受的延遲。
12下一頁>（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
