Hot-Standby是優(yōu)刻得開發(fā)的一種高性價比的算力支持特性。它歸屬于優(yōu)刻得UAI-Inference在線服務(wù)平臺，當(dāng)用戶選擇使用算力獨占模式(GPU節(jié)點)時，為減少獨占資源在用戶無訪問時的資源浪費，用降配資源支持服務(wù)待機的一種模式。

首先來問在座的老司機一個問題：你能快速說出下面這張圖中每一個指示燈、告警標(biāo)志的準(zhǔn)確釋義嗎?

優(yōu)刻得 Hot-Standby

在生活中，我們經(jīng)常會遇到汽車儀表盤故障標(biāo)志亮起的情況，但很多人對此卻是茫然無措。面對突發(fā)的小狀況，大家通常會打電話求助身邊的朋友或是咨詢4S店。當(dāng)你急切的想得到答案時，又往往由于口述表達的不清晰、或?qū)Ψ讲涣私饩唧w情況，不能及時解決問題。并且目前汽車上各種故障燈、提示燈種類繁多，有時甚至連各種老司機、4S店工作人員對某些故障燈的信息也不是非常明確。

這個時候，就需要用到了微車APP的黑科技——AI智能識別汽車故障。

微車AI黑科技：汽車故障識別功能

微車是一個一站式車主服務(wù)平臺，目前已經(jīng)擁有1.3億車主用戶，深度服務(wù)于中國億萬車主和汽車生態(tài)圈。針對車主的痛點，微車新推出了AI智能識別汽車故障服務(wù)，車主只要用手機一掃，即可了解各種故障燈及解決方式。

圖：微車AI智能識別汽車故障應(yīng)用界面

基于1.3億注冊車輛，微車在服務(wù)車主的養(yǎng)車、用車過程中，積累了大量的數(shù)據(jù)和專家知識，通過識別車輛故障圖像中的每一個對象，將其分類、建立標(biāo)簽，依靠深度學(xué)習(xí)能力來識別圖中的信息，最終達到基于不同車輛的故障進行智能識別的目的。故障識別產(chǎn)品是微車最新的AI產(chǎn)品，也是微車AI智能轉(zhuǎn)型的重要一步。

在此過程中，微車采用優(yōu)刻得提供的UAI-Inference在線服務(wù)平臺作為海量數(shù)據(jù)的平臺支撐，當(dāng)微車業(yè)務(wù)突增時也可實現(xiàn)算力的平滑拓展升級。除此之外，優(yōu)刻得UAI-Inference還幫助微車免去了搭建底層技術(shù)架構(gòu)和運維的工作，技術(shù)人員只需專注于AI智能識別汽車故障業(yè)務(wù)的研發(fā)，大大提高了AI算法的開發(fā)效率。

但同時，微車還提出了其他的業(yè)務(wù)痛點訴求。

微車的痛點：業(yè)務(wù)實時性與算力高投入的矛盾

微車開發(fā)的汽車故障識別功能對于業(yè)務(wù)的實時性要求非常高，為了保證用戶每次都能有流暢迅速的使用體驗，微車需要充足的GPU算力資源支撐，而業(yè)務(wù)的實時性需求則意味著GPU的高成本投入。

同時，該業(yè)務(wù)還有著非常典型的波峰波谷差異，如下圖，可以看到：在部分時間段服務(wù)QPS甚至趨于零點，那也就意味著這段時間內(nèi)GPU算力資源勢必會被浪費。

圖：微車汽車故障識別功能監(jiān)控信息

起初為了控制成本，微車考慮過使用CPU資源進行算力支撐，我們列出了優(yōu)刻得的GPU和CPU的價格及延時對比示意圖，供參考。

如上表，可以看到，CPU雖然在價格上具備更大的優(yōu)勢，但是在延時上的差距非常明顯，這是因為GPU擁有更多的計算單元與更大的吞吐量環(huán)境。而微車要做的是對車輛信息大數(shù)據(jù)進行深度學(xué)習(xí)，深度學(xué)習(xí)的特點是需要大量并行的重復(fù)計算，從這一點來講，GPU能夠提供更加高效流暢的使用體驗。

最終，微車選擇使用GPU算力資源優(yōu)先保障用戶的使用體驗，同時高成本投入的難題也得到了解決。那么，微車是怎么做的呢?

Hot-Standby：微車實現(xiàn)高算力+低成本的定心丸

微車采用優(yōu)刻得UAI-Inference新增的的Hot-Standby功能，同時實現(xiàn)了高可靠GPU算力支持與超高性價比的雙重保障。

1、什么是Hot-Standby?

Hot-Standby是優(yōu)刻得開發(fā)的一種高性價比的算力支持特性。它歸屬于UAI-Inference在線服務(wù)平臺，當(dāng)用戶選擇使用算力獨占模式(GPU節(jié)點)時，為減少獨占資源在用戶無訪問時的資源浪費，用降配資源支持服務(wù)待機的一種模式。

開啟Hot-Standby功能后，當(dāng)AI在線服務(wù)在30分鐘內(nèi)無任何請求時，系統(tǒng)會自動將AI在線服務(wù)遷移至降配資源池，大幅減少費用支出，但降配節(jié)點仍然保證為GPU節(jié)點算力。同時，一旦有用戶請求，就會立刻恢復(fù)GPU獨占節(jié)點模式。

2、Hot-Standby究竟能省多少錢?

同樣我們列出了Hot-Standby模式與GPU、CPU模式下的價格與延時對比數(shù)據(jù)。

接下來我們用一個簡單的案例來算算Hot-Standby究竟能省多少錢?

某用戶新上線APP的AI在線服務(wù)功能還處于新產(chǎn)品推廣期間，用戶訪問量不大，每天只有1個半小時的高峰集中請求，平時幾乎無請求。為了保證應(yīng)用的實時性，根據(jù)業(yè)務(wù)量大小，用戶選擇了1個P40 GPU節(jié)點作為算力支撐。問題來了：使用一個月后，Hot-Standby功能可以為用戶省下多少錢?

A

* 不使用Hot-Standby：

(5.1/小時*節(jié)點*1節(jié)點)*24小時/天*30天=3672元

* 使用Hot-Standby：

((0.99元/小時*1節(jié)點)*22.5小時/天+(5.1元/小時*1節(jié)點)*1.5小時/天)*30天=897.75元

* 可節(jié)省：

(3672-897.75)/3672=75%

可以看到，Hot-Standby功能開啟后，單GPU節(jié)點下可為用戶節(jié)省75%的開銷，微車正是應(yīng)用了該功能才解決了高成本投入的難題。

3、Hot-Standby如何在優(yōu)刻得控制臺上開啟?

最后，我們?yōu)榇蠹曳钌螲ot-Standby的功能使用指南。

(1)確認服務(wù)類型為算力獨占模式

UAI-Inference分為兩種模式，在彈性服務(wù)模式下，平臺本身已經(jīng)精確按量計費，在用戶無請求時是不收取任何費用的，無需再設(shè)置Hot-Standby模式。因此首先需要確認服務(wù)類型為獨占模式。

(2)開啟Hot-Standby功能

Hot-Standby被定義在自動伸縮規(guī)則下，用戶需要進入伸縮管理界面打開Hot-Standby功能，由自動伸縮引擎統(tǒng)一執(zhí)行調(diào)整算力到降配節(jié)點及恢復(fù)算力到獨占節(jié)點等步驟。

(3)Hot-Standby的觸發(fā)規(guī)則

Hot-Standby主要受QPS影響，當(dāng)QPS降為0且維持30分鐘后，此時自動伸縮引擎會將當(dāng)前所有節(jié)點逐漸遷移到降配節(jié)點上，Hot-Standby特性被觸發(fā)。同時針對實際業(yè)務(wù)量大小，用戶可通過設(shè)置最小節(jié)點數(shù)量決定Hot-Standby降配的節(jié)點值。

最后我們來總結(jié)下， Hot-Standby功能適用于以下場景的用戶：

(1)業(yè)務(wù)本身對單節(jié)點算力要求高，需要使用獨占算力服務(wù)(GPU節(jié)點);

(2)業(yè)務(wù)存在明顯的閑置期(無用戶訪問時段)，但又需要隨時待命實時響應(yīng)需求。

目前，Hot-Standby功能已經(jīng)在優(yōu)刻得北京二和上海二地域提供，歡迎前來試用體驗。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。