近年來直播行業(yè)風生水起，各大互聯(lián)網(wǎng)巨頭都紛紛推出自家直播產品進行市場份額爭奪，導致移動直播也成為火熱的垂直領域。不過由于直播產品的特性：高時長使用、網(wǎng)絡高度依賴、資源不匹配差等，成為了制約用戶體驗的難題，雖然直播平臺雖推出了一系列解決方案，但是效果并不明顯，本質上仍需要直播平臺、移動平臺、算法平臺等多方協(xié)作。

對于直播來說，用戶體驗顯然是最重要的。例如不少用戶都會遇到視頻卡頓、幀數(shù)過低，甚至是畫面大面積模糊這類情況，這當中除了網(wǎng)絡環(huán)境會帶來相關差異以外，直播所使用的移動終端對高清圖像解碼能力的差異也會帶來巨大影響，也因此導致了上游IC芯片廠商強化了直播的用戶體驗。我們注意到近期發(fā)布的聯(lián)發(fā)科Helio P90將時下最前沿的移動AI技術結合直播，獨特的AI焦點直播確實給用戶體驗帶來很大的提升。

聚焦面部特征展現(xiàn)，AI焦點直播大幅提升用戶體驗

首先我們來解釋下AI焦點直播的意思，實際上這是聯(lián)發(fā)科Helio P90芯片上的一項全新AI應用。簡單來說，就是當用戶使用搭載聯(lián)發(fā)科Helio P90平臺的智能設備進行直播時，直播平臺會啟用P90的AI編碼框架，配合APU 2.0的算力, 找出直播過程中被認定為重點的區(qū)塊進行高碼率編碼，而不重要的區(qū)塊則減低碼率。

聯(lián)發(fā)科Helio P90平臺(左)展示的焦點直播特性，有效優(yōu)化面部特征。(圖/網(wǎng)絡)

如此一來，可以讓有限的網(wǎng)絡頻寬保留給重要的物件，例如人臉、玩偶等焦點，實現(xiàn)在正常光線下對直播主的美顏美肌、暗光環(huán)境下優(yōu)化直播主核心的面部特征的技術特征，讓直播主這個“實時焦點”顯得更加突出。很有意思的是，聯(lián)發(fā)科這項技術在發(fā)布之后就受到了大量直播用戶的關注。

其實在聯(lián)發(fā)科P90的AI焦點直播推出前，就已經(jīng)有不少的第三方直播美顏軟件，但這些軟件更多意義是讓整個直播畫面變的明亮，或者是簡單的提升直播主的膚色等，不僅存在畫面失真的情況，而且能使用的平臺單一，無法跨直播平臺使用。換句話說，直播美顏更多是直播平臺自家的后臺算法針對人臉偵測，既無法實時實現(xiàn)畫面焦點的優(yōu)化，也無法做到非人臉的局部焦點編碼，體驗相當?shù)木窒蕖?/p>

傳統(tǒng)的直播基本上只是針對畫面做微幅處理，算法比較簡單。(圖/網(wǎng)絡)

聯(lián)發(fā)科P90的AI焦點直播顯然就是針對這一體驗做出的特殊優(yōu)化，它與普通直播美顏軟件最大的區(qū)別就是調動了底層硬件，并配合AI邊緣計算、特殊編碼來實現(xiàn)三方協(xié)作，得益于每秒高達11270億次的定點乘累加能力，可以通過人臉偵測引擎使(AI+ISP)來進行高強度的運算，這個過程中可以熟記和鎖定畫面焦點的細節(jié)特征，在弱光和運動條件下實時準確地檢測人臉和場景。值得一提的是，目前除了聯(lián)發(fā)科P90外，還沒有其他的SoC具有這種功能。

既然聯(lián)發(fā)科P90具備AI焦點直播功能，具體能帶來怎樣的效果?簡單來說通過AI焦點直播不只做到傳統(tǒng)的美顏美肌美白瘦臉，還不只做到傳統(tǒng)的美顏美肌美白瘦臉，還可以讓直播主的面部更清晰，有效降低人物面部MPEG編碼所造成的馬賽克效應，目前用戶通過聯(lián)發(fā)科Helio P70、P90的手機都可以享受到AI焦點直播的魅力，下一步虎牙直播、斗魚直播、YY直播、抖音等都有希望會接入到聯(lián)發(fā)科P90的解決方案中，甚至未來微信視頻、QQ視頻，乃至廠商自家開發(fā)的在線視頻串流功能都同樣可以實現(xiàn)AI焦點直播的效果。

AI焦點直播的背后，強大的APU 2.0提供算力支持

很多用戶持疑，其他芯片不能實現(xiàn)AI焦點直播功能嗎?其實AI焦點直播的背后是強大的AI算力需求，傳統(tǒng)的CPU運算能力和GPU圖形編碼能力不足以支撐這種新型的視頻直播方案。

傳統(tǒng)移動終端負責視頻解碼的硬件主要由CPU+GPU+DSP這三大部分來完成，其中DSP負責的稱之為硬解碼，而CPU則作為輔助軟解碼運算。但是他們的缺點都十分明顯，DSP作為硬解碼方案，算法已經(jīng)完全固定下來(部分可以通過固件更新)，所以只能解碼它所支持的，如果對編碼處理不同有可能就無法解碼成功，進而導致直播過程中產生花屏卡頓甚至綠屏的情況出現(xiàn)。 而CPU軟解碼對于算法的擴展能力雖然比DSP強，但是其本本身就是耗電大戶，隨著直播清晰度的提升，做高強度的軟解將大量的消耗終就不寬裕的電力資源，這對于移動終端來說是致命的缺陷。

目前聯(lián)發(fā)科技P90的焦點直播技術則是基于APU 2.0模塊提供的強勁AI算力(根據(jù)跑分顯示，P90的AI算力已經(jīng)超越高通855)，通過攝像頭捕捉到的人物頭面部畫面，APU將該區(qū)域在系統(tǒng)內做特殊標注，分析影片中的紋理、邊緣鋸齒、顏色等信息，主動定義可能含有面部特征的ROI區(qū)域(Region Of Interest, 感興趣區(qū)域)，針對這些區(qū)域每秒可實現(xiàn)上億次運算，最終能帶來精準的焦點鎖定與優(yōu)化，實現(xiàn)碼率與視頻壓縮質量的提升。

借助于AI算力，聯(lián)發(fā)科P90對噪點的控制會比傳統(tǒng)的CPU和DSP方案有更好的效果。而更重要的一點在于AI引擎的運作大大降低了CPU和DSP運作的強度，對于電力敏感的移動終端來說，極大的提升的續(xù)航能力，進一步提升直播中的用戶體驗。

整體來看，聯(lián)發(fā)科P90的AI焦點直播確實是切中了直播業(yè)平臺和用戶的痛點。在全民直播的時代，高清畫質輸出意味著平臺方需要不斷加大帶寬成本的投入，對于不少中小型平臺來說是相當難以承受的開支，而Helio P90將原先只能在B端(平臺方)尋求解決方案的問題，轉而通過C端(用戶方)設備進行強力的輔助和優(yōu)化，對于促進直播產業(yè)的發(fā)展和效率提升也有著相當大的幫助作用。

據(jù)悉搭載聯(lián)發(fā)科P90的智能手機將在2019年第一季度上市，屆時將刷新智能手機在直播上的體驗。得益于幾代產品在AI上的鋪墊，聯(lián)發(fā)科已經(jīng)把智能的觸角應用到分類管理、物體識別、拍照相機、語音文字識別和SR高清分辨率領域，并串聯(lián)起包括智能手機、智能電視、物聯(lián)網(wǎng)設備等在內的終端產品，不僅提高了用戶體檢，也定義了新高端的品牌定位，更提高了品牌價值，走出了不一樣的AI之路。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。