隨著人們文化娛樂消費(fèi)的逐年增加,泛娛樂社交行業(yè)也迎來了爆發(fā)式增長。同時,云計算、人工智能、5G、物聯(lián)網(wǎng)等新一代信息通信技術(shù)的快速發(fā)展,以及硬件技術(shù)的變革,都為泛娛樂產(chǎn)業(yè)帶來廣闊的發(fā)展機(jī)會。在新一輪娛樂社交賽道的角逐中,成功的機(jī)遇藏在哪里?

近日,在網(wǎng)易智企主辦的MCtalk泛娛樂科技峰會上,火山引擎AI組計算機(jī)視覺方向負(fù)責(zé)人范青發(fā)表了主題為《AI智能互動美化特效促進(jìn)內(nèi)容生產(chǎn)與創(chuàng)新》的演講,分享了字節(jié)跳動多年來在“特效引擎+CV算法”與互動娛樂場景的結(jié)合與落地經(jīng)驗,以及智能互動美化特效作為增長工具服務(wù)企業(yè)的技術(shù)能力。

以下為范青演講全文:

大家好,我是來自字節(jié)跳動火山引擎AI組計算機(jī)視覺方向的范青。今天是一個泛娛樂峰會,我想先跟大家分享一下在娛樂方向上我們所做的工作。

首先我想介紹一下我們的火山引擎AI計算機(jī)視覺團(tuán)隊,我們是面向企業(yè)的智能技術(shù)團(tuán)隊,可以通過火山引擎把字節(jié)多年沉淀的有經(jīng)驗的組件提供給企業(yè)的開發(fā)者們,6月10日有一場火山引擎的品牌發(fā)布大會,歡迎大家關(guān)注。

特效場景篇

我想從特效的場景切入正題。字節(jié)跳動是一家擁有多產(chǎn)品矩陣的公司,在很多的業(yè)務(wù)場景下都落地了互動美效的功能,比如大家很熟悉的抖音上的特效,像國漫動畫風(fēng),日漫動畫風(fēng)以及虛擬人相關(guān)的特效,在我們的業(yè)務(wù)里面隨處可見。

以抖音為例,作為內(nèi)容平臺,消費(fèi)者同時也是生產(chǎn)者,想提升平臺的活躍度,一方面需要把消費(fèi)者轉(zhuǎn)化成生產(chǎn)者:我們的智能視覺特效和智能創(chuàng)作就可以助力用戶以低門檻高效率的方式生產(chǎn)內(nèi)容;另一方面,在消費(fèi)端通過推薦算法進(jìn)行精準(zhǔn)的內(nèi)容分發(fā),提升視頻的消費(fèi),從而形成生產(chǎn)和消費(fèi)的閉環(huán)。字節(jié)的算法能力大家也比較了解,我就不贅述了。

在直播場景,分為開播端和觀眾端,開播端的主要用戶是主播,對主播而言,刷禮物是直接的直播收入來源。我們的特效能力可以幫主播定制化禮物,比如可以生成帶有主播照片的禮物,給主播進(jìn)行排面展示。這種定制化的禮物在排行榜上同級別禮物中銷量排名前二,購買率非常高。

同時,直播場景觸發(fā)云渲染的技術(shù),現(xiàn)在還是有非常多的下沉市場用戶使用的手機(jī)配置較為有限,為避免用戶因終端算力的問題而影響了互動的體驗,我們也做了一些研發(fā)的工作,使渲染工作在云端上完成。

另外,也有一些主播不愿意露臉,Animoji虛擬形象功能可以貼合主播自身的形象,上線之后也得到了非常好的用戶收益。

最后是觀看體驗上的提升,我們采用自研的算法實現(xiàn)自適應(yīng)銳化,讓觀看端以高清檔位(720P)自適應(yīng)的方式觀看,使整個畫質(zhì)更加透亮清晰,從而提升觀感。

在短視頻的場景下,抖音上近期投稿火熱的玩法是“芳心收割攻略”,這個是特效與運(yùn)營聯(lián)動實現(xiàn)的,通過運(yùn)營的同學(xué)運(yùn)營起來,有相關(guān)的用戶參與和相關(guān)的熱點,才能發(fā)揮最大的價值。

另一個近期的爆款特效是用到了生成對抗網(wǎng)絡(luò)算法的“只有淡妝”,這個特效只上線了18天就在抖音的內(nèi)部評級達(dá)到了“S”級,這是近半年來比較明顯的成績。

除此之外還有地標(biāo)AR,這也是我們在商業(yè)化的探索,我們對成都IFS(國際金融中心)的建筑物做了特效的附著,整個流程涉及到了采集、云端渲染等相關(guān)的能力去進(jìn)行展示,這個實踐也能夠融合到文旅方案,為旅游產(chǎn)業(yè),或者是博物館帶來一些體驗和商業(yè)上的升級。

此外,在一些泛互娛樂場景下,比如在線教育,瓜瓜龍英語的趣味游戲功能卡能讓年紀(jì)較小的孩子在初級體驗課里展示自己的學(xué)習(xí)成果,這個功能卡片的受歡迎度排名第二,孩子們非常喜歡用這個卡片和老師互動。

還有智慧大屏的應(yīng)用,現(xiàn)在的電視上一些攝像頭幫助大家進(jìn)行家庭的娛樂體驗,后疫情時代有很多涉及到健身和電商購物的場景,我們在大屏電視上也做了一些落地,大屏電視的情況比較特殊,因為終端算力本身就不強(qiáng),它的CPU的能力落后移動手機(jī)的一到兩代。在這樣的較極端的終端場景下的落地特效也是目前在攻克的方向。

特效算法篇

講完了落地的場景,我想和大家分享關(guān)于特效的算法,有三個非常重要的關(guān)鍵詞——深耕場景、數(shù)據(jù)驅(qū)動、落地為先。

大家提到人工智能算法,會有非常多的聯(lián)想,我們進(jìn)行場景的細(xì)化,讓算法可以更好的服務(wù)用戶,關(guān)于算法適配相關(guān)的是我們非常關(guān)注的點。因為在不同的用戶體驗下,它會分中近遠(yuǎn)距離,全身半身,橫豎屏,以及實時、非實時的處理的要求等等因素,都會影響到算法的結(jié)果,因為算法本身是一個比較敏感的模型,模型本身雖然適配很重要,或者泛化能力很重要,但我們在不同的場景下有不同的優(yōu)化,比如說會議場景或者是短視頻場景都會進(jìn)行不同的模型適配,同時搭配不同的分發(fā)策略,這個模型到了大家的手機(jī)上也會因為手機(jī)的評分去進(jìn)行不同的模型分發(fā),這是一個非常重的生產(chǎn)工作。

在工程優(yōu)化方面,不同機(jī)型的處理能力又不一樣,GPU的表現(xiàn)又不一樣,對于機(jī)型的評分我們非常關(guān)注,我們工程也要對移動端或者是大屏端進(jìn)行適配。

我們的算法在解決實際問題的時候,也會有不一樣的要求,比如特效玩法的環(huán)節(jié)里面,3D的人臉,就會有口紅的適配、帽子、耳機(jī)這樣的場景,在某些場景下帽子的材質(zhì)沒有那么重要,但如果這個東西在電商場景下去落地,比如說我想看看口紅的顏色,想看看珠光、啞光什么樣子,不同的顏色是什么樣子的,都需要AI的能力非常逼真,算法在不同的場景下也要去做不同的適配,讓它更貼合當(dāng)下的業(yè)務(wù)場景。

特效引擎篇

我們經(jīng)常聽到“跨平臺聯(lián)動”、“熱點追蹤”和“熱點覆蓋”這些說法。做移動端的生意,就必須在你的業(yè)務(wù)下能轉(zhuǎn)得起來,能支撐所有的用戶。這就需要多平臺支持,需要我們的算法既能落地在App上,也能落地在瀏覽器上,同時還可以落地在小程序上。我們需要進(jìn)行移動端SDK的開發(fā),甚至使用云渲染這種比較重的方法去解決多平臺跨平臺支持的問題。

3D引擎跟虛擬形象以及智能創(chuàng)作相關(guān),3D引擎剛才也提到了,比如說物理引擎的模擬,比如說動畫系統(tǒng),比如說粒子,TOF攝像頭,像谷歌和蘋果自己有AR的工具,他們從2D到3D的轉(zhuǎn)化也做了很多的工作,也許是下一個轉(zhuǎn)化是使用習(xí)慣的改變。

特效內(nèi)容篇

內(nèi)容也是我很想分享的,除了技術(shù)上的東西,其實我們認(rèn)為,運(yùn)營是在娛樂場景下可能是最重要的一環(huán)。

我們生產(chǎn)了非常多的貼紙,生產(chǎn)了非常多的素材,這么好玩的貼紙和素材都需要有一個平臺去支撐它,并且去評估它到底能夠起到多大的作用。我們會有一個平臺進(jìn)行綜合管理,第一個關(guān)鍵詞就是平臺管理;

第二塊是數(shù)據(jù)監(jiān)控相關(guān)的,這需要多個維度的數(shù)據(jù)監(jiān)控,包括熱度,它的衰減曲線,地區(qū)熱度,抽象規(guī)則,使下一次特效上線之前有充分的經(jīng)驗可以借鑒,去評估我們每一個玩法能達(dá)到的效果;

最后是關(guān)于商業(yè)化運(yùn)營,特效除了提升用戶體驗之外,怎樣才能給企業(yè)或者是給產(chǎn)品帶來新的增長。我們的很多業(yè)務(wù)都有商業(yè)化特效,比如說跟品牌相關(guān)的一些貼紙,小游戲,之前跟肯德基合作過一個射擊游戲,因為有畫的地方都可以貼logo,每一個明顯的特效欄都是自然的廣告位,并且這樣的方式是廣告主非常喜歡的,因為廣告的形式真的太多了,像我們這一類的廣告貼紙又能觀測到點擊又能產(chǎn)生實際的效果。

特效工具篇

最后我想談?wù)劵鹕揭娴奶匦a(chǎn)工具,特效生產(chǎn)工具在我們整個的鏈路里面是非常非常重要的環(huán)節(jié)。

我認(rèn)為特效的生產(chǎn)效率對于特效能不能落地業(yè)務(wù)起著決定性的作用,在這一個環(huán)節(jié)里,我會跟大家分享三個關(guān)鍵詞,第一個是提升生產(chǎn)效率,第二個是完善設(shè)計生態(tài),最后一個是引擎同步升級。

像我們的2D、3D,甚至美顏等特效如何快速生產(chǎn),如果需要一個人干好幾天來生產(chǎn),是無法支撐業(yè)務(wù)的。我們自己有一個生產(chǎn)工具,這個工具的底層和SDK都是同樣的引擎,它可以幫助我們的設(shè)計師用無代碼的方式,快速地生產(chǎn)一個特效,比如一天生產(chǎn)2D特效,5天生產(chǎn)3D特效。并且,因為工具是抽象的,我們也可以向外部提供,讓外部的設(shè)計師生產(chǎn)了素材之后反哺我們的平臺,外部設(shè)計師愿意在我們的生態(tài)上繼續(xù)生產(chǎn)貼紙可以實現(xiàn)變現(xiàn),同時也提升了我們的效率。

最后是工具和引擎的聯(lián)動,算法創(chuàng)新了馬上會上到引擎。按照傳統(tǒng)的工作流程,一個開發(fā)設(shè)計師為了對接引擎和渲染之間關(guān)鍵點的東西就需要好幾天,是非常浪費(fèi)時間的。我們的工具就是為了提升生產(chǎn)效率,讓外部的用戶也能使用到我們的工具,得到效率的提升。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）