原標(biāo)題:張國榮《熱·情》演唱會再現(xiàn)熒幕:AI修復(fù)解鎖的經(jīng)典與視聽生活
每年的4月1日,都會有千萬人自發(fā)地去追思張國榮?;蛑販赜耙暺危蚵牻?jīng)典曲目,在哥哥生前傾注的心血中持續(xù)不斷獲得動力與力量。
熟悉張國榮的粉絲,可能都了解哥哥生前最后的一場演唱會——《熱·情》。這場演唱會由其親自擔(dān)任藝術(shù)總監(jiān),從藝術(shù)構(gòu)思到劇情式的曲目編排,承載著他對華語歌壇的滿腔熱忱。在張國榮闊別19年后,塵封的《熱·情》演唱會母帶,在AI技術(shù)的修復(fù)下,與粉絲重逢。
4月1日 ,由騰訊云多媒體實(shí)驗(yàn)室領(lǐng)先算法團(tuán)隊(duì)修復(fù)、騰訊音樂娛樂集團(tuán)攜手環(huán)球音樂旗下廠牌寶麗金,并聯(lián)合騰訊云、微信視頻號、騰訊視頻等多個(gè)團(tuán)隊(duì)聯(lián)合呈現(xiàn)的“張國榮2000年《熱·情》演唱會超清修復(fù)版”全球首播。數(shù)千萬粉絲共同見證了AI技術(shù)加持下的這場風(fēng)華絕代的演唱會。
視頻修復(fù)并不是新鮮的事物,相信大部分讀者之前在社交平臺中都刷到過用AI修復(fù)百年前老北京影片的新聞。許多經(jīng)典老片、大熒幕電影都經(jīng)過AI技術(shù)的修復(fù),被重新搬上了熒幕。AI技術(shù)修復(fù)視頻影像資料此前大都集中在影視領(lǐng)域,對于演唱會這類視頻資料的修復(fù)較少見。雖然都是修復(fù)視頻,但演唱會和影視類的視頻修復(fù)還是有著較大的區(qū)別。
視頻修復(fù)中的“長尾”困境
視頻修復(fù)包含物理修復(fù)和數(shù)字修復(fù),前者指對于膠片本身的修復(fù),包括去除雜質(zhì)、形變、劃痕等流程,后者則主要集中在基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)這方面的全自動修復(fù),AI技術(shù)的引入,在修復(fù)領(lǐng)域的核心價(jià)值就是盡可能用技術(shù)覆蓋以前堆砌人力的方式,去減少人力與修復(fù)成本。
視頻修復(fù)解決的是老舊影視資料中,畫面雪花、劃痕等造成視頻素材清晰度、畫面、色彩等造成的感官損失度感受。影視劇視頻的修復(fù),相對演唱會而言場景比較固定,鏡頭的運(yùn)作以及整個(gè)畫面比較穩(wěn)定,從頭到尾的藝術(shù)表達(dá)形式、整體的色彩風(fēng)格比較統(tǒng)一。
但演唱會不一樣,演唱會里面的燈光與畫面鏡頭會有特別多的切換,尤其是在人臉修復(fù)方面,光影效果在現(xiàn)場看是助燃劑,但對于修復(fù)來說,就是復(fù)雜的“災(zāi)難”,對于修復(fù)的效果會造成特別大的影響。
腦極體跟此次《熱·情》演唱會背后的修復(fù)技術(shù)專家也聊了下,有關(guān)演唱會修復(fù)背后的一些技術(shù)與故事。
騰訊多媒體實(shí)驗(yàn)室專家研究員夏珍介紹道,現(xiàn)在業(yè)界基本上很難找到基于視頻的人臉修復(fù),大部分的人臉修復(fù)只是基于圖片或者單張照片,如果要用到視頻上會遇到更多復(fù)雜的問題。比如每一幀中臉的角度不一樣,如果是側(cè)臉或者很小的臉以及很大的臉,各種角度和姿態(tài)的臉都需要在算法處理里面能夠解決這些問題。
在演唱會修復(fù)中,不僅需要面對人臉本身的修復(fù)問題,還疊加了光影的影響。演唱會不僅有燈光并且顏色多變,打在人臉上后,如何運(yùn)用智能算法,解決這些問題,是一項(xiàng)不小的挑戰(zhàn),并且在這其中,也會有技術(shù)不能解決的問題。
我們知道,在視頻修復(fù)中,劃痕和雪花點(diǎn)的數(shù)量越多,觀賞的體驗(yàn)也就越差。修復(fù)領(lǐng)域,劃痕的修復(fù)成本高昂,并且多數(shù)的劃痕修復(fù)不可逆。并且業(yè)界也缺乏龐大的劃痕公開數(shù)據(jù)庫,這也使得算法難以調(diào)優(yōu),而搭建數(shù)據(jù)庫的話,成本也非常昂貴。
演唱會這類視頻的修復(fù)有著許多長尾問題,除了運(yùn)用純算法模型的方式之外,也需要一些人工參數(shù)的調(diào)整,比較費(fèi)心思。
據(jù)騰訊多媒體實(shí)驗(yàn)室方面介紹,此次演唱會的修復(fù)工作用到的是實(shí)驗(yàn)室旗下的“超清沉浸感修復(fù)引擎”,這是面向老片修復(fù)場景的技術(shù)解決方案。整個(gè)演唱會的修復(fù)包括智能分析、畫質(zhì)修復(fù)、畫質(zhì)增強(qiáng)、智能編碼四個(gè)步驟。通過多種AI評估算法對視頻內(nèi)容進(jìn)行幀級別、場景級別和視頻級別等多維度的智能分析。利用多種人工智能修復(fù)算法,針對老片場景下進(jìn)行訓(xùn)練和優(yōu)化,修復(fù)老片中常見的豎線、雪花點(diǎn)、噪聲、壓縮失真、抖動等問題。
從整體畫面的主觀感受上來看,修復(fù)后比以前的畫面更清晰、更真實(shí)。這種真實(shí)感來自畫質(zhì)整體的增強(qiáng),包括分辨率、色彩、幀率等方面的提升。在張國榮近景特寫中,我們能夠明顯感受到他臉部的輪廓、毛孔、胡子都比老版要清晰很多。用數(shù)據(jù)來表示效果也十分明顯,之前母帶分辨率只有720×480的分辨率,修復(fù)以后接近4K高清畫質(zhì),分辨率提升了6倍,整個(gè)畫面的流暢度也有所優(yōu)化。
除了騰訊外,不少技術(shù)團(tuán)隊(duì)也在加碼高清視頻修復(fù)技術(shù),給老舊影視資料帶來視聽效果效率與體驗(yàn)的多維優(yōu)化。
老影像里的新生意
高清視頻修復(fù)經(jīng)典作品,近兩年是許多流媒體開始投入去做的事情,如愛奇藝、優(yōu)酷、西瓜視頻等,這些平臺都將AI技術(shù)修復(fù)視頻作為新的增長領(lǐng)域開拓。
愛奇藝自主研發(fā)了 ZoomAI 視頻增強(qiáng)技術(shù),可以基于多個(gè)算法模型實(shí)現(xiàn)去劃痕污漬、超分辨率、去噪銳化、智能插幀,并支持4K高清的沉浸式觀影效果。
(三毛流浪記修復(fù)對比圖)
我們熟悉的老片《三毛流浪記》、紅色電影《小兵張嘎》、《東方紅》等140部經(jīng)典影視也被愛奇藝重新修復(fù)為4K,搬上熒幕。為更好地推動經(jīng)典修復(fù)的進(jìn)程,愛奇藝也將高清視頻修復(fù)作為未來發(fā)展的重點(diǎn),啟動了多個(gè)數(shù)字修復(fù)工程,聯(lián)合產(chǎn)業(yè)與多個(gè)機(jī)構(gòu)等,持續(xù)延續(xù)高清視頻修復(fù)的公益與商業(yè)價(jià)值。
中影數(shù)字制作基地和中國科技大學(xué),共同研發(fā)了一個(gè)基于 AI 的圖像處理系統(tǒng)“中影·神思”。借助“中影·神思”系統(tǒng),中影基地已經(jīng)成功修復(fù)了《厲害了,我的國》《馬路天使》《血色浪漫》和《亮劍》等多部影視劇。
中影數(shù)字制作基地修復(fù)中心主任對外披露,利用AI神思系統(tǒng),修復(fù)一部電影的時(shí)間可以縮短四分之三,成本可以減少一半。
優(yōu)酷也用阿里云的“畫質(zhì)重生”技術(shù)來修復(fù)老片。在優(yōu)酷平臺,修復(fù)的經(jīng)典影視內(nèi)容播放量增長迅速,蘇有朋版本的《倚天屠龍記》一經(jīng)修復(fù),在優(yōu)酷的播放量增長了450%。其他諸如《尋秦記》《士兵突擊》《亮劍》等經(jīng)典電視劇,經(jīng)過AI視頻修復(fù)后,都活躍在各大視頻平臺的榜單前列。
經(jīng)典作品自帶持久的生命力,許多經(jīng)典影視,如金庸武俠劇、老港片、經(jīng)典TVB劇等都有著巨量的翻新需求,這些經(jīng)典影視的粉絲群體龐大,懷舊經(jīng)典是許多人的愛好,誰還沒個(gè)循環(huán)十來遍的愛劇呢?
修復(fù)老片不只是一種情懷,對于泛娛樂、流媒體領(lǐng)域來說也能夠產(chǎn)生新的商業(yè)價(jià)值和新的商業(yè)模式?!冻咔逡曨l產(chǎn)業(yè)發(fā)展行動計(jì)劃》顯示,到2022年,超高清視頻產(chǎn)業(yè)總規(guī)模要超4萬億元。超高清視頻修復(fù)市場蘊(yùn)藏著巨大潛力,讓視聽行業(yè)嗅到了藏在老影像里的新生意。目前它雖是一個(gè)公益市場,但也是個(gè)不能忽視的商業(yè)市場。
優(yōu)質(zhì)內(nèi)容是各家視頻網(wǎng)站角逐的核心,而經(jīng)典老片如果可以低成本地大批量進(jìn)行高清修復(fù),意味著盤活了視頻網(wǎng)站的資源庫,可以吸引更多新用戶的留存與會員付費(fèi)的可能。
高清視頻修復(fù)的技術(shù)與資源也會成為各家差異化的優(yōu)勢,AI技術(shù)能夠?qū)⒊杀敬蠓档停屎托Ч蠓嵘?,通過技術(shù)手段可以彌補(bǔ)需求和供給之間的鴻溝。AI修復(fù)的背后,經(jīng)典作品畫質(zhì)的改善,與新的智能設(shè)備、觀看需求的匹配,會使得平臺品牌與流量互相正向循環(huán)促進(jìn)。
不止技術(shù),更是藝術(shù)表達(dá)
高清視頻的修復(fù),不僅僅是在傳媒、流媒體、泛娛樂等領(lǐng)域具備創(chuàng)造價(jià)值,其與普通大眾之間,也逐漸縮短了距離。
西瓜視頻將自己的AI修復(fù)技術(shù),后臺開放高清修復(fù)的功能給每一位普通用戶,用戶可以還原那些對自己有特殊意義的瞬間。如父母輩的一些結(jié)婚錄像,小時(shí)候家庭聚餐的錄影,咿咿呀呀學(xué)習(xí)說話的影像,十年前大學(xué)畢業(yè)的聚會視頻等。這些多年前的模糊影像,都會在AI技術(shù)的加持下,重新鮮活起來。
AI技術(shù)修復(fù)老片,也并不是萬能的,并不是可以解決所有的老片問題。據(jù)光明日報(bào)報(bào)道,中國電影資料館對于老電影修復(fù),有兩組人員,一組是藝術(shù)專家組,另一組是技術(shù)專家組,兩組人員缺一不可。
(百年前的北京城AI修復(fù)前后效果對比,via大谷)
老電影的色彩,風(fēng)俗等場景比較專業(yè),需要藝術(shù)專業(yè)人員的把控。對老片的修復(fù),并不是單純地把色彩修得好看,需要講究修舊如舊的氛圍感。這方面的把握,AI 還很難做到令人滿意。中影基地此前在修復(fù)彩色片《梁祝》時(shí)表示,其色調(diào)的濃稠就很難界定,需要多方專家一起來定奪。
在高清視頻的修復(fù)中,“修舊如舊”也并沒有什么行業(yè)參數(shù)之類的標(biāo)準(zhǔn)存在,對于“如舊”的把控,需要結(jié)合所修復(fù)資料的具體場景、具體藝術(shù)表達(dá)來界定。這個(gè)界定就比較主觀,考察的是技術(shù)團(tuán)隊(duì)與版權(quán)合作方等對于藝術(shù)氛圍的感覺。
在經(jīng)典老片的修復(fù)過程中,不只是技術(shù)能力的釋放,也是一門藝術(shù)行為的表達(dá)。毫無疑問,AI 會加速高清視頻的修復(fù),但也存在局限,無法取代專業(yè)電影修復(fù)師。
對于高清視頻修復(fù)的未來,除了算法模型的打磨外,全息投影,VR360都是可能的發(fā)展方向。隨著5G、高清智能設(shè)備端的普及,對于經(jīng)典系列的畫質(zhì)與清晰度的適配,用戶的要求也會越來越高,初階的480p、1080p到4K,已經(jīng)是標(biāo)配,未來4 K 到8K,適配VR 設(shè)備的3D影像內(nèi)容修復(fù),會是廠商們發(fā)力的方向。
傳媒、泛娛樂、AI技術(shù)只要如常青樹一般發(fā)展,交叉領(lǐng)域的視頻修復(fù)就會乘著這股東風(fēng)飛向遠(yuǎn)方。無論是珍貴的經(jīng)典、還是我們普通人曾經(jīng)閃亮的瞬間,視頻修復(fù)都會點(diǎn)亮這些曾經(jīng)褪色的記憶,讓舊時(shí)光重新鮮活起來,充實(shí)我們的生活。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個(gè)大計(jì)劃瞄準(zhǔn)AI機(jī)器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費(fèi)引熱議
- 消息稱塔塔集團(tuán)將收購和碩印度iPhone代工廠60%股份 并接管日常運(yùn)營
- 蘋果揭秘自研芯片成功之道:領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達(dá)新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關(guān)注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關(guān)注
- 無人機(jī)“黑科技”亮相航展:全球首臺低空重力測量系統(tǒng)引關(guān)注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機(jī)器人合作
- 賽力斯觸及漲停,汽車整車股盤初強(qiáng)勢拉升
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。