近日,小米舉辦號稱“史上最多重磅新品齊首發(fā)”的發(fā)布會。會上,包括小米8、MIUI10等在內(nèi)的一系列重磅新品正式亮相。其中,有著“國產(chǎn)良心系統(tǒng)”之稱的MIUI10尤其引人關注,作為小米此次發(fā)布會最先登場的新一代手機系統(tǒng),MIUI10以“全面屏”為核心設計,針對全面屏操作進行了全方位支持和優(yōu)化,同時全面應用AI,不但能夠幫助用戶輕松搞定復雜的操作,而且能夠帶給用戶更好的高清畫質體驗。接下來,我們就一起探尋MIUI10背后的高清畫質“神器”。
KIE:將圖片變清晰的“神器”
這種將圖片變清晰的“神器”,就是KIE(Kingsoft Image &AI Enhancement)。KIE是金山云近期推出的基于AI技術的畫質增強產(chǎn)品,將其應用于移動終端或圖片傳輸中,可為用戶帶來超清的圖像視覺體驗,或者節(jié)省3/4的圖片傳輸帶寬成本。
小米MIUI官網(wǎng)對于KIE的介紹
隨著移動終端特別是手機分辨率的不斷上升,更高分辨率圖片的需求也與日俱增,這是因為低分辨率的圖片,如果放到高分辨率的屏幕下,就會讓視覺效果變得很差。如果720P的圖片放在1080P的屏幕上,就會出現(xiàn)這樣的問題。
高分辨率屏幕下顯示低質量圖片,會讓視覺效果變差
而傳統(tǒng)的解決方案——插值算法,包括雙線性插值和臨近插值,但這種方法往往會導致邊緣出現(xiàn)鋸齒、模糊等問題,將大幅降低圖片的視覺效果。金山云KIE則基于人工智能技術,對圖像重建使其高清放大,適配更高清的屏幕,同時對畫面的馬賽克、毛刺區(qū)域進行修復,提升圖片視覺效果。
采用KIE畫質增強功能的圖片效果對比
采用KIE畫質增強功能的圖片效果對比
KIE的秘密武器:超分和修復
KIE是如何做到這些的呢?原來,它有兩種秘密武器——KIE包含超分辨率(以下簡稱“超分”)和修復兩種技術,在深度卷積神經(jīng)網(wǎng)絡上,KIE的超分模型構建了一個七層的網(wǎng)絡,能夠有效提升圖片質量,解除圖片超分時模糊、紋理不清晰等問題。深度卷積神經(jīng)網(wǎng)絡可依據(jù)圖片重建細節(jié),實現(xiàn)清晰度遠超原圖的效果。KIE在網(wǎng)絡結構、模型訓練上進行了大量的探索和嘗試,實現(xiàn)了優(yōu)秀的圖像超分和去噪效果。
采用KIE畫質增強功能的圖片效果對比
細節(jié)對比
KIE三倍圖片放大效果對比
首先,在網(wǎng)絡結構上,KIE采用了Mobile Net V2構造高效的網(wǎng)絡模型。KIE結合殘差學習思想,有效減少學習難度,采用跨層密集連接結構,利于梯度傳播,使得深度網(wǎng)絡在更短的時間內(nèi)學習到更好的模型。采用金字塔結構,使得底層的特征和頂層的特征能夠更有效融合。此外,在訓練loss上,模型采用SSIM、圖像內(nèi)容損失等,讓圖片生成更加銳利的細節(jié)。
KIE采用金字塔結構,使得底層的特征和頂層的特征能夠更有效結合
第二,在模型的訓練上,KIE收集了30萬張高清圖片,確保內(nèi)容豐富,采用多種方法模擬真實網(wǎng)絡圖片的生成過程,從而保證模型在推斷時達到更好的效果,能夠適應絕大部分網(wǎng)絡圖片,確保學習的全面性。同時進行數(shù)據(jù)混合,將不同大小倍數(shù)的圖像混合在一起訓練,從而支持不同倍數(shù)圖片的高清化。
KIE的殘差學習結構:加快訓練速度并提高圖像質量
針對在YUV三通道圖像中,人眼對Y通道中最為敏感的特點,KIE針對Y通道和UV通道分別采用不同網(wǎng)絡,其中Y通道復雜度高于UV通道的復雜度,在保證人眼質量的情況下,加快了訓練和推斷速度。
KIE針對微信、今日頭條等主流網(wǎng)絡圖片聚集地進行調研,發(fā)現(xiàn)很多分辨率較小的圖片,如果與目前主流的移動終端進行匹配,需要放大三倍,這意味著需要對圖片的更多細節(jié)予以處理,因此難度更大。KIE以經(jīng)過訓練的3X網(wǎng)絡對圖片進行處理,經(jīng)過卷積網(wǎng)絡的學習和增強,最終提升了圖片的質量。
KIE的應用場景
目前,KIE以SDK形式集成到各種應用場景中,包括各類手機廠商系統(tǒng)、超級APP應用、瀏覽器等。在同等主觀質量下,KIE具有SDK體積小、推斷速度快和內(nèi)存占用少的特點,且能夠適應多種平臺。
在底層優(yōu)化上,KIE采用模型壓縮和量化技術,有效減少SDK的大小和推斷速度。并且,采用金山云AI團隊構建的高效的深度神經(jīng)網(wǎng)絡實現(xiàn),在CPU上的推斷速度達到了Google tensorlite的二到三倍,內(nèi)存消耗也大大減少,為KIE的技術推廣奠定了基礎。
同時,KIE具有強大的跨平臺特性,目前支持Android、iOS、PC平臺和WEB端,接口簡單快速接入。可在終端上實時處理,與解碼器完全解耦,圖片在移動終端上能夠達到毫秒級響應,全面提升用戶的瀏覽體驗。
名詞解釋:
MobileNetV2:是對MobileNetV1的改進,是一個輕量化卷積神經(jīng)網(wǎng)絡。
SSIM:SSIM(structuralsimilarityindex),結構相似性,是一種衡量兩幅圖像相似度的指標。該指標首先由德州大學奧斯丁分校的圖像和視頻工程實驗室(Laboratory for Image and Video Engineering)提出。SSIM使用的兩張圖像中,一張為未經(jīng)壓縮的無失真圖像,另一張為失真后的圖像。
Google tensorlite:即TensorFlow Lite,Google稱Lite版本TensorFlow是TensorFlow Mobile的一個延伸版本。盡管是一個輕量級版本,依然是在智能手機和嵌入式設備上部署深度學習的一大動作。此前,通過TensorFlow Mobile API,TensorFlow已經(jīng)支持手機上的模型嵌入式部署。TensorFlow Lite應該被視為TensorFlow Mobile的升級版。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- AI新紀元:武漢大學人工智能學院引領創(chuàng)新浪潮,開啟智能未來新篇章
- 腦機融合創(chuàng)新:優(yōu)刻得攜手腦虎科技開啟未來科研新篇章
- 眾鈉能源成功融資交割,新能源領域再掀波瀾
- 云鯨智能攜手國資力量,再獲數(shù)億元投資,揭秘智能家居新篇章
- 抖音概念股逆襲:引力傳媒“地天板”引領市場反彈新潮流!
- 蘋果顛覆想象:2028年可折疊iPad或將引領平板市場新潮流
- 寧德時代向供應商伸出援手:研發(fā)資金背后的新合作模式引關注
- "算力芯片股狂飆,科德教育領跑,股市新篇章:科技力量重塑市場格局"
- 微信重拳出擊,打擊AI仿冒營銷,守護真實社交環(huán)境
- 數(shù)字化轉型重塑紙質標準:中國邁向創(chuàng)新未來之路
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。