原標(biāo)題：數(shù)字中國(guó)的視覺(jué)進(jìn)階：ISP的來(lái)處與歸途

每次不知道該聊點(diǎn)什么的時(shí)候，我就會(huì)去一些網(wǎng)站和社區(qū)溜達(dá)找找靈感，海外如WIRED、MIT News、mashable，國(guó)內(nèi)如極術(shù)社區(qū)，都是我的大腦“充電站”。

這個(gè)周一，被選題按在桌前摩擦的我又去極術(shù)社區(qū)里逡巡了，恰好就讓我發(fā)現(xiàn)了一個(gè)極為有趣的事情：一個(gè)名為《安謀中國(guó)“玲瓏”ISP處理器概覽》分享，在極術(shù)社區(qū)引起了開(kāi)發(fā)者的熱議，各種問(wèn)題在帖子下面建起了高樓。

無(wú)獨(dú)有偶，近兩年在產(chǎn)業(yè)界，我們也能發(fā)現(xiàn)ISP芯片變得越來(lái)越有存在感。蘋(píng)果、三星、華為等已經(jīng)在產(chǎn)品中應(yīng)用了自研ISP模組，OV小米等手機(jī)廠商在沖擊高端化進(jìn)程中也加大了自研ISP領(lǐng)域發(fā)力。

ISP這個(gè)名詞可能有點(diǎn)陌生，但早已滲透在絕大多數(shù)普通人的日常生活。簡(jiǎn)單來(lái)說(shuō)，相機(jī)在采集圖像時(shí)，會(huì)遇到許多影響圖像質(zhì)量的因素，噪音、色差、明暗等變化都會(huì)導(dǎo)致設(shè)備無(wú)法還原出真實(shí)的畫(huà)面（所以不要再怪蘋(píng)果前置攝像頭把你拍丑了）。而ISP(Image Signal Processing) 圖像信號(hào)處理的作用，就是通過(guò)降噪、自動(dòng)曝光、自動(dòng)對(duì)焦、自動(dòng)白平衡、圖像銳化等操作，把傳感器采集到的數(shù)據(jù)轉(zhuǎn)換成接近真實(shí)場(chǎng)景的數(shù)字流。

不難發(fā)現(xiàn)，ISP最為大眾所感知的應(yīng)用，就是手機(jī)的攝影攝像功能了。那么，在智能手機(jī)在存量市場(chǎng)“內(nèi)卷”的當(dāng)下，攝影攝像似乎已經(jīng)停留在高水平競(jìng)爭(zhēng)很久了，這股ISP熱潮究竟是從何而來(lái)？為什么會(huì)吸引如此多的開(kāi)發(fā)者及廠商？又是如何影響中國(guó)智能化進(jìn)程的？

這是一個(gè)十分值得討論的話(huà)題，也將在接下來(lái)深度影響你我的數(shù)字生活。

緣起：重新審視ISP

佛教有云，一切有為法，皆待緣而起。ISP為各大芯片廠商，尤其是中國(guó)企業(yè)所重視，并不是沒(méi)有原因的。佛陀將緣起歸結(jié)于老死憂(yōu)愁等苦難，ISP的“走紅”也與現(xiàn)實(shí)挑戰(zhàn)有著直接關(guān)聯(lián)。

第一重挑戰(zhàn)來(lái)自國(guó)際。在全球半導(dǎo)體貿(mào)易的不確定性當(dāng)中，傳統(tǒng)的芯片架構(gòu)和供應(yīng)鏈都可能影響中國(guó)智能產(chǎn)業(yè)的發(fā)展，因此，更自主可控的方案如ARM架構(gòu)就取代傳統(tǒng)芯片方案成為手機(jī)、電腦、汽車(chē)等芯片的主流，而所謂處理器核心模組之一的ISP芯片，自然也面臨著新的市場(chǎng)需求和技術(shù)創(chuàng)新。

第二重挑戰(zhàn)來(lái)自國(guó)內(nèi)。隨著AI、5G、云計(jì)算等技術(shù)的成熟，越來(lái)越多的行業(yè)場(chǎng)景開(kāi)始應(yīng)用上了計(jì)算機(jī)視覺(jué)技術(shù)，攝像頭變得無(wú)處不在。尤其是數(shù)字化建設(shè)如火如荼的中國(guó)，攝像頭、視覺(jué)感知等應(yīng)用爆發(fā)式增長(zhǎng)。比如在汽車(chē)自動(dòng)駕駛輔助系統(tǒng)（ADAS） 、工業(yè)智能制造、文檔掃描、人臉識(shí)別、智慧監(jiān)控等等多種社會(huì)服務(wù)中，都對(duì)圖像質(zhì)量提出了更高的要求，數(shù)字中國(guó)的發(fā)展，推動(dòng)著ISP芯片以更低的功耗成本實(shí)現(xiàn)更高的分辨率。

第三重挑戰(zhàn)來(lái)自用戶(hù)。當(dāng)然，智能手機(jī)的圖像質(zhì)量是大眾最常接觸、最具感知力的應(yīng)用了。高速增長(zhǎng)的影視技術(shù)，清晰度從720p飛速發(fā)展到4K乃至8K時(shí)代，直播、短視頻、虛擬現(xiàn)實(shí)、AR等新應(yīng)用的出現(xiàn)，也對(duì)ISP的性能、功耗、延遲等都提出了挑戰(zhàn)。對(duì)于智能手機(jī)廠商來(lái)說(shuō)，在媲美單反的基礎(chǔ)上，打造出差異化的影像能力，已經(jīng)成為一道不容回避的命題。

天時(shí)、地利、人和，三者皆備，ISP芯片自然也越來(lái)越受到開(kāi)發(fā)者和廠商們的重視。

當(dāng)下：數(shù)字中國(guó)需要怎樣的“眼睛”？

既然ISP需求增長(zhǎng)的背景已經(jīng)明確，那么更符合當(dāng)下產(chǎn)業(yè)及消費(fèi)者需求的ISP芯片，其特征也就呼之欲出了：

更高的可控度。不僅要在供應(yīng)鏈層面保證各個(gè)廠商應(yīng)對(duì)不確定性的需求，還要包含差異化圖像能力的軟硬件基礎(chǔ)，從而最大程度降低下游廠商的產(chǎn)品研發(fā)風(fēng)險(xiǎn)與成本。比如安謀中國(guó)就面向中國(guó)市場(chǎng)，以ARM架構(gòu)為基礎(chǔ)自研了“玲瓏”多媒體產(chǎn)品線，來(lái)賦能本土自主創(chuàng)新。

更高的性能。通過(guò)更先進(jìn)的技術(shù)，滿(mǎn)足工業(yè)、自動(dòng)駕駛、安全監(jiān)控等對(duì)圖像畫(huà)質(zhì)高精度的需求，比以往更加強(qiáng)大和精確。以自動(dòng)駕駛為例，就需要捕捉非常大的視覺(jué)動(dòng)態(tài)范圍，并且比人眼更精準(zhǔn)地識(shí)別暗處和明亮的圖像細(xì)節(jié)，以保證行車(chē)及路人的安全。

更低的功耗。無(wú)論產(chǎn)業(yè)應(yīng)用還是個(gè)人移動(dòng)終端，都對(duì)功耗比較敏感，耗電、發(fā)熱等問(wèn)題都可能影響整體部署成本和用戶(hù)體驗(yàn)，這就要求ISP的創(chuàng)新不能以能效為代價(jià)，以更好地滿(mǎn)足數(shù)字化轉(zhuǎn)型中的現(xiàn)實(shí)需要。

如此看下來(lái)，ISP的技術(shù)創(chuàng)新難度并不簡(jiǎn)單，需要技術(shù)人員一點(diǎn)一滴地突破，難怪能引發(fā)不小的專(zhuān)業(yè)討論。

未來(lái)：ISP的技術(shù)展望

縱觀極術(shù)社區(qū)中圍繞玲瓏ISP展開(kāi)的討論，廣大開(kāi)發(fā)者比較關(guān)心的話(huà)題，大多圍繞在3A算法是否在ISP里運(yùn)算，哪些場(chǎng)景下需要單獨(dú)的ISP芯片，機(jī)器學(xué)習(xí)對(duì)ISP芯片的影響等等。

從中，我們也可以看到ISP芯片未來(lái)幾個(gè)比較明確的創(chuàng)新方向。

一是3A算法的不斷升級(jí)。

想要提升成像質(zhì)量，3A算法即自動(dòng)對(duì)焦(AF)、自動(dòng)曝光(AE)和自動(dòng)白平衡(AWB)，起到了十分重要的作用。比如說(shuō)，當(dāng)傳感器將圖像信息傳遞給ISP芯片時(shí)，自動(dòng)判斷是否對(duì)明亮或暗處的像素采取行動(dòng)，能夠讓計(jì)算機(jī)視覺(jué)系統(tǒng)做出更準(zhǔn)確的判斷。

以安謀中國(guó)本土團(tuán)隊(duì)自主研發(fā)的“玲瓏”i3/i5 ISP 處理器為例，就通過(guò)3次曝光HDR，將一個(gè)場(chǎng)景的長(zhǎng)時(shí)間、中時(shí)間、短時(shí)間曝光合成一幀，從而在逆光等寬動(dòng)態(tài)情況下，對(duì)明暗區(qū)域都能夠很好地記錄，從而在寬動(dòng)態(tài)范圍、低光降噪等方面獲得不錯(cuò)的表現(xiàn)。說(shuō)人話(huà)就是，逆光拍攝相機(jī)也能看清你的美。

第二個(gè)技術(shù)趨勢(shì)，是從集成向外置演進(jìn)。傳統(tǒng)ISP芯片被集成在處理器內(nèi)，隨著高像素、高畫(huà)質(zhì)的需求出現(xiàn)，CIS傳感器的尺寸也變得越大，外置獨(dú)立ISP在功耗上更具優(yōu)勢(shì)。不過(guò)，相比內(nèi)置方案，成本更高、開(kāi)發(fā)周期也較長(zhǎng)，這就需要芯片廠商進(jìn)行取舍。

第三個(gè)技術(shù)趨勢(shì)，是ISP與AI的結(jié)合。將傳感器信息轉(zhuǎn)化為圖像是一個(gè)復(fù)雜的過(guò)程，ISP往往有成百上千個(gè)不同的參數(shù)進(jìn)行調(diào)整。而前面提到，視覺(jué)感知在各行各業(yè)中的應(yīng)用越來(lái)越廣泛，不同的鏡頭和傳感器具有不同的特性，這時(shí)候?yàn)樘囟ㄏ鄼C(jī)系統(tǒng)進(jìn)行優(yōu)化調(diào)整、開(kāi)發(fā)針對(duì)性的芯片產(chǎn)品，就變成了一項(xiàng)極具挑戰(zhàn)性的任務(wù)。所以將AI處理器的智慧分析能力與ISP的信號(hào)處理能力，能夠達(dá)成更強(qiáng)大的成像效果。

由此則產(chǎn)生了第四個(gè)技術(shù)趨勢(shì)，那就是定制化支持。如前所說(shuō)，，ISP可應(yīng)用場(chǎng)景越來(lái)越多，不同的場(chǎng)景對(duì)應(yīng)著不同的能力需求，使得通用性的ISP難以全面通吃，這就要求IP開(kāi)發(fā)廠商能夠與服務(wù)垂直行業(yè)的開(kāi)發(fā)者保持緊密溝通與及時(shí)響應(yīng)，來(lái)打造更具靈活性、定制化的產(chǎn)品。

今天，中國(guó)正在以舉世矚目的速度進(jìn)入到智能時(shí)代，被數(shù)字化的物理世界不僅僅是消費(fèi)者手機(jī)中的一張張圖片，還是各個(gè)行業(yè)智能機(jī)器“眼中”不可或缺的數(shù)字養(yǎng)料，滋養(yǎng)著整個(gè)中國(guó)的智慧水平。

從這個(gè)角度看，ISP芯片已經(jīng)成為中國(guó)智能產(chǎn)業(yè)不可忽視、不容錯(cuò)過(guò)的一張底牌，等待著更多有識(shí)之士去探索和解密。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。