原標(biāo)題：ISP芯片：如何讓數(shù)字之眼“看清”真實世界？

最近看到生物學(xué)教授王立銘的一個有趣假設(shè)，他說，假如存在外星高級智慧生物，那么它大概率和人類一樣是用眼睛來感知外部世界的。

為什么這么說呢？因為視覺信息，也就是光這樣的電磁波，是所有感知信息中反映環(huán)境變化最準(zhǔn)確、承載環(huán)境信息最豐富的通道。但凡智慧生物，如果不是生活在黑暗地下或者是幽冥深海，基本上都會依靠視覺信息來捕食和逃生。

因為光是宇宙中最普遍的存在，不需要具體介質(zhì)（空氣、水等）也能直線傳播，能夠充分準(zhǔn)確、及時的反映出空間和物體的信息，比聲音、味道、觸覺所承載的信息量大多了，同時也穩(wěn)定多了。

這一假設(shè)從人類制造的智能設(shè)備中也可以得到驗證。以智能手機為例，其最主要接收到的兩類信息，一個是圖像，一個是聲音。聲波的輸入和輸出，作為電話最初的功能，發(fā)展至今技術(shù)已臻于完善，只能在音質(zhì)穩(wěn)定性上進行小打小鬧地改善。

而圖像已經(jīng)成為智能手機最核心功能，其拍攝技術(shù)和圖像質(zhì)量在不斷升級，其所產(chǎn)生的數(shù)據(jù)也占據(jù)了手機最多的內(nèi)存資源，也成為各種應(yīng)用最主要的數(shù)據(jù)源頭。

事物的影像通過光的反射進入眼睛當(dāng)中，視網(wǎng)膜上的感光細胞就可以檢測到這些光的強度、角度和位置，從而引發(fā)生物電信號，最后傳遞給大腦神經(jīng)細胞進行視覺圖像的成像，才讓我們看到和記住看到過的事物。

和生物視覺的實現(xiàn)方式一樣，圖像視覺的處理過程也基本按照這一過程實現(xiàn)，包括收集光源的鏡頭、將光信號轉(zhuǎn)化為電信號的圖像傳感器、對圖像電信號進行數(shù)字處理的ISP芯片以及現(xiàn)在能對圖像進行進行分析識別的當(dāng)紅辣子雞的AI芯片。

在我們每一天拿起手機隨手拍照、攝像的過程中，這些不起眼的設(shè)備都在進行著每秒數(shù)以億次的龐大計算，才能讓我們擁有五光十色的拍攝效果。

在圖像技術(shù)一直逼近甚至挑戰(zhàn)人類的視覺能力極限的過程中，ISP芯片發(fā)揮著至關(guān)重要的作用。本文我們主要關(guān)心下ISP的技術(shù)邏輯、ISP技術(shù)產(chǎn)業(yè)現(xiàn)狀和發(fā)展趨勢。

光的美顏師：ISP的運行邏輯

ISP，即“Image Signal Processor”（圖像信號處理器）的縮寫，是用來對前端圖像傳感器輸出信號進行處理的單元。通俗來理解就是，ISP 所要做到的就是將“數(shù)字眼睛”的視力水平提高到“人類眼睛”的水平，讓人眼看到數(shù)字圖像時的效果盡可能接近人眼看到實景時的效果。

一個ISP其實是一個SoC核心，內(nèi)部包含CPU、SUP IP、IF 等單元，可以運行各種算法程序，實時處理圖像信號。ISP的控制結(jié)構(gòu)由ISP邏輯和運行在上面的Firmware兩個部分組成，邏輯單元除了完成一部分算法處理外，還可以統(tǒng)計出當(dāng)前圖像的實時信息。Firmware 通過獲取ISP 邏輯的圖像統(tǒng)計信息進行重新計算，反饋控制Lens、Sensor和ISP邏輯，以達到自動調(diào)節(jié)圖像質(zhì)量的目的。

（圖源：CSDN《ISP圖像信號處理算法概述》，下同）

根據(jù)專業(yè)人士的介紹，ISP的具體處理流程是這樣：Lens 將光信號投射到sensor 的感光區(qū)域后，sensor經(jīng)過光電轉(zhuǎn)換，將Bayer 格式的原始圖像送給ISP，ISP經(jīng)過算法處理，輸出RGB空間域的圖像給后端的視頻采集單元。在這一過程中，ISP通過運行在其上的Firmware固件對ISP邏輯，從而對Lens 和sensor進行相應(yīng)控制，進而完成自動光圈、自動曝光、自動白平衡等功能。其中，F(xiàn)irmware的運轉(zhuǎn)靠視頻采集單元的中斷驅(qū)動。PQ Tools工具通過網(wǎng)口或者串口完成對ISP 的在線圖像質(zhì)量調(diào)節(jié)。

ISP的算法處理，可以對Bayer圖像進行黑電平補償 （black level compensation）、鏡頭矯正（lens shading correction）、壞像素矯正（bad pixel correction）、顏色插值、Bayer 噪聲去除、 白平衡（AWB） 矯正、 色彩矯正（color correction）、gamma 矯正、色彩空間轉(zhuǎn)換（RGB 轉(zhuǎn)換為YUV）、在YUV 色彩空間上進行彩噪去除與邊緣加強、色彩與對比度加強，中間還要進行自動曝光控制等，然后輸出YUV或者RGB格式的數(shù)據(jù)， 再通過I/O接口傳輸?shù)紺PU中處理，進行圖像的存儲和顯示。

用我們拍照時常說到，就是圖片的銳化、降噪、優(yōu)化色彩等都是在ISP中處理完成的，而且ISP還肩負著實現(xiàn)相位、激光、反差等混合對焦運算以及提供對多攝像頭支持等重任，是手機拍照中必不可少的關(guān)鍵一環(huán)。

最終我們看到，ISP芯片就像一個光的美顏師一樣，使得我們在按下快門的一剎那獲得如此多的畫質(zhì)調(diào)節(jié)和改善，也能在拍攝前主動地選擇各種拍攝場景模式，進行各種拍攝參數(shù)的微調(diào)，讓每個人都能成為影像大師。

成為移動終端圖像處理核心：ISP的產(chǎn)業(yè)躍遷

ISP的出現(xiàn)是和人類對拍攝圖像的高質(zhì)量要求密切相關(guān)的。

NASA對月球進行勘探時，發(fā)現(xiàn)模擬相機在月球上拍攝的照片十分微弱不清，無法反映真實情況。此后美國發(fā)展出的CCD圖像傳感器解決了這一問題，為了確保CCD拍攝的圖像能夠清晰和真實地顯示，就需要對CCD采集的圖像進行處理，這樣ISP圖像信號處理器得以誕生。

隨著數(shù)碼相機和攝像機的廣泛應(yīng)用，ISP技術(shù)也得到了快速發(fā)展。在推進高清視頻、圖像產(chǎn)品的過程中，ISP技術(shù)的創(chuàng)新發(fā)揮了巨大作用，ISP也從高清攝像機的輔助技術(shù)逐步演變?yōu)殛P(guān)鍵核心技術(shù)。一些高清監(jiān)控硬件廠商為進一步提升畫質(zhì)，開始將CCD傳感器替換為CMOS圖像傳感器，這樣就將ISP內(nèi)置到CMOS中，在節(jié)約空間的同時也降低了功耗。

因此，這一創(chuàng)新使得高清攝像機市場實現(xiàn)了從模擬到數(shù)字信號的升級。一般來說，不同的ISP匹配不同廠商的CMOS圖像傳感器，大部分內(nèi)置ISP功能的視頻芯片對CMOS芯片的支持都比較完善，可以直接對接各主要廠商的主要產(chǎn)品，使得攝像機體積更小、產(chǎn)品形態(tài)更多，不僅推動在高清攝像機上高清SoC芯片的研發(fā)，也讓CMOS和ISP的組合在移動智能設(shè)備中廣泛普及。

現(xiàn)在，每一款配備攝像頭的移動設(shè)備都搭載了ISP芯片。不過對于很多國內(nèi)智能手機廠商而言，他們通常會宣傳自己的產(chǎn)品采用了索尼的CMOS圖像傳感器，甚至給出這一感光元件的具體型號，還給出一個多鏡頭陣列的分解圖。但是消費者在拿到手之后，用它拍攝出來的照片并不能如預(yù)期的那么好，其中一個很大的原因就是ISP，就在于這些廠商雖然拿到了高品質(zhì)的光學(xué)和感光元件，但是ISP沒有能夠跟上。

現(xiàn)在，主要的智能移動設(shè)備的芯片廠商、IP提供商以及智能手機制造商都在推出自己的ISP芯片，但是ISP仍然存在著較大的技術(shù)壁壘。

首先，ISP中大量模塊的算法是相互影響的，其眾多算法需要諸多的調(diào)校工作在其中，這需要大量而長期的經(jīng)驗積累。

其次，作為商用的ISP，需要眾多的新功能模塊，比如X-talk串?dāng)_，VSM等模塊的加入，這也增加了ISP的技術(shù)壁壘。

另外，ISP的技術(shù)需要長期積累，需求少、學(xué)習(xí)周期長，人才匱乏。因此ISP人才團隊組建也是一個考驗公司投入力度、技術(shù)積累的剛性條件。

這讓領(lǐng)先的ISP技術(shù)更容易被那些有先發(fā)優(yōu)勢、多年積累的芯片大廠和老牌制造商，比如蘋果、高通、三星、聯(lián)發(fā)科等大廠所掌握。

但越來越多的手機芯片廠商開始自研ISP和算法，華為海思就是從麒麟950開始集成自研的950芯片，使得華為P9開始躋身主打攝影拍照手機的第一陣營。

作為全球移動CPU芯片核心IP提供商的ARM也在2018年推出了首款I(lǐng)SP芯片，最初是面向汽車設(shè)備的移動影像處理，隨后又推出了兩款針對移動終端和物聯(lián)網(wǎng)設(shè)備的ISP芯片全新ARM Mali-C52和Mali-C32。ARM的ISP在處理每一像素時會有超過25個步驟的處理，其中包括高動態(tài)范圍(HDR)、降噪以及色彩管理的三個關(guān)鍵步驟對圖像輸出質(zhì)量起到了決定性的影響。

根據(jù)極術(shù)社區(qū)的消息，12月3日，安謀中國最新發(fā)布了“玲瓏”i3/i5 ISP處理器。這一安謀中國本土團隊自主研發(fā)的首款產(chǎn)品，在降噪、清晰度和寬動態(tài)等指標(biāo)上達到業(yè)界領(lǐng)先水平，具有高畫質(zhì)、低延時、可配置能力強、擴展兼容性高等特點，可廣泛適用于安防監(jiān)控、AIoT 及智能汽車等領(lǐng)域的視頻、圖像處理工作，能夠滿足不同場景的多樣化數(shù)據(jù)處理需求。

我們注意到，在對這些ISP產(chǎn)品的梳理中，圖像信號處理和AI視覺處理正在協(xié)同發(fā)展，既要“可看”又要“看懂”的圖像處理，成為未來視覺設(shè)備發(fā)展的關(guān)鍵。

新機遇：視覺處理器與ISP芯片的共生共成

人工智能技術(shù)作為全新的技術(shù)變革要素進入到成像產(chǎn)業(yè)領(lǐng)域，使得圖像的處理和計算迎來更多的挑戰(zhàn)，現(xiàn)在除了ISP芯片之外，還需要加入具有AI能力的視覺處理器（VP）芯片。

現(xiàn)在，ISP芯片處在低速穩(wěn)定的增長階段，而VP芯片則呈現(xiàn)爆發(fā)式增長。

根據(jù)Yole的一份市場統(tǒng)計，VP芯片從2018年至2024年期間的復(fù)合年增長率（CAGR）高達18%，預(yù)計2024年將達到145億美元規(guī)模。同時，ISP芯片保持低速穩(wěn)定增長態(tài)勢，2018年至2024年期間的復(fù)合年增長率僅為3%，預(yù)計2024年將達到42億美元規(guī)模。

現(xiàn)在，我們攜帶的移動智能設(shè)備和IoT設(shè)備中，對于圖像的處理和計算，不僅僅要實現(xiàn)“查看”的功能，看要實現(xiàn)“分析”的功能，因此，圖像硬件廠商越來越多的要在硬件系統(tǒng)中加入支持人工智能算法特別是深度學(xué)習(xí)的軟件集成，從而讓圖像硬件系統(tǒng)超越“拍攝圖像”的限制，能夠?qū)崿F(xiàn)“分析圖像”的能力。

對于我們消費者而言，最主要的感受就是智能手機的人臉識別以及現(xiàn)在一些手機攝像中具有的AI美顏以及拍照識物的功能。而在眾多智能視覺領(lǐng)域，VP+ISP的融合已經(jīng)掀起了一場全新的智能化變革。正如安謀中國最新的“玲瓏”ISP處理器的發(fā)布，未來可以適用于安防監(jiān)控、AIoT 及智能汽車等領(lǐng)域的視頻、圖像處理工作，滿足不同場景的數(shù)據(jù)處理需求。

因此，視覺處理器的爆發(fā)式發(fā)展，與ISP產(chǎn)業(yè)的發(fā)展是并行不悖的，因為想要實現(xiàn)智能視覺，就必須考慮選擇適合的前端圖像處理方案。如果前端圖像處理的輸出非常糟糕時，那視覺處理系統(tǒng)的結(jié)果也會非常糟糕。

智能視覺系統(tǒng)必須要有可靠的輸入才能產(chǎn)生可靠的結(jié)果，這正是無法離開一顆強大的ISP的根本原因。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。