SoC設(shè)計(jì)與應(yīng)用技術(shù)領(lǐng)導(dǎo)廠商Socionext Inc.(以下“Socionext”,或“公司”)宣布,聯(lián)合大阪大學(xué)數(shù)據(jù)能力科學(xué)研究所長原教授研究小組共同開發(fā)新型深度學(xué)習(xí)算法,該算法無需制作龐大的數(shù)據(jù)集,只需通過融合多個(gè)模型便可在極度弱光的條件下進(jìn)行精準(zhǔn)檢測物體及圖像識別。Socionext笹川幸宏先生和大阪大學(xué)長原教授在8月23日至28日(英國夏令時(shí)間)舉辦的歐洲計(jì)算機(jī)視覺國際會議(ECCV 2020)上報(bào)告了這一研究成果。

近年來盡管計(jì)算機(jī)視覺技術(shù)取得了飛速發(fā)展,但在低照度環(huán)境下車載攝像頭、安防系統(tǒng)等獲取的圖像質(zhì)量仍不理想,圖像辨識性能較差。不斷提升低照度環(huán)境下圖像識別性能依舊是目前計(jì)算機(jī)視覺技術(shù)面臨的主要課題之一。CVPR2018中一篇名為《Learning to See in the Dark》[1]的論文曾介紹過利用圖像傳感器的RAW圖像數(shù)據(jù)的深度學(xué)習(xí)算法,但這種算法需要制作超過200,000張圖像和150多萬個(gè)批注 [2]數(shù)據(jù)集才能進(jìn)行端到端學(xué)習(xí),既費(fèi)時(shí)又費(fèi)錢,難以實(shí)現(xiàn)商業(yè)化落地(如下圖1)。

圖1:《Learning to See in the Dark》及RAW圖像識別課題

為解決上述課題,Socionext與大阪大學(xué)聯(lián)合研究團(tuán)隊(duì)通過遷移學(xué)習(xí)(Transfer Learning)和知識蒸餾(Knowledge Distillation)等機(jī)器學(xué)習(xí)方法,提出采用領(lǐng)域自適應(yīng)(Domain Adaptation)的學(xué)習(xí)方法,即利用現(xiàn)有數(shù)據(jù)集來提升目標(biāo)域模型的性能,具體內(nèi)容如下(如圖2):

(1)使用現(xiàn)有數(shù)據(jù)集構(gòu)建推理模型;

(2)通過遷移學(xué)習(xí)從上述推理模型中提取知識;

(3)利用Glue layer合并模型;

(4)通過知識蒸餾建立并生成模型。

圖2:本次開發(fā)的領(lǐng)域適應(yīng)方法(Domain Adaptation Method)

此外,結(jié)合領(lǐng)域自適應(yīng)方法和物體檢測YOLO模型[3],并利用在極端弱光條件下拍攝的RAW圖像還可構(gòu)建“YOLO in the Dark”檢測模型。YOLO in the Dark模型可僅通過現(xiàn)有數(shù)據(jù)集實(shí)現(xiàn)對RAW圖像的對象檢測模型的學(xué)習(xí)。針對那些通過使用現(xiàn)有YOLO模型,校正圖像亮度后仍無法檢測到圖像的(如下圖a),則可以通過直接識別RAW圖像確認(rèn)到物體被正常檢測(如下圖b)。同時(shí)測試結(jié)果發(fā)現(xiàn),YOLO in the Dark模型識別處理時(shí)所需的處理量約為常規(guī)模型組合(如下圖c)的一半左右。

圖3:《YOLO in the Dark》效果圖

本次利用領(lǐng)域自適應(yīng)法所開發(fā)的“直接識別RAW圖像”可不僅應(yīng)用于極端黑暗條件下的物體檢測,還可應(yīng)用于車載攝像頭、安防系統(tǒng)和工業(yè)等多個(gè)領(lǐng)域。未來,Socionext還計(jì)劃將該技術(shù)整合到公司自主研發(fā)的圖像信號處理器(ISP)中開發(fā)下一代SoC,并基于此類SoC開發(fā)全新攝像系統(tǒng),進(jìn)一步提升公司產(chǎn)品性能,助力產(chǎn)業(yè)再升級。

歐洲計(jì)算機(jī)視覺國際會議(ECCV 2020)

日期:8月23~28日(英國夏令時(shí)間)

地點(diǎn):線上會議

演講主題:YOLO in the Dark - Domain Adaptation Method for Merging Multiple Models -

演講人:Socionext Inc. 笹川幸宏先生 大阪大學(xué) 長原教授

注釋:

[1]“Learning to See in the Dark” : CVPR2018, Chen et al.

[2] MS COCO dataset as an example (https://cocodataset.org/)

[3] YOLO (You Only Look Once): One of the deep learning object detection methods

關(guān)于Socionext

Socionext Inc.是一家全球性創(chuàng)新型企業(yè),其業(yè)務(wù)內(nèi)容涉及片上系統(tǒng)(System-on-chip)的設(shè)計(jì)、研發(fā)和銷售。公司專注于以消費(fèi)、汽車和工業(yè)領(lǐng)域?yàn)楹诵牡氖澜缦冗M(jìn)技術(shù),不斷推動當(dāng)今多樣化應(yīng)用發(fā)展。Socionext集世界一流的專業(yè)知識、經(jīng)驗(yàn)和豐富的IP產(chǎn)品組合,致力于為客戶提供高效益的解決方案和客戶體驗(yàn)。公司成立于2015年,總部設(shè)在日本橫濱,并在日本、亞洲、美國和歐洲設(shè)有辦事處,領(lǐng)導(dǎo)其產(chǎn)品開發(fā)和銷售。

更多詳情,請登錄Socionext官方網(wǎng)

本新聞稿中提及的所有公司或產(chǎn)品名稱均為其各自所有者的商標(biāo)或注冊商標(biāo)。以上發(fā)布的信息為截止發(fā)稿時(shí)的信息,日后若發(fā)生變更,恕不另行通知,敬請諒解。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）