雖然我們每天都看天氣預(yù)報(bào),但是你知道我們所看到的天氣預(yù)報(bào)是怎么預(yù)測(cè)出來(lái)的嗎?氣象預(yù)報(bào)按天氣預(yù)報(bào)的時(shí)效長(zhǎng)短,可粗略分為:短時(shí)天氣預(yù)報(bào)、短期天氣預(yù)報(bào)、中期天氣預(yù)報(bào)和長(zhǎng)期天氣預(yù)報(bào)。數(shù)值模式預(yù)報(bào)是天氣預(yù)報(bào)的主要預(yù)測(cè)手段。
氣象數(shù)值預(yù)報(bào)
數(shù)值模式預(yù)報(bào)是根據(jù)大氣運(yùn)動(dòng)的數(shù)學(xué)模型,利用當(dāng)前天氣狀況作為輸入數(shù)據(jù)而做出天氣預(yù)報(bào)的手段,通常使用超級(jí)計(jì)算機(jī)或分布式計(jì)算集群依據(jù)一系列動(dòng)力學(xué)框架來(lái)完成計(jì)算。
天氣數(shù)值模式的輸出是矩陣形式,可以用圖像的方式可視化。同一片區(qū)域矩陣數(shù)值越密集,代表這個(gè)區(qū)域預(yù)測(cè)的細(xì)致程度越高。如下圖展示了全球模式和區(qū)域精細(xì)預(yù)報(bào)之間的關(guān)系圖。
對(duì)于局部區(qū)域來(lái)說(shuō),精細(xì)化預(yù)報(bào)結(jié)果可以提供更為豐富的信息。從應(yīng)用角度,精細(xì)化預(yù)報(bào)將預(yù)報(bào)精度從城市級(jí)別提升到所在地點(diǎn)附近級(jí)別;從研究角度,精細(xì)化預(yù)報(bào)不僅提供了某個(gè)地點(diǎn)從地面到高空十幾公里的氣溫、降水、風(fēng)向、風(fēng)速基本氣象要素,還為進(jìn)一步研究影響這一地點(diǎn)的云的移動(dòng)軌跡、增減變化趨勢(shì)提供了可能。近年來(lái)各個(gè)行業(yè)對(duì)數(shù)值預(yù)報(bào)精細(xì)化需求越來(lái)越高。
制約高精度的數(shù)值天氣預(yù)報(bào)模式發(fā)展的一個(gè)重要因素就是硬件設(shè)備的計(jì)算能力以及計(jì)算時(shí)間。
雖然我們國(guó)家的派-曙光超級(jí)計(jì)算機(jī)就從2018年開始正式承擔(dān)起氣象業(yè)務(wù)運(yùn)行及科研的重任,運(yùn)算能力躍居氣象領(lǐng)域世界第三位,但可惜的是很多氣象相關(guān)科研機(jī)構(gòu)和研究人員往往不具備使用超算條件,這就變相地限制了一些部門和研究人員對(duì)于局部氣象預(yù)報(bào)的研究。
中國(guó)"派-曙光"超級(jí)計(jì)算機(jī)
數(shù)值模式對(duì)于硬件的強(qiáng)烈依賴,讓各行業(yè)對(duì)精細(xì)化局部氣象預(yù)報(bào)信息望而卻步,巨大的需求被壓抑在其中。
數(shù)值模式降尺度的本質(zhì)——超分辨率
上海眼控科技股份有限公司人工智能研究院獨(dú)創(chuàng)性地發(fā)現(xiàn)數(shù)值模式降尺度在本質(zhì)上和超分辨率的互通之處。
從根本上來(lái)說(shuō),對(duì)氣象預(yù)報(bào)進(jìn)行降尺度擬合,實(shí)際上是依據(jù)低分辨率的數(shù)據(jù)預(yù)測(cè)同一區(qū)域在同一時(shí)間下的高分辨率的數(shù)據(jù)。下圖是超分辨率
超分辨率技術(shù),是將一張低分辨率的圖像變?yōu)楦叻直媛省Mㄟ^(guò)估算網(wǎng)格密集化后,補(bǔ)充缺失的像素值。以下是數(shù)值模式降尺度的示例,可以發(fā)現(xiàn),和超分辨率相似的是,降尺度的過(guò)程令圖像變得清晰。
但是降尺度僅僅是超分辨率嗎?
降尺度的挑戰(zhàn)——模擬物理過(guò)程
降尺度的過(guò)程不僅僅是圖像的精細(xì)化像素填充,而是涉及到多個(gè)天氣元素之間相互作用的重新計(jì)算。下圖是一個(gè)數(shù)值模式降尺度的案例,可以看出,精細(xì)化的版本中,出現(xiàn)了粗糙版本中所不包含的一些天氣細(xì)節(jié)。
這種計(jì)算過(guò)程即使用CV領(lǐng)域中的超分辨率技術(shù),也無(wú)法重現(xiàn)。其難點(diǎn)的本質(zhì)在于,從單一通道來(lái)看,降尺度的計(jì)算過(guò)程“生成”了額外的信息,而機(jī)器視覺領(lǐng)域的超分辨率技術(shù),只可以產(chǎn)生細(xì)節(jié)填充,而沒有能力生成輸入圖片中沒有出現(xiàn)的信息。這些額外的信息,來(lái)自于多個(gè)天氣元素的物理過(guò)程,這是使用超分辨率的思想來(lái)解決數(shù)值模式降尺度的巨大挑戰(zhàn)。
基于對(duì)這個(gè)問(wèn)題的長(zhǎng)期研究,上海眼控人工智能研究院提出Deep Hybrid Super Resolution (DHSR) 模型來(lái)模擬物理過(guò)程,來(lái)產(chǎn)生額外的信息。
基于DHSR的AI數(shù)值模式降尺度
前文提到,氣象數(shù)值模式預(yù)報(bào)中的數(shù)據(jù)是網(wǎng)格化的氣象元素如氣壓值等,而精細(xì)化的數(shù)值模式預(yù)報(bào),不僅是將網(wǎng)格矩陣變得細(xì)膩那么簡(jiǎn)單,還需要考慮其他已知條件(比如濕度、溫度、風(fēng)場(chǎng)),并用神經(jīng)網(wǎng)絡(luò)去模擬它們之間的作用關(guān)系。
上海眼控人工智能研究院以超分辨率網(wǎng)絡(luò)為主干網(wǎng)絡(luò),針對(duì)不同的數(shù)據(jù)類型調(diào)整網(wǎng)絡(luò)中的長(zhǎng)跳躍連接和短跳躍連接。用轉(zhuǎn)化為圖片后的某一維度的25km全球模式的氣象預(yù)報(bào)和3km的對(duì)應(yīng)地區(qū)和時(shí)間的降尺度數(shù)據(jù)來(lái)訓(xùn)練超分辨率網(wǎng)絡(luò),以捕捉這一區(qū)域該維度的25km全球模式與3km降尺度后的數(shù)據(jù)間的映射關(guān)系。其中針對(duì)通道的特征先進(jìn)行一個(gè)空間的全局平均池化得到一個(gè) 1×1×C的通道描述;接著,再經(jīng)過(guò)一個(gè)下采樣層和一個(gè)上采樣層得到每一個(gè)通道的權(quán)重系數(shù),將權(quán)重系數(shù)和原來(lái)的特征相乘即可得到縮放后的新特征,整個(gè)過(guò)程實(shí)際上就是對(duì)不同通道的特征重新進(jìn)行了加權(quán)分配,通過(guò)這種channel attention的機(jī)制進(jìn)行特征融合,最終生成的氣象圖片很好的生成了特征的輪廓和細(xì)節(jié)部分。
以下是模型的部分結(jié)構(gòu)
修改后的超分辨率網(wǎng)絡(luò)在氣象預(yù)報(bào)降尺度任務(wù)上的表現(xiàn)十分出色:
計(jì)算更快:傳統(tǒng)的數(shù)值模式的降尺度計(jì)算需要計(jì)算中心不間斷地計(jì)算幾十分鐘到幾個(gè)小時(shí)。如果通過(guò)我們的AI超分辨率網(wǎng)絡(luò)進(jìn)行降尺度計(jì)算, 生成所需要的數(shù)據(jù)的降尺度計(jì)算通常在1s 之內(nèi)。
流程高效:
數(shù)值模式所有的數(shù)據(jù)是捆綁在一起的,意味著即使你只需要某一區(qū)域某一維度的氣象要素的降尺度數(shù)據(jù),你也需要整體的計(jì)算出來(lái)這一區(qū)域所有維度的氣象要素,之后再?gòu)恼w的數(shù)據(jù)中提取你想要的數(shù)據(jù)。步驟異常繁瑣。這樣不僅導(dǎo)致了計(jì)算速度慢,工作和處理數(shù)據(jù)的效率也大大降低。上海眼控的DHSR模型可以直接針對(duì)性地計(jì)算出所需要的氣象元素精細(xì)化結(jié)果,拋棄了冗雜繁瑣的過(guò)程。
結(jié)果精準(zhǔn):對(duì)于依靠超分辨率網(wǎng)絡(luò)生成的3km分辨率的降尺度預(yù)報(bào),我們抽取批量生成的圖片,與數(shù)值模式計(jì)算出來(lái)的降尺度數(shù)據(jù)轉(zhuǎn)化成的圖片進(jìn)行SSIM分?jǐn)?shù)的對(duì)比之后,得出超分辨率網(wǎng)絡(luò)生成的圖片分?jǐn)?shù)可以達(dá)到0.992,可以說(shuō)完全能夠滿足一般科研工作這對(duì)于數(shù)據(jù)的要求。
我們HDSR方法生成的圖片在總體結(jié)構(gòu)上十分接近傳統(tǒng)數(shù)值模式降尺度的結(jié)果:
讓我們放大9km格點(diǎn)間距那張圖中,藍(lán)色和紫紅色的框,我們的結(jié)果和數(shù)值模式一樣,模擬了物理過(guò)程,生成了輸入圖中不存在的信息。DHSR模型生成的信息和耗費(fèi)大量計(jì)算資源的數(shù)值模式非常接近。
再看看挑戰(zhàn)更大的,更精細(xì)的3km格點(diǎn)間距的相同位置。讓人驚訝的是,在這么精細(xì)的尺度下,我們模型依然表現(xiàn)卓越,擬合出了局部地區(qū)的精細(xì)預(yù)報(bào)結(jié)果,依然和超算中心耗費(fèi)大量資源使用傳統(tǒng)數(shù)值模式的方法的結(jié)果保持高度一致。
事實(shí)證明,DHSR模型通過(guò)特殊的通道間的相互作用,擬合了物理過(guò)程,生成了在輸入圖中未曾呈現(xiàn)的局部預(yù)報(bào)結(jié)果。從單個(gè)氣象元素(單個(gè)通道)的角度來(lái)看,簡(jiǎn)直是不可思議。
重要的是生成時(shí)間DHSR相對(duì)數(shù)值模式少了幾個(gè)數(shù)量級(jí)。忍不住為我們眼控科技的研究院團(tuán)隊(duì)瘋狂打call!
讓我們?cè)倏纯雌渌貐^(qū)的濕度預(yù)報(bào)結(jié)果吧
再來(lái)看看我們預(yù)報(bào)局部精細(xì)化氣壓的結(jié)果。
經(jīng)濟(jì)實(shí)惠:你以為優(yōu)點(diǎn)到這就結(jié)束了? 沒有沒有,你太天真了?;?a href="http://worldfootballweekly.com/AI_1.html" target="_blank" class="keylink">AI超分辨率網(wǎng)絡(luò)的數(shù)值模式降尺度只需要一塊1080顯卡就可以輕松的運(yùn)行,對(duì)于硬件的需求相較于傳統(tǒng)的數(shù)值模式降尺度簡(jiǎn)直讓人驚嘆不已。也就是說(shuō)你只需要一臺(tái)擁有1080顯卡的筆記本電腦,坐在辦公室里,就可以與擁有一排排機(jī)柜的計(jì)算機(jī)中心有著同樣的體驗(yàn)。
這么一個(gè)計(jì)算快速、流程高效、結(jié)果精準(zhǔn)且經(jīng)濟(jì)實(shí)惠的模型,將數(shù)值模式降尺度的任務(wù)變得親民且高效,這不僅將成為撬動(dòng)氣象領(lǐng)域變革的一個(gè)支點(diǎn),也將直接解鎖局部地區(qū)對(duì)于精細(xì)氣象數(shù)據(jù)的更大需求。
總結(jié)與展望
在說(shuō)了這么多之后,相信大家對(duì)于超分辨率以及數(shù)值預(yù)報(bào)有了比較深入的了解。盡管目前眼控科技的小伙伴們成功地解決了降尺度對(duì)于算力需求過(guò)高的問(wèn)題,但是對(duì)于龐大的氣象系統(tǒng)而言是遠(yuǎn)遠(yuǎn)不夠,未來(lái)在氣象領(lǐng)域有更多的挑戰(zhàn)在等待著我們。眼控人也將抱著“路漫漫其修遠(yuǎn)兮,吾將上下而求所”的信念,在人工智能氣象領(lǐng)域踏浪前行,為中國(guó)的智能氣象領(lǐng)域貢獻(xiàn)出自己的力量。小伙伴們?nèi)绻阋灿X得熱血沸騰的話,快點(diǎn)來(lái)加入我們吧!
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 為什么年輕人不愛換手機(jī)了
- 柔宇科技未履行金額近億元被曝已6個(gè)月發(fā)不出工資
- 柔宇科技被曝已6個(gè)月發(fā)不出工資 公司回應(yīng)欠薪有補(bǔ)償方案
- 第六座“綠動(dòng)未來(lái)”環(huán)保公益圖書館落地貴州山區(qū)小學(xué)
- 窺見“新紀(jì)元”,2021元宇宙產(chǎn)業(yè)發(fā)展高峰論壇“廣州啟幕”
- 以人為本,景悅科技解讀智慧城市發(fā)展新理念
- 紐迪瑞科技/NDT賦能黑鯊4 Pro游戲手機(jī)打造全新一代屏幕壓感
- 清潔家電新老玩家市場(chǎng)定位清晰,攜手共進(jìn),核心技術(shù)決定未來(lái)
- 新思科技與芯耀輝在IP產(chǎn)品領(lǐng)域達(dá)成戰(zhàn)略合作伙伴關(guān)系
- 芯耀輝加速全球化部署,任命原Intel高管出任全球總裁
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。