12月24日,由騰訊云啟創(chuàng)新中心(珠海)和極視角聯(lián)合主辦的第二屆珠港澳人工智能開發(fā)者主題論壇暨算法大賽頒獎(jiǎng)典禮在珠海電視臺(tái)新聞發(fā)布廳圓滿舉行。會(huì)上,極視角副總裁黃河作了《極市平臺(tái)產(chǎn)品和技術(shù)實(shí)踐》主題報(bào)告,報(bào)告分享了極市平臺(tái)的產(chǎn)品技術(shù)的底層邏輯。
一個(gè)平臺(tái)解決AI算法開發(fā)落地的全部難題
黃河表示,在算法開發(fā)過程中,存在四個(gè)瓶頸常常導(dǎo)致算法“難產(chǎn)”:
1、缺少優(yōu)質(zhì)的一站式開發(fā)平臺(tái),開發(fā)效率低;
2、算力成本高昂,算力資源的利用率低;
3、難以接觸大量真實(shí)有效的業(yè)務(wù)數(shù)據(jù),且數(shù)據(jù)安全性和隱私性難以保障;
4、算法測(cè)試耗時(shí)繁瑣,且難以評(píng)估落地有效性。
基于此,極視角打造了極市平臺(tái)。極市平臺(tái)是面向算法開發(fā)者打造的一站式全流程AI算法開發(fā)平臺(tái),可以覆蓋從數(shù)據(jù)生產(chǎn)到算法落地一站式編碼、訓(xùn)練、測(cè)試、封裝、部署等全生命周期。極市平臺(tái)為算法開發(fā)者提供強(qiáng)大的基建設(shè)施支撐及豐富的工具引擎,將算法開發(fā)與工程化效率提升60%以上。
極市平臺(tái)打造了自動(dòng)測(cè)試框架、數(shù)據(jù)安全沙箱、算力調(diào)度系統(tǒng)及異構(gòu)硬件兼容適配等多項(xiàng)關(guān)鍵技術(shù),相比傳統(tǒng)線下開發(fā)方式,大幅提升算法開發(fā)效率,一個(gè)平臺(tái)解決AI算法開發(fā)落地的全部難題。
開發(fā)效率躍升:一站式編碼和訓(xùn)練流程
極市平臺(tái)提供開箱即用的開發(fā)環(huán)境,內(nèi)置了Pytorch、TensorFlow等主流深度學(xué)習(xí)框架,開發(fā)者可以通過WEB界面直接使用流行的VSCode或Jupyter等IDE開發(fā)工具。開發(fā)環(huán)境內(nèi)置GIT代碼管理工具,并擁有開發(fā)環(huán)境自動(dòng)保存機(jī)制,開發(fā)者可以隨時(shí)隨地進(jìn)行開發(fā),而完全不必?fù)?dān)心數(shù)據(jù)或代碼丟失。極市平臺(tái)可以把AI算法開發(fā)的環(huán)境搭建過程從「天」級(jí)別縮短到「分鐘」級(jí)別,讓AI算法開發(fā)不受時(shí)間、地點(diǎn)的約束。
再也不用操心算力:算力調(diào)度系統(tǒng)保障資源合理調(diào)度
線下開發(fā)的過程中通常算力資源有限,一方面存在資源搶奪、排隊(duì)等候的情況;一方面可能存在資源空閑、資源浪費(fèi)的情況。
極市平臺(tái)創(chuàng)立了基于積分制的算力資源管理系統(tǒng),在開發(fā)者參與編碼、訓(xùn)練、測(cè)試的過程中,通過其消耗的積分來作為算力使用的計(jì)量,并通過一套算力資源實(shí)時(shí)監(jiān)控系統(tǒng)保證算力資源的合理調(diào)度。例如在本次珠港澳大賽和打榜的任務(wù)中,算力利用率高達(dá)96%。
數(shù)據(jù)安全沙箱:平衡「真實(shí)」與「安全」
為了給開發(fā)者提供高質(zhì)量真實(shí)場(chǎng)景數(shù)據(jù),助力開發(fā)者生產(chǎn)出商用級(jí)品質(zhì)的算法,同時(shí)也保障數(shù)據(jù)提供者的數(shù)據(jù)隱私和合規(guī)要求,極市平臺(tái)開發(fā)了數(shù)據(jù)安全沙箱技術(shù)。其中,數(shù)據(jù)安全沙箱的網(wǎng)絡(luò)安全策略管理系統(tǒng),能夠把訓(xùn)練、測(cè)試環(huán)境完全隔離,實(shí)現(xiàn)了在不泄漏數(shù)據(jù)的同時(shí)又能讓算法工程師基于客戶真實(shí)數(shù)據(jù)訓(xùn)練模型和評(píng)估算法質(zhì)量。
為了幫助開發(fā)者實(shí)時(shí)監(jiān)控訓(xùn)練和測(cè)試,極市平臺(tái)的日志系統(tǒng)支持實(shí)時(shí)查看訓(xùn)練和測(cè)試的日志;并可通過可視化工具查看模型訓(xùn)練的指標(biāo),實(shí)現(xiàn)主動(dòng)監(jiān)控訓(xùn)練狀態(tài);同時(shí)也支持無人值守訓(xùn)練,錯(cuò)誤消息通知、訓(xùn)練進(jìn)展定制化提醒、訓(xùn)練結(jié)束通知等。讓開發(fā)者無時(shí)無刻對(duì)自己的開發(fā)訓(xùn)練工作狀態(tài)了如指掌。
自動(dòng)測(cè)試助力快速評(píng)測(cè):EV_SDK 保障快速自動(dòng)測(cè)試
完成算法的自動(dòng)測(cè)試需要解決3個(gè)難題:
1、如何兼容不同算法框架;
2、如何讓算法輸入輸出標(biāo)準(zhǔn)化;
3、如何正確評(píng)估算法性能及精度。
極市平臺(tái)提供標(biāo)準(zhǔn)化封裝框架EV_SDK,通過抽象出AI算法分析過程中涉及的初始化、輸入、推理、輸出等核心接口,形成一套兼容不同算法框架和算法任務(wù)的標(biāo)準(zhǔn)化工具。有了統(tǒng)一的封裝框架后,一方面,可以解決自動(dòng)測(cè)試及評(píng)估的難題;另一方面,算法工程化也可以實(shí)現(xiàn)標(biāo)準(zhǔn)化,由極市平臺(tái)以安裝包的形式進(jìn)行標(biāo)準(zhǔn)化的部署落地。開發(fā)者只需要專注于模型的開發(fā)及核心算法邏輯的實(shí)現(xiàn),不必關(guān)注繁瑣的算法測(cè)試環(huán)節(jié)。
極市平臺(tái)作為面向算法開發(fā)者的高度集成開發(fā)訓(xùn)練平臺(tái),助力開發(fā)者提高算法開發(fā)效率,增強(qiáng)算法模型的實(shí)用性和范化性,幫助算法快速工程落地。
過去5年,以極市平臺(tái)為核心所建立起來的極市開發(fā)者生態(tài),已經(jīng)匯聚超20萬海內(nèi)外專業(yè)算法開發(fā)者。極市開發(fā)者生態(tài)幫助開發(fā)者豐富前沿算法知識(shí)、提升算法工程化能力、實(shí)現(xiàn)算法產(chǎn)品化和技術(shù)變現(xiàn)。極市希望與開發(fā)者們共同打造計(jì)算機(jī)視覺行業(yè)的生態(tài)圈,攜手用算法改變世界。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )