現(xiàn)如今 AI 技術(shù)、概念火爆、落地應(yīng)用更是繁多，但開(kāi)發(fā)呢?是否困難?到底有多痛?

據(jù)了解，大部分 AI 開(kāi)發(fā)者的工作時(shí)間并不長(zhǎng)，并且十有八九可能不是“科班出身”。從編寫(xiě)的教材、錄制的課程中就可以看出，所有的教學(xué)都不可避免地帶有很強(qiáng)的的學(xué)術(shù)性，即便有意避免研究導(dǎo)向，仍然離產(chǎn)業(yè)界的需求相去甚遠(yuǎn)。

并且隨著新一波人工智能的熱潮，人們發(fā)現(xiàn)手里的數(shù)據(jù)多了，電腦運(yùn)算的更快了，但實(shí)際上，這些 AI 開(kāi)發(fā)者使用的工具并不順手。

為幫助開(kāi)發(fā)者更深入地了解 AI 開(kāi)發(fā)，快速上手 AI 開(kāi)發(fā)必備技能，12 月 20 日的AIcon活動(dòng)上，華為云舉辦了一場(chǎng)以「基于 ModelArts 平臺(tái)的 AI 開(kāi)發(fā)實(shí)戰(zhàn)」為主題的現(xiàn)場(chǎng)挑戰(zhàn) Workshop!現(xiàn)場(chǎng)由來(lái)自華為云EI深度學(xué)習(xí)服務(wù)團(tuán)隊(duì)負(fù)責(zé)人為開(kāi)發(fā)者講解了 ModelArts 的 相關(guān)技術(shù)與應(yīng)用，幫助開(kāi)發(fā)者學(xué)習(xí)如何從 0 到 1 打造一款 AI 應(yīng)用模型。

ModelArts——更快的普惠 AI 開(kāi)發(fā)平臺(tái)

ModelArts 是面向 AI 開(kāi)發(fā)者的一站式開(kāi)發(fā)平臺(tái)，提供海量數(shù)據(jù)預(yù)處理及半自動(dòng)化標(biāo)注、大規(guī)模分布式訓(xùn)練、自動(dòng)化模型生成，以及端-邊-云模型按需部署能力，幫助用戶快速創(chuàng)建和部署模型，管理全周期 AI 工作流。

同時(shí)，ModelArts 能夠在 AI 開(kāi)發(fā)全生命周期中，從原始數(shù)據(jù)、標(biāo)注數(shù)據(jù)、訓(xùn)練作業(yè)、算法、模型、推理服務(wù)等，提供全流程可視化管理。支持千萬(wàn)級(jí)模型、數(shù)據(jù)集以及服務(wù)等對(duì)象的管理，無(wú)需人工干預(yù)，自動(dòng)生成溯源圖，選擇任一模型就可以找到對(duì)應(yīng)的數(shù)據(jù)集、參數(shù)、模型部署在哪里。其中最實(shí)用的訓(xùn)練斷點(diǎn)接續(xù)功能、訓(xùn)練結(jié)果比對(duì)功能，在華為內(nèi)部開(kāi)發(fā)者中也頗受歡迎。

簡(jiǎn)單來(lái)說(shuō)，ModelArts 的特點(diǎn)是“四快”：

數(shù)據(jù)管理快——讓數(shù)據(jù)準(zhǔn)備效率百倍提升

想象一下，如果你的老板給了你 10 萬(wàn)張無(wú)標(biāo)簽的圖片，并要求你為這些數(shù)據(jù)打上標(biāo)簽。你該怎么辦呢?

許多公司都在數(shù)據(jù)的大海里遨游，不論是交易數(shù)據(jù)、物聯(lián)網(wǎng)傳感器產(chǎn)生的海量數(shù)據(jù)、安全日志，還是圖像、語(yǔ)音數(shù)據(jù)等等，這些都是未標(biāo)注的數(shù)據(jù)。

正如華為云EI深度學(xué)習(xí)服務(wù)團(tuán)隊(duì)負(fù)責(zé)人所說(shuō)，“當(dāng)前做 AI 開(kāi)發(fā)，最讓開(kāi)發(fā)者頭疼的就是數(shù)據(jù)的采集和數(shù)據(jù)的處理。曾有開(kāi)發(fā)者吐槽，光是數(shù)據(jù)準(zhǔn)備就要占掉整體開(kāi)發(fā)時(shí)間的 70%。”那么，為什么數(shù)據(jù)的處理這么難?效率為什么這么低呢?

人工智能界有一個(gè)說(shuō)法：“有多少人工就有多少智能。”因?yàn)槟壳皩?shí)現(xiàn)人工智能的主要方法是機(jī)器學(xué)習(xí)(目前火熱的深度學(xué)習(xí)也是機(jī)器學(xué)習(xí)的一部分)，而機(jī)器學(xué)習(xí)中目前大部分應(yīng)用都是有監(jiān)督的學(xué)習(xí)，即需要大量的標(biāo)注樣本去訓(xùn)練人工智能算法模型。

例如圖像識(shí)別任務(wù)中，必須有大量已經(jīng)標(biāo)注好的圖片，比如一張貓的圖片，狗的圖片等，你必須明確的告訴 AI 算法，這些圖片里面是什么東西，它再?gòu)闹腥W(xué)習(xí)出相應(yīng)的“知識(shí)”。

所以，AI 并不像傳統(tǒng)想象的那樣，丟一堆數(shù)據(jù)給 AI 算法，AI 算法就能夠從中學(xué)習(xí)到各種有用的知識(shí)。而是背后有大量的人工在標(biāo)注數(shù)據(jù)。

而 ModelArts 在數(shù)據(jù)管理方面，會(huì)將數(shù)據(jù)進(jìn)行預(yù)處理，用 AI 的數(shù)據(jù)去標(biāo)注數(shù)據(jù)，即自動(dòng)化標(biāo)注和半自動(dòng)化標(biāo)注。ModelArts 可對(duì)數(shù)據(jù)采樣和篩選，預(yù)標(biāo)注，縮減需要標(biāo)記的數(shù)據(jù)量，降低工作量。目前， ModelArts 已經(jīng)在自動(dòng)駕駛領(lǐng)域有非常多的應(yīng)用，包括人車(chē)模型、信號(hào)燈模型等等，這些模型在自動(dòng)駕駛的場(chǎng)景里面，可以快速地提升數(shù)據(jù)處理的效率，實(shí)時(shí)地處理數(shù)據(jù)。在未來(lái)，ModelArts 也將面向通用計(jì)算機(jī)的其他領(lǐng)域。

訓(xùn)練快——模型訓(xùn)練耗時(shí)減低一半

在模型訓(xùn)練部分，ModelArts 通過(guò)硬件、軟件和算法協(xié)同優(yōu)化來(lái)實(shí)現(xiàn)訓(xùn)練加速。尤其在深度學(xué)習(xí)模型訓(xùn)練方面，華為將分布式加速層抽象出來(lái)，形成一套通用框架——MoXing(“模型”的拼音，意味著一切優(yōu)化都圍繞模型展開(kāi))。

采用與 fast.ai 一樣的硬件、模型和訓(xùn)練數(shù)據(jù)，ModelArts 可將訓(xùn)練時(shí)長(zhǎng)可縮短到 10 分鐘，創(chuàng)造了新的紀(jì)錄，為用戶節(jié)省 44% 的時(shí)間。

MoXing 是華為云 ModelArts 團(tuán)隊(duì)自研的分布式訓(xùn)練加速框架，它構(gòu)建于開(kāi)源的深度學(xué)習(xí)引擎 TensorFlow、MXNet、PyTorch、Keras 之上，使得這些計(jì)算引擎分布式性能更高，同時(shí)易用性更好。

MoXing 內(nèi)置了多種模型參數(shù)切分和聚合策略、分布式 SGD 優(yōu)化算法、級(jí)聯(lián)式混合并行技術(shù)、超參數(shù)自動(dòng)調(diào)優(yōu)算法，并且在分布式訓(xùn)練數(shù)據(jù)切分策略、數(shù)據(jù)讀取和預(yù)處理、分布式通信等多個(gè)方面做了優(yōu)化，結(jié)合華為云 Atlas 高性能服務(wù)器，實(shí)現(xiàn)了硬件、軟件和算法協(xié)同優(yōu)化的分布式深度學(xué)習(xí)加速。

有了MoXing后，上層開(kāi)發(fā)者可以聚焦業(yè)務(wù)模型，無(wú)需關(guān)注下層分布式相關(guān)的 API，只用根據(jù)實(shí)際業(yè)務(wù)定義輸入數(shù)據(jù)、模型以及相應(yīng)的優(yōu)化器即可，訓(xùn)練腳本與運(yùn)行環(huán)境(單機(jī)或者分布式)無(wú)關(guān)，上層業(yè)務(wù)代碼和分布式訓(xùn)練引擎可以做到完全解耦。

另外，衡量分布式深度學(xué)習(xí)框架加速性能時(shí)，主要看吞吐量和收斂時(shí)間。在與吞吐量和收斂時(shí)間相關(guān)的幾個(gè)關(guān)鍵指標(biāo)上，華為云 ModelArts 都做了精心處理：

在數(shù)據(jù)讀取和預(yù)處理方面，MoXing 通過(guò)利用多級(jí)并發(fā)輸入流水線使得數(shù)據(jù) IO 不會(huì)成為瓶頸;

在模型計(jì)算方面，MoXing 對(duì)上層模型提供半精度和單精度組成的混合精度計(jì)算，通過(guò)自適應(yīng)的尺度縮放減小由于精度計(jì)算帶來(lái)的損失;

在超參調(diào)優(yōu)方面，采用動(dòng)態(tài)超參策略(如 momentum、batch size 等)使得模型收斂所需 epoch 個(gè)數(shù)降到最低;

在底層優(yōu)化方面，MoXing 與底層華為自研服務(wù)器和通信計(jì)算庫(kù)相結(jié)合，使得分布式加速進(jìn)一步提升

那么，在 MoXing 一系列的優(yōu)化之后，實(shí)際效果如何?以國(guó)際權(quán)威成績(jī)來(lái)參考：

在斯坦福大學(xué)發(fā)布 DAWNBenchmark 最新成績(jī)中，在圖像識(shí)別(ResNet50-on-ImageNet，93% 以上精度)的總訓(xùn)練時(shí)間上，華為云 ModelArts 排名第一，僅需 10 分 28 秒，比第二名提升近 40%。

在這個(gè)匯聚谷歌、亞馬遜 AWS、fast.ai 等高水平隊(duì)伍的國(guó)際權(quán)威深度學(xué)習(xí)模型基準(zhǔn)平臺(tái)上，華為云 ModelArts 第一次參加國(guó)際排名，便實(shí)現(xiàn)了低成本、快速又極致的 AI 開(kāi)發(fā)體驗(yàn)，其海量數(shù)據(jù)預(yù)處理及半自動(dòng)化標(biāo)注、大規(guī)模分布式訓(xùn)練、自動(dòng)化模型生成以及端 - 邊 - 云模型按需部署能力，更是體現(xiàn)了當(dāng)前中國(guó)業(yè)界深度學(xué)習(xí)平臺(tái)技術(shù)的領(lǐng)先性。

上線快——一鍵部署到云、端、邊，支持各種上線場(chǎng)景

現(xiàn)如今，縱觀整個(gè) AI 產(chǎn)業(yè)，不僅僅是云，還會(huì)有邊和端都需要部署的場(chǎng)景。然而，在 AI 規(guī)?；涞氐膱?chǎng)景下，模型部署會(huì)非常復(fù)雜，需要寫(xiě)代碼集成到應(yīng)用系統(tǒng)，維護(hù)、更新。例如在智慧交通領(lǐng)域，更新后的模型，需要一次性同時(shí)部署到各種不同規(guī)格、不同廠商的攝像頭上，這是一項(xiàng)非常耗時(shí)、費(fèi)力的巨大工程。

對(duì)于此類(lèi)場(chǎng)景，ModelArts 可以一鍵推送模型到所有邊緣、端的設(shè)備上，云上的部署還支持在線和批量推理，滿足大并發(fā)和分布式等多種場(chǎng)景需求。

開(kāi)發(fā)者可以在 ModelArts 上獲得一些高并發(fā)、自動(dòng)彈性伸縮的特性。能夠根據(jù)用戶制定的策略，自動(dòng)調(diào)整云服務(wù)器的計(jì)算資源，跟隨用戶的業(yè)務(wù)需求變化。在業(yè)務(wù)需求下降時(shí)自動(dòng)減少云服務(wù)器，節(jié)約資源和成本;在業(yè)務(wù)需求高峰時(shí)自動(dòng)增加云服務(wù)器，保證業(yè)務(wù)平穩(wěn)健康運(yùn)行。

上手快——自動(dòng)學(xué)習(xí)，零 AI 基礎(chǔ)構(gòu)建模型

ModelArts 具備自動(dòng)學(xué)習(xí)功能，支持模型的自動(dòng)設(shè)計(jì)與自動(dòng)調(diào)參等，能夠幫助開(kāi)發(fā)者提升開(kāi)發(fā)效率、快速上手。

為什么需要自動(dòng)學(xué)習(xí)?

AI 開(kāi)發(fā)有兩大類(lèi)，第一類(lèi)為 AI 認(rèn)知服務(wù)，比如圖像識(shí)別和 OCR 等，這一類(lèi)門(mén)檻很低，但靈活性差，只支持特定類(lèi)型。當(dāng)不滿足需求時(shí)，只能定制一個(gè)模型，周期非常長(zhǎng)費(fèi)用也比較高。第二類(lèi)就是找 AI 的算法工程師、算法專(zhuān)家，去做自己的模型;還有一類(lèi)就是那些直接用 AI 的框架自己寫(xiě)代碼以及自己訓(xùn)練數(shù)據(jù)，這一類(lèi)的門(mén)檻較高，靈活度也很高。而自動(dòng)學(xué)習(xí)就是希望能夠打破這兩者，既有一定的定制化的能力，又能夠降低 AI 定制化模型的門(mén)檻，不需要寫(xiě)代碼，用戶可以定制化自己的模型的特點(diǎn)。

在自動(dòng)深度學(xué)習(xí)里面，關(guān)鍵的技術(shù)是能夠做到多維度下的模型的架構(gòu)自動(dòng)設(shè)計(jì)，包含模型的元學(xué)習(xí)，涉及一些訓(xùn)練指標(biāo)，還有推動(dòng)網(wǎng)絡(luò)涉及的推理速度和監(jiān)控等。另外還包括一些元學(xué)習(xí)的訓(xùn)練參數(shù)的自動(dòng)配置、模型訓(xùn)練的參數(shù)配置及搜索等。

另外，由于深度學(xué)習(xí)向計(jì)算機(jī)視覺(jué)輸入原始數(shù)據(jù)，整個(gè)特征工程是在神經(jīng)網(wǎng)絡(luò)里面做的，而機(jī)器學(xué)習(xí)需要很多算法工程師去識(shí)別哪些特征是對(duì)業(yè)務(wù)是起正向作用的，所以自動(dòng)機(jī)器學(xué)習(xí)的關(guān)鍵技術(shù)，就是高效自動(dòng)特征工程和自動(dòng)調(diào)參。

除此之外，據(jù)華為云EI深度學(xué)習(xí)服務(wù)團(tuán)隊(duì)負(fù)責(zé)人介紹，華為云 ModelArts 還有一個(gè)特色，就是面向應(yīng)用開(kāi)發(fā)者。對(duì)于有經(jīng)驗(yàn)的開(kāi)發(fā)者，可以在 ModelArts 上自行編寫(xiě)并導(dǎo)入算法代碼，核心組件 MoXing SDK 支持豐富的模型庫(kù)、優(yōu)化算法和各類(lèi)工具庫(kù);支持自動(dòng)超參數(shù)調(diào)優(yōu);包含訓(xùn)練 - 驗(yàn)證 - 預(yù)測(cè) - 模型導(dǎo)出的整套框架;開(kāi)發(fā)者只需要編寫(xiě)一套代碼就能自動(dòng)實(shí)現(xiàn)單機(jī)及分布式化。

對(duì)于編程苦手卻想快速生成模型的 AI 初學(xué)者，ModelArts 也預(yù)置了能夠覆蓋大部分常用應(yīng)用場(chǎng)景的算法模型(如 RestNet_50、Faster_RCNN、SegNet_VGG_16 等，未來(lái)還將上線更多算法模型)，所有預(yù)置模型的基于開(kāi)源數(shù)據(jù)集訓(xùn)練，模型精度領(lǐng)先。只需配置數(shù)據(jù)路徑 / 日志輸出路徑和 Hyper Parameter 自動(dòng)選擇設(shè)置就可以一鍵啟動(dòng)訓(xùn)練。

ModelArts 應(yīng)用實(shí)例：金融票據(jù) OCR 識(shí)別

金融票據(jù)，包括銀行承兌票據(jù)和商業(yè)承兌票據(jù)，目前銀行承兌票據(jù)占了 90% 以上的票據(jù)市場(chǎng)份額，金融票據(jù) OCR 識(shí)別工作重點(diǎn)在于銀行票據(jù)的識(shí)別。

對(duì)于業(yè)界普通 OCR 軟件，在金融票據(jù)領(lǐng)域識(shí)別準(zhǔn)確率不高，對(duì)于現(xiàn)有一些針對(duì)金融票據(jù)做過(guò)優(yōu)化的 OCR，識(shí)別準(zhǔn)確率也算達(dá)到 90%。由于金融票據(jù)金額不低，對(duì)于 OCR 識(shí)別要求很高，而金融票據(jù)難點(diǎn)在于票據(jù)格式多樣且差別細(xì)微等。

另外，票據(jù)模型開(kāi)發(fā)訓(xùn)練難點(diǎn)包括數(shù)據(jù)標(biāo)注、模型訓(xùn)練、調(diào)參和部署上都有較多難點(diǎn)，對(duì)于 AI 開(kāi)發(fā)水平要求很高，需要非常資深的 AI 專(zhuān)家進(jìn)行繁瑣和長(zhǎng)時(shí)間對(duì)于票據(jù) AI 進(jìn)行不斷訓(xùn)練。

通過(guò) ModelArts 助力金融票據(jù) OCR 識(shí)別的實(shí)戰(zhàn)。多位 ATN 社區(qū)使用者使用后認(rèn)為：ModelArts 適合 AI 的初學(xué)者，通過(guò)數(shù)據(jù)集的分類(lèi)，可自動(dòng)學(xué)習(xí)，無(wú)需調(diào)參等操作;適用于遷移學(xué)習(xí);線上部署便利，逐步集成更多的數(shù)據(jù)標(biāo)注工具，擴(kuò)大應(yīng)用范圍。

后續(xù)，華為云 ModelArts 將進(jìn)一步整合軟硬一體化的優(yōu)勢(shì)，提供從芯片(Ascend)、服務(wù)器(Atlas Server)、計(jì)算通信庫(kù)(CANN)到深度學(xué)習(xí)引擎(MindSpore)和分布式優(yōu)化框架(MoXing)全棧優(yōu)化的深度學(xué)習(xí)訓(xùn)練平臺(tái)。

華為云 ModelArts 會(huì)逐步集成更多的數(shù)據(jù)標(biāo)注工具，擴(kuò)大應(yīng)用范圍，將繼續(xù)服務(wù)于智慧城市、智能制造、自動(dòng)駕駛及其它新興業(yè)務(wù)場(chǎng)景，在公有云上為用戶提供更普惠的 AI 服務(wù)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。