原標(biāo)題:華為計算戰(zhàn)略再出新措,全面啟動數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略
不鳴則已一鳴驚人,這就是華為。
還記得兩個月前華為在全聯(lián)接大會上的一系列操作嗎?發(fā)布全新計算戰(zhàn)略,開放鯤鵬主板接口規(guī)范和設(shè)備管理規(guī)范、開源服務(wù)器操作系統(tǒng)、開源GaussDB OLTP單機(jī)版數(shù)據(jù)庫……那時我就說很快華為還會有更多后續(xù)動作。今天,它來了。
11月19日,華為在深圳召開2019全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇。會上,華為重磅宣布全面啟動數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略,并開源數(shù)據(jù)虛擬化引擎HetuEngine (河圖引擎)。
繼計算戰(zhàn)略之后,又宣布數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略,華為是何用意?數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略什么內(nèi)涵,和計算戰(zhàn)略又是什么關(guān)系?數(shù)據(jù)虛擬化引擎能給用戶帶去什么?
01
計算的主體是數(shù)據(jù)
數(shù)據(jù)將成為未來世界的關(guān)鍵生產(chǎn)資料,這一點相信已經(jīng)沒有人再懷疑。
打開快手,會收到你感興趣的內(nèi)容推送,背后就是數(shù)據(jù)在驅(qū)動;大港油田發(fā)現(xiàn)新的油氣層,離不開大數(shù)據(jù)和AI技術(shù)的支撐;華為每年近300萬人次出差能做到“說走就走”,免去申請、報銷等復(fù)雜的流程,是因為通過數(shù)據(jù)更有效、更合理的方式流轉(zhuǎn)代替了員工的跑腿。
然而一個不得不承認(rèn)的現(xiàn)實是,像這樣被利用起來的數(shù)據(jù)太少了,一方面是數(shù)據(jù)生產(chǎn)的速度太快,另一方面則是因為存儲、計算資源是有限的。
不信?舉幾個例子,從1080P提升到4K、8K,視頻數(shù)據(jù)量將提升40倍,從4K到4k VR要增加6倍以上;未來每輛自動駕駛汽車每天就會產(chǎn)生高達(dá)64TB的數(shù)據(jù);深圳一個城市有超過200萬攝像頭,每天將生產(chǎn)80PB數(shù)據(jù),平均保存30天,而且大家希望保存的時間還要更長。
華為GIV 2025預(yù)測,全球數(shù)據(jù)量將從2018年的33ZB快速增長到2025年的180ZB。這其中,產(chǎn)生的數(shù)據(jù)中僅有不到2%被保存,而被保存的數(shù)據(jù)中僅有不到10%被應(yīng)用。
數(shù)據(jù)增長和存儲資源、計算資源有限之間的矛盾可以說愈演愈烈。解決這一問題唯一的辦法就是在存儲、計算等基礎(chǔ)設(shè)施上下功夫。
于是,華為宣布了數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略。未來,華為將圍繞數(shù)據(jù)“采-存-算-管-用”的全生命周期,通過提供融合、智能、開放的數(shù)據(jù)基礎(chǔ)設(shè)施,使能各行各業(yè)客戶釋放數(shù)據(jù)價值,讓智能無所不及。
02
換個角度理解計算戰(zhàn)略
該如何理解數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略?其實早在華為發(fā)布計算戰(zhàn)略時,對于數(shù)據(jù)部分就已經(jīng)有相應(yīng)的描述,即在智能數(shù)據(jù)與存儲領(lǐng)域,通過融合存儲、大數(shù)據(jù)、數(shù)據(jù)庫、AI等技術(shù),圍繞數(shù)據(jù)的全生命周期,讓數(shù)據(jù)的每比特成本最優(yōu)、讓數(shù)據(jù)的每比特價值最大。
對比兩次表述來看,異曲同工。因此在我看來,數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略并不是又一個全新的概念,而是華為整體計算戰(zhàn)略的一部分,華為在以一個更具象、更小的切口來落地計算戰(zhàn)略,畢竟計算戰(zhàn)略非常宏大。有了數(shù)據(jù)這個抓手,能更好的發(fā)揮華為整體計算戰(zhàn)略的能力。
事實也確實如此,如華為Cloud & AI產(chǎn)品與服務(wù)總裁侯金龍在演講中所說,數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略是從數(shù)據(jù)角度對計算戰(zhàn)略的再度思考。
當(dāng)然,除了戰(zhàn)略目標(biāo),此次華為帶來的還有實踐理念和落地工具。其中最核心的是依托鯤鵬計算產(chǎn)業(yè),打造“融合、智能、開放”的數(shù)據(jù)基礎(chǔ)設(shè)施,讓數(shù)據(jù)系統(tǒng)從孤立走向融合,從復(fù)雜走向智能,從封閉走向開放。這也是此次大會取名全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇的出發(fā)點。
融合,顧名思義打破孤立,主要針對基礎(chǔ)設(shè)施層。數(shù)據(jù)應(yīng)用主要涉及兩個部分:存儲與分析。傳統(tǒng)煙囪式IT業(yè)務(wù)系統(tǒng)面臨兩個挑戰(zhàn):存的時候數(shù)據(jù)孤立,且多副本,成本高利用難;分析的時候需要大量數(shù)據(jù)搬遷,效率低。融合就是要打破這其中的墻。
總結(jié)起來,有4堵墻:
一、存儲內(nèi)部系統(tǒng)墻:通過一套架構(gòu)實現(xiàn)生產(chǎn)、分析、備份、歸檔統(tǒng)一管理,一份數(shù)據(jù)在各個系統(tǒng)中可以平滑流動,進(jìn)而減少拷貝,TCO可降低30%以上。
二、數(shù)據(jù)庫與存儲鏈路墻:通過算子下推實現(xiàn)近數(shù)據(jù)計算,減少存儲層與計算層之間的數(shù)據(jù)交換,數(shù)據(jù)訪問和處理性能提升2倍。
三、大數(shù)據(jù)與存儲配置墻:通過存算分離實現(xiàn)資源靈活配置,計算不足擴(kuò)計算,存儲不足擴(kuò)存儲,并通過彈性EC、數(shù)據(jù)縮減技術(shù)減少冗余,整體TCO降低30%以上。
四、數(shù)據(jù)庫與大數(shù)據(jù)協(xié)同墻:通過協(xié)同分析實現(xiàn)數(shù)據(jù)0搬遷,數(shù)據(jù)庫和大數(shù)據(jù)共享一份數(shù)據(jù),分析效率提升100%。
智能,主要解決運維難題。架構(gòu)正變得越來越復(fù)雜,靠人越來越捉襟見肘,即便是經(jīng)驗豐富的老工程師也越來越感覺吃力,這是人工智能被廣泛提及的基礎(chǔ)。華為基于AI芯片、存儲和華為云的三層架構(gòu),通過云上訓(xùn)練和云下推理,能夠讓系統(tǒng)越用越快、越用越省。
具體體現(xiàn)在三個方面:
- 依托昇騰處理器的AI能力,自動學(xué)習(xí)和識別IO流,提升Cache預(yù)取命中率,系統(tǒng)整體性能提升20%。
- 依托鯤鵬處理器的多核算力,根據(jù)不同的數(shù)據(jù)類型,實時優(yōu)化數(shù)據(jù)縮減算法,TCO降低25%。
- 結(jié)合華為云自身大規(guī)模運維運營經(jīng)驗,當(dāng)前可以實現(xiàn)提前14天預(yù)測硬盤故障,提前60天預(yù)測性能瓶頸,提前365天預(yù)測容量不足,其中30%的故障可以自我修復(fù)。
開放,解決數(shù)據(jù)應(yīng)用難題。業(yè)務(wù)類型日益增多,跨平臺、跨數(shù)據(jù)源協(xié)同分析場景增多,找數(shù)難、取數(shù)難、用數(shù)難日益突出。比如
找數(shù)難:傳統(tǒng)企業(yè)數(shù)據(jù)類型越來越多,結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)并存,缺少統(tǒng)一數(shù)據(jù)目錄和全局?jǐn)?shù)據(jù)視圖,要在眾多異構(gòu)數(shù)據(jù)源中找到特定數(shù)據(jù),就像大海撈針。
取數(shù)難:一個典型的分析業(yè)務(wù)通常依賴跨地域跨平臺數(shù)據(jù)協(xié)同,需要從多個業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù),這要經(jīng)過多部門間協(xié)調(diào)、核實才能獲取。
用數(shù)難:多業(yè)務(wù)分析需要多引擎協(xié)同,這將依賴多種數(shù)據(jù)訪問技術(shù),需要開發(fā)人員掌握多種開發(fā)工具和語言,這導(dǎo)致開發(fā)門檻變高,開發(fā)周期變長。為了屏蔽數(shù)據(jù)類型差異、地域差異、語法差異,讓數(shù)據(jù)治理更簡單,華為推出了“河圖引擎”。
融合、智能、開放,基礎(chǔ)設(shè)施、運維、數(shù)據(jù),數(shù)據(jù)應(yīng)用基礎(chǔ)設(shè)施的方方面面,華為此次都給出了自己的觀察,并提供了相應(yīng)的解決方案。
03
河圖治水,河圖引擎治數(shù)
這里重點講講河圖引擎(HetuEngine)。“大禹得河圖后始見清明”,大禹通過河圖掌握河流山川復(fù)雜的地形地貌,順利完成治水大業(yè)。華為取名河圖就是想數(shù)據(jù)治理簡單,使用簡單,讓開發(fā)者像使用數(shù)據(jù)庫一樣使用大數(shù)據(jù),復(fù)用現(xiàn)有的生態(tài)、工具和技能,進(jìn)而提升開發(fā)效率。
眾所周知,數(shù)據(jù)庫已經(jīng)是非常成熟的產(chǎn)品,標(biāo)準(zhǔn)化語言,目錄清晰、接口統(tǒng)一,使用便捷。這也是河圖致力實現(xiàn)的目標(biāo)。
目前,河圖引擎具備4個核心能力:
一個目錄:通過元數(shù)據(jù)在線感知,構(gòu)建超過1000個異地異構(gòu)數(shù)據(jù)源全局虛擬數(shù)據(jù)視圖,打破數(shù)據(jù)孤島。數(shù)據(jù)全局可視,解決企業(yè)找數(shù)難問題。
一個入口:通過開放的連接框架、5000節(jié)點SQL引擎,實現(xiàn)30種異地異構(gòu)數(shù)據(jù)源統(tǒng)一SQL訪問,秒級獲取。數(shù)據(jù)全局可得,解決企業(yè)取數(shù)難問題。
一份數(shù)據(jù):通過CarbonData技術(shù),實現(xiàn)一份數(shù)據(jù)多場景分析,多應(yīng)用共享,數(shù)據(jù)0搬遷。數(shù)據(jù)全局可用,解決企業(yè)用數(shù)難問題。
統(tǒng)一安全:對于用戶最重視的數(shù)據(jù)安全性問題,河圖引擎通過細(xì)粒度動態(tài)授權(quán)、敏感數(shù)據(jù)自動感知技術(shù),能夠?qū)崿F(xiàn)異地異構(gòu)數(shù)據(jù)源集中式安全配置與管控。數(shù)據(jù)全局可控,數(shù)據(jù)授權(quán)時間從天到秒,解決企業(yè)數(shù)據(jù)安全與合規(guī)問題。
據(jù)悉,開源版本的河圖引擎叫OpenHetu,并將于2020年6月上線。華為將開源內(nèi)核,開發(fā)者可以基于開源代碼進(jìn)行定制,包括數(shù)據(jù)源擴(kuò)展、SQL執(zhí)行策略等,實現(xiàn)應(yīng)用快速對接,提升開發(fā)效率。總的目標(biāo),讓合作伙伴用得好,用的放心。
回過頭再看華為計算戰(zhàn)略,毫無疑問,其正在快速、穩(wěn)步的推進(jìn)。還是之前的判斷,這還只是華為計算戰(zhàn)略的開始,未來還會有更多后續(xù)。但值得強(qiáng)調(diào)的是,相比之前,華為這次找到了一個更好的切入點,它就是數(shù)據(jù)。所以,接下來華為計算戰(zhàn)略的落地進(jìn)程肯定會走的更實、更快,拭目以待。
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個大計劃瞄準(zhǔn)AI機(jī)器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費引熱議
- 消息稱塔塔集團(tuán)將收購和碩印度iPhone代工廠60%股份 并接管日常運營
- 蘋果揭秘自研芯片成功之道:領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達(dá)新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關(guān)注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關(guān)注
- 無人機(jī)“黑科技”亮相航展:全球首臺低空重力測量系統(tǒng)引關(guān)注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機(jī)器人合作
- 賽力斯觸及漲停,汽車整車股盤初強(qiáng)勢拉升
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。