日前,國內市場調查和咨詢公司艾瑞咨詢發(fā)布《2022 年中國數(shù)智融合發(fā)展洞察》報告。作為國內最新的數(shù)智融合研究成果,該報告聚焦企業(yè)數(shù)智融合,圍繞中國數(shù)智融合發(fā)展背景、企業(yè)數(shù)智融合挑戰(zhàn)與應對、數(shù)智融合典型實踐等進行了深入分析,結論令人深思。
報告顯示,華為云數(shù)智融合解決方案綜合優(yōu)勢突出,憑借其獨家創(chuàng)新架構,為客戶進一步降本增效,在行業(yè)技術創(chuàng)新上持續(xù)領跑。通過 DataArts 和 ModelArts 的融合,打通了大數(shù)據(jù)和人工智能,兼顧成本與性能,實現(xiàn)統(tǒng)一管理、一數(shù)多用,同時實現(xiàn)敏捷用數(shù),全流程自動化與智能化。
中國數(shù)智融合發(fā)展的典型特征
《2022 年中國數(shù)智融合發(fā)展洞察》報告指出,隨著數(shù)字化不斷推進,全球數(shù)據(jù)量以超過 59%的年增長率快速增長,中國的數(shù)據(jù)量增速比全球更快。其中,80%是非結構化和半結構化數(shù)據(jù)。并且,在企業(yè)內部,非結構化數(shù)據(jù)增速遠高于結構化數(shù)據(jù),非結構化數(shù)據(jù)占比也越來越高。值得關注的是,數(shù)據(jù)多源異構成為常態(tài),以數(shù)據(jù)庫種類為例,除傳統(tǒng)關系型數(shù)據(jù)庫外,還誕生了更適應物聯(lián)網(wǎng)場景的時序數(shù)據(jù)庫、更適應知識圖譜應用的圖數(shù)據(jù)庫等。
同時,報告還指出,在大數(shù)據(jù)行業(yè),企業(yè)仍然存在數(shù)據(jù)壁壘突出、碎片化問題嚴重等瓶頸制約,大數(shù)據(jù)容量大、類型多、速度快、精度準和價值高的 5V 特性未能得到充分釋放。
此外,云原生領域,從微服務走向 Serverless,底層基礎設施被“屏蔽”,開發(fā)者只需專注于編寫應用程序的業(yè)務邏輯,技術人員更貼近業(yè)務。為推進 AI 應用的高質量落地,開展針對性的數(shù)據(jù)治理工作成為企業(yè)迫切需求。通過抽象解耦、水平擴展、自動化與智能化實現(xiàn)去過程化,企業(yè)業(yè)務需求可得到實時響應,進一步實現(xiàn)敏捷和創(chuàng)新。
簡言之,整個經(jīng)濟社會源源不斷地產(chǎn)生數(shù)據(jù),但是爆炸式增長的數(shù)據(jù)并未發(fā)揮其真正價值,也未有效驅動企業(yè)業(yè)務增長。
橫亙在企業(yè)面前的數(shù)智融合四大挑戰(zhàn)
原因何在?《2022 年中國數(shù)智融合發(fā)展洞察》報告揭露出問題所在。
第一,傳統(tǒng)架構下,數(shù)據(jù)量、存儲成本和計算效率不可兼得。如果不考慮數(shù)據(jù)量和數(shù)據(jù)類型,那么傳統(tǒng)數(shù)倉或單體 DBMS 已足夠;不考慮計算效率,那么基于 HDFS 或公有云的對象存儲即可滿足。如果不考慮存儲成本,企業(yè)可使用 NVM(非易失性內存)。
其次,數(shù)倉、數(shù)據(jù)湖和 AI 數(shù)據(jù)形成新的數(shù)據(jù)孤島。經(jīng)過多年發(fā)展,數(shù)據(jù)分析和 AI 分析出現(xiàn)面向不同任務的專用數(shù)據(jù)系統(tǒng)?;趯ο蟠鎯Φ拇髷?shù)據(jù)系統(tǒng)負責處理海量數(shù)據(jù)和非結構化數(shù)據(jù),數(shù)倉系統(tǒng)處理結構化數(shù)據(jù),AI 系統(tǒng)中的數(shù)據(jù)一般存儲在本地。這些專用系統(tǒng)“各自為政”,要么無法打通形成新的數(shù)據(jù)孤島,要么不同業(yè)務的開發(fā)要遷移數(shù)據(jù),實施過程漫長,影響業(yè)務快速發(fā)展。
第三,雖然開源產(chǎn)品非常豐富,但是開發(fā)運維難。即使有大量開源產(chǎn)品,但是企業(yè)自行搭建數(shù)智平臺依然困難重重。比如在運維上,很多企業(yè)主要依靠人工運維,不僅效率低,而且成本高,無法很好應對宕機事故。再比如體驗上,因產(chǎn)品自產(chǎn)自用,復用率低,技術團隊只保障基礎需求,對降低業(yè)務人員使用難度、提升使用體驗的附加性需求響應度低。
最后,數(shù)據(jù)準備工作既復雜,又低效。在利用數(shù)據(jù)過程中,數(shù)據(jù)質量至關重要,低質量數(shù)據(jù)效用非常低。從數(shù)據(jù)生成、采集到應用的長生命周期,數(shù)據(jù)準備工作異常耗時。據(jù) Cognilytica 調研顯示,機器學習中,超過 80%的時間被用于數(shù)據(jù)準備。
這些挑戰(zhàn)猶如企業(yè)面前的“攔路虎”,阻礙著企業(yè)充分利用數(shù)據(jù)。只有那些跨越“攔路虎”的企業(yè)才能繼續(xù)前行,釋放數(shù)據(jù)價值,步入發(fā)展快車道。
如何“變身”數(shù)智融合的佼佼者
而興盛優(yōu)選則是其代表之一。作為一家互聯(lián)網(wǎng)新零售企業(yè),興盛優(yōu)選無疑是過去數(shù)年國內互聯(lián)網(wǎng)創(chuàng)業(yè)中的“明星公司”。它主要定位于解決家庭消費者的日常需求,包括蔬菜水果、肉禽水產(chǎn)、米面糧油、日用百貨等商品,以 “預售 + 自提” 模式為用戶提供服務。目前,它已是估值超過 100 億美金的獨角獸企業(yè)。
在興盛優(yōu)選總部,每一層樓都安裝有一塊約 60 寸的長方形屏幕,淡藍色地圖背景上滾動著興盛優(yōu)選當日全國訂單數(shù),數(shù)字實時更新。
對興盛優(yōu)選而言,數(shù)據(jù)已經(jīng)成為其業(yè)務發(fā)展的底座,不僅與業(yè)務深度融合,而且致力于為業(yè)務發(fā)展創(chuàng)造更大價值。
據(jù)悉,該公司總數(shù)據(jù)量已達 PB 級別,日新增數(shù)據(jù)量達到 TB 級,其業(yè)務每個鏈路均有數(shù)據(jù)參與其中,實現(xiàn)相應業(yè)務流程的迭代和增強。
業(yè)務快速發(fā)展中,興盛優(yōu)選在數(shù)據(jù)上也遇到很大挑戰(zhàn)。與很多企業(yè)一樣,它主要基于開源大數(shù)據(jù)組件進行搭建,但是基礎設施的穩(wěn)定性卻跟不上業(yè)務發(fā)展速度,于是面臨兩大難題:其一,機器資源采購周期較長,如果周期內機器不足以支撐業(yè)務發(fā)展,那么就會出現(xiàn)大數(shù)據(jù)組件運行資源缺乏導致任務延時甚至失敗的情況;其二,大數(shù)據(jù)涉及的開源組件比較多,而業(yè)務發(fā)展急需可靠的集群支撐,這就需要專業(yè)人才。在興盛優(yōu)選總部長沙,找到維護龐大集群相應組件的專業(yè)人才不僅需要時間,而且會帶來不小的人力成本。
興盛優(yōu)選基礎數(shù)據(jù)平臺部負責人補充道:“相比 OBS 的糾刪碼存儲機制而言,HDFS 的副本機制成本高出不少。對創(chuàng)業(yè)公司而言,能省每一筆可以節(jié)省的錢,并將這些錢花在該花的地方,這是每個技術架構師都應該要具備的思維?!?/p>
基于性能和成本考量后,興盛優(yōu)選決定采用華為云數(shù)智融合解決方案,將原來基于開源組件搭建的數(shù)據(jù)平臺,遷移到華為云 GaussDB 集群,提升數(shù)據(jù)分析效能,從根本上解決了業(yè)務數(shù)據(jù)不一致,實時業(yè)務不穩(wěn)定的問題。
在他看來,相比 x86 而言,基于 ARM 系列硬件的華為云集群服務有非常突出的成本優(yōu)勢。他表示:“當前,我們整個大數(shù)據(jù)集群都是運行在華為云的 ARM 系列集群上,服務比較穩(wěn)定,基本沒什么太大問題。即使上線后這段時間,也只出現(xiàn)過一次小規(guī)模故障,集群中有幾臺機器出現(xiàn)過斷電重啟的情況”。
通過華為云上云團隊駐場支持協(xié)助,興盛優(yōu)選用時 1 個月即完成大部分任務從線下遷移到線上,大大降低了運維成本。
如果說興盛優(yōu)選是互聯(lián)網(wǎng)新零售中的“明星”,那么 T3 出行則是出行領域釋放數(shù)據(jù)價值的“佼佼者”。據(jù)悉,T3 出行是由中國一汽、東風汽車、長安汽車三大央企聯(lián)合多方知名企業(yè)簽訂合資協(xié)議正式運營的出行企業(yè),截止 2022 年 7 月,T3 出行登陸全國 91 個城市,累計注冊用戶超 1 億,單日訂單峰值破 300 萬單,訂單規(guī)模及日活用戶躍居 B2C 出行領域第一。
于它而言,面臨三大痛點:一是傳統(tǒng)數(shù)倉技術難以解決“長尾支付”帶來的問題,二是平臺需要更靈活的架構支持像 AI 自動驗證司機身份、識別司機不安全行為等新應用,三是平臺需要更穩(wěn)定可靠的架構,支撐流量快速增長。
為滿足業(yè)務發(fā)展,T3 出行選擇華為云數(shù)智融合產(chǎn)品,將多套集群架構優(yōu)化至湖倉一體的存算分離架構,同時支撐數(shù)據(jù)分析的 BI 和數(shù)據(jù)智能的 AI 場景,不僅使 TCO 降低 20%以上,更解決了出行場景下“長尾支付”系統(tǒng)更新慢的難題,保證業(yè)務 7x24 小時穩(wěn)定運行。
除了興盛優(yōu)選、T3 出行,夢餉集團通過采用華為云數(shù)智融合解決方案實現(xiàn) TCO 下降 30%,實時分析能力提升 50%。華為云一體化解決方案為夢餉集團帶來“資源高效”、“應用敏捷”、“業(yè)務智能”、“安全可信”等多方面的智能升級。 基于此,在 5 月 26 日舉辦的數(shù)博會上,夢餉集團創(chuàng)新實踐入選“十佳大數(shù)據(jù)案例”,華為云數(shù)智融合平臺也榮獲“2022 數(shù)博會領先科技成果優(yōu)秀項目獎”,充分證明了業(yè)界對華為云數(shù)據(jù)領域技術創(chuàng)新的認可。
獨家創(chuàng)新架構 華為云助力企業(yè)釋放數(shù)據(jù)價值
為什么不同行業(yè)的不同企業(yè)都青睞華為云數(shù)智融合平臺?
簡言之,華為云為企業(yè)在云上打造了統(tǒng)一的數(shù)據(jù)底座,實現(xiàn)數(shù)據(jù)和智能的融合,為企業(yè)發(fā)展提供新引擎。
具體說來,三層分離。華為云數(shù)智融合平臺通過存儲-緩存-內存三層分離,兼顧存儲成本和計算性能,讓性價比更高,計算更靈活。
其次,統(tǒng)一了元數(shù)據(jù)。打破原有大數(shù)據(jù)、數(shù)倉、AI 的數(shù)據(jù)孤島,將數(shù)據(jù)目錄、數(shù)據(jù)權限、事務一致性等能力統(tǒng)一到一個中心點,實現(xiàn)一數(shù)多用,讓一份數(shù)據(jù)在多個引擎間自由流動共享,避免數(shù)據(jù)來回遷移。
第三,DataOps 和 MLOps 融合,讓企業(yè)不同部門、不同角色可以以擅長的方式敏捷用數(shù)。讓數(shù)據(jù)工程師使用熟悉的工具來調用 AI 能力,使大數(shù)據(jù)開發(fā)和 AI 開發(fā)協(xié)同起來。例如,讓數(shù)據(jù)工程師用 SQL、Python 交互式 Notebook 做數(shù)據(jù)清洗、特征工程、模型訓練,幾行代碼就能直接調用平臺內預置的 AI 算法,使數(shù)據(jù)和模型開發(fā)周期從天級降為分鐘級。
最后,全流程的自動化和智能化,讓繁重的數(shù)據(jù)治理變得簡單。華為云數(shù)智融合平臺將人工智能算法模型應用到數(shù)據(jù)集成、數(shù)據(jù)質量、數(shù)據(jù)建模、數(shù)據(jù)安全、數(shù)據(jù)訪問控制、數(shù)據(jù)關聯(lián)、數(shù)據(jù)關系和數(shù)據(jù)洞察的數(shù)據(jù)全生命周期治理。
簡言之,華為云數(shù)智融合 DataArts,用 AI 技術提升數(shù)據(jù)治理效率,即 AI for Data;用高質量的數(shù)據(jù)提升模型精度,即 Data for AI,讓企業(yè)決策更精準。
寫在最后
大數(shù)據(jù)與人工智能的融合,正成為新的技術驅動力。數(shù)智融合可以進一步深入企業(yè)業(yè)務,加速業(yè)務迭代和產(chǎn)品創(chuàng)新,推動企業(yè)數(shù)字化發(fā)展提質增效,步入高質量發(fā)展階段。
多云時代下,“H(華為云)+X”已經(jīng)成為越來越多企業(yè)的主流選擇。據(jù)悉,在互聯(lián)網(wǎng)領域,80%的中國 Top50 互聯(lián)網(wǎng)企業(yè)選擇華為云。之所以受更多企業(yè)青睞,是因為華為云提出“一切皆服務”,把基礎設施、技術以及經(jīng)驗云化、服務化,幫助千行百業(yè)的客戶容易上云、方便上云、用好云。同時,華為云深耕行業(yè),將華為與伙伴、客戶的合作創(chuàng)新以及數(shù)字化轉型經(jīng)驗沉淀為云服務,已陸續(xù)開放了 50 多個應用場景,提供超過 2 萬個 API 服務,讓更多企業(yè)就不必重復“造輪子”,通過云服務即獲得全行業(yè)最優(yōu)秀的數(shù)字化經(jīng)驗。
(免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )