“數(shù)字化時代,所有行業(yè)都值得重新做一遍?!鄙钜詾槿?。
數(shù)智化洶涌而來,前驅者已初嘗甜頭:據(jù)《福布斯》披露,《財富》500強公司數(shù)據(jù)可訪問性增加10%,便可帶來6,500萬美元的額外凈收入——“依靠智能算法及敏捷數(shù)據(jù)準備在數(shù)據(jù)海洋中提煉‘石油’,讓決策更科學”已成為眾多企業(yè)的共識。
但數(shù)據(jù)如水,唯有流動和使用起來,方能釋放出巨大價值,否則就容易形成無數(shù)個數(shù)據(jù)沼澤,令企業(yè)深陷其中。
過去十余年里,各大廠商紛紛入局,新概念層出不窮,從大數(shù)據(jù)系統(tǒng)、數(shù)據(jù)湖,到數(shù)據(jù)中臺,再到近年來熱度極高的湖倉一體、智能湖倉,無不是希望幫助企業(yè)/組織實現(xiàn)“數(shù)據(jù)驅動”,最大化釋放數(shù)據(jù)的價值,滿足“用上數(shù)據(jù)和用好數(shù)據(jù)”的核心需求。
在近六年間,數(shù)據(jù)中臺的成效尤為矚目。但從去年起,業(yè)界突然掀起一股“拆中臺”熱,成也蕭何敗也蕭何,很多當初追隨“中臺戰(zhàn)略”的企業(yè)陷入迷茫:“大中臺、小前臺”,這難道從一開始就是個錯誤嗎?
近日,國內數(shù)據(jù)智能新銳廠商Aloudata CTO周泉接受了大數(shù)據(jù)在線的采訪,暢談了數(shù)據(jù)中臺和數(shù)據(jù)管理的未來。他曾擔任螞蟻集團數(shù)據(jù)平臺全域架構師,并帶領團隊建立起了螞蟻集團智能數(shù)據(jù)治理體系,構建起新一代金融級智能數(shù)據(jù)平臺。
當初的行業(yè)標配,爆火過后還剩什么
2015年,業(yè)界首次提出“大中臺、小前臺”戰(zhàn)略,是想打造統(tǒng)一技術架構、產品支撐體系、數(shù)據(jù)共享平臺、安全體系等等,把整個組織“橫”過來,支撐上面多種多樣的業(yè)務形態(tài)。
推行6年多以后,中臺似乎已經(jīng)成為行業(yè)標配,稍有規(guī)模的公司都建設了自己的中臺。數(shù)據(jù)中臺前幾年也的確有力地支撐了業(yè)務的發(fā)展,成效可謂有目共睹。
但在過去兩年間,數(shù)據(jù)中臺卻由大廠熱捧的對象開始變得備受質疑,遭遇了過山車般的待遇。一些數(shù)據(jù)中臺建設案例也表明,數(shù)據(jù)中臺投入資源大、啟動成本高,雖然保障了數(shù)據(jù)供給的一致性和質量,但其遲緩的業(yè)務需求響應速度,讓業(yè)務一線飽受數(shù)據(jù)饑渴之苦。
電商的數(shù)據(jù)中臺架構圖
“數(shù)據(jù)中臺方法的本質思想是通過對數(shù)據(jù)進行集中式建設、集中式管理和集中式服務,以提供單一事實來源的數(shù)據(jù)(single source of truth)。這就決定了數(shù)據(jù)中臺只有在數(shù)據(jù)需求較為固定、用數(shù)人群比較集中、決策頻率相對較低的情況下才是有效的?!敝苋^續(xù)解釋道,“然而,在企業(yè)寄希望于通過‘數(shù)據(jù)驅動創(chuàng)新’探索第二增長曲線的今天,伴隨企業(yè)數(shù)據(jù)需求日趨復雜、用數(shù)人群占比越來越大,決策頻率越來越高,業(yè)務對用數(shù)的敏捷性和靈活性要求越來越高,數(shù)據(jù)中臺這種集中的數(shù)據(jù)管理方式無法實現(xiàn)數(shù)據(jù)的敏捷性和靈活性?!?/p>
不是中臺不行了,是場景變了
做薄,研發(fā)效能上不去,做厚,創(chuàng)新效率會下降,中臺的基因注定了它今天的左右為難。
顛覆式創(chuàng)新是企業(yè)提升生存質量和市場競爭力的必殺技;對創(chuàng)新的深度和速度的追求必然帶來企業(yè)業(yè)務規(guī)模和復雜性的不斷攀升,在周泉看來,這些都決定了在數(shù)據(jù)管理與使用層面,一家“數(shù)據(jù)驅動型”企業(yè)未來必定會走向平臺化。
每個員工都用數(shù)據(jù)的時候,想統(tǒng)一數(shù)據(jù)管理和建設很難。首先,這種方式不具備敏捷性;其次,落地難度很大,一旦進入到數(shù)據(jù)化運營和數(shù)據(jù)智能階段,數(shù)據(jù)使用權和建設權的去中心化是必然,依賴文化、組織、平臺三位一體的數(shù)據(jù)中臺就比較難走下去。
我們不難發(fā)現(xiàn),隨著數(shù)字化轉型的日趨深入,數(shù)據(jù)來源、數(shù)據(jù)類型也比以往更加豐富了,例如,過去大部分用戶都是以ERP、CRM等結構化數(shù)據(jù)為主,現(xiàn)在則是包羅萬象,行為數(shù)據(jù)、日志數(shù)據(jù)等成為數(shù)據(jù)增長的主力,PB級數(shù)據(jù)量更是成為用戶的一種新常態(tài)。此外,復雜多樣的業(yè)務需要大規(guī)模、深層次地應用數(shù)據(jù),也進一步推動場景豐富化和需求復雜化。
以某金融科技巨頭為例,其業(yè)務數(shù)字化升級歷程中曾經(jīng)歷不少“蜿蜒崎嶇”:隨著業(yè)務數(shù)字化運營不斷深入,數(shù)十倍的用數(shù)人群、數(shù)百倍的數(shù)據(jù)規(guī)模增長和復雜多變的數(shù)字化營銷活動,帶來了效率、性能、風險、成本、安全、用戶隱私保護等諸多問題。
這意味著企業(yè)在享受數(shù)據(jù)所帶來的巨大收益的同時,也在疲于應對急劇攀升的綜合管理成本。2018年,在十億級用戶量,萬級員工數(shù)的規(guī)模下,集團本身的數(shù)據(jù)存儲規(guī)模年均增長率高達60%——集中式的數(shù)據(jù)研發(fā)與供給跟不上多變的業(yè)務需求節(jié)奏,而業(yè)務自助用數(shù)又得不到有序引導,導致數(shù)據(jù)無序增長嚴重、數(shù)據(jù)故障頻發(fā),數(shù)據(jù)供給側挑戰(zhàn)愈發(fā)明顯。
可以預見的是,在全球數(shù)字化升級進程不斷加速的今天,越來越多企業(yè)將會面臨同樣的困境。未來,用戶對于敏捷性的訴求將會愈發(fā)強烈,僅僅依靠人工將寸步難行。企業(yè)迫切需要基于新思維、新方法、新技術所構建的下一代數(shù)據(jù)平臺。
數(shù)據(jù)管理的未來,Data Fabric了解一下
“數(shù)據(jù)技術演進有兩個最核心的目標:一是用更多、更快和更鮮活的數(shù)據(jù)來幫助業(yè)務做出好決策;二是管理好數(shù)據(jù),降低數(shù)據(jù)帶來的風險和成本。自助、開放、自動化的NoETL湖倉平臺即代表了下一代數(shù)據(jù)平臺的趨勢。”周泉表示。
事實上,周泉所提到的NoETL湖倉平臺正是海外大受追捧的Data Fabric理念在國內的首次系統(tǒng)落地實踐。
在全球著名咨詢機構Gartner發(fā)布的2022年頂級戰(zhàn)略技術趨勢中,Data Fabric不僅首先被提及,甚至被定義為“數(shù)據(jù)管理的未來”。
作為新興的熱門市場,Data Fabric自誕生之日起就備受關注,全球最大的信息技術和業(yè)務解決方案公司IBM、數(shù)據(jù)集成領域領導者Talend、集成分析領域領導者TIBCO、元數(shù)據(jù)管理領導者Alation等全球各數(shù)據(jù)領域頭部廠商都給出了對應的能力要求和解決方案。
Data Fabric的終極目標是為數(shù)據(jù)集成和訪問提供一種更靈活、更無縫、更自動化的方法,讓任何人在任何時間都能夠使用組織內的任何數(shù)據(jù),并且通過主動、智能、持續(xù)的數(shù)據(jù)治理讓數(shù)據(jù)架構持續(xù)健康。
之所以能夠成為應對數(shù)據(jù)類型多樣化以及數(shù)據(jù)量激增的最佳解決方案,在于Data Fabric在架構思路方面的三大核心變化:
連接數(shù)據(jù),而非集中數(shù)據(jù):Data Fabric的關鍵原則之一是數(shù)據(jù)集成方法的靈活性,即系統(tǒng)根據(jù)場景的性質和需求為用戶自動匹配最佳的集成策略和數(shù)據(jù)技術,無需用戶人工搭建數(shù)據(jù)管道及選型計算存儲方案自助服務,而非專家服務:Data Fabric致力于實現(xiàn)數(shù)據(jù)民主化,允許業(yè)務用戶輕松發(fā)現(xiàn)并使用數(shù)據(jù)資產,從而實現(xiàn)敏捷的數(shù)據(jù)交付。在現(xiàn)有集中式的數(shù)據(jù)供給模式下,數(shù)據(jù)工程團隊成為影響數(shù)據(jù)化運營效率的最大瓶頸,唯有讓分析師和業(yè)務人員“自服務”才有可能將生產力解放出來,滿足業(yè)務旺盛的數(shù)據(jù)化運營需求。主動智能,而非被動人工:傳統(tǒng)數(shù)據(jù)治理往往在問題發(fā)生后才開始啟動,且需要自頂向下通過運動式人工治理來推動,這種方式難以持續(xù)且越來越無法應對快速膨脹、錯綜復雜的數(shù)據(jù)依賴網(wǎng)絡。而Data Fabric則認為數(shù)據(jù)治理應更加主動和智能,通過主動元數(shù)據(jù)構建智能治理能力,并融入到數(shù)據(jù)全生命周期的每個環(huán)節(jié)里,實現(xiàn)主動、智能的數(shù)據(jù)治理。總而言之,Data Fabric強調分布式的數(shù)據(jù)管理,其核心思路是通過優(yōu)化跨源異構數(shù)據(jù)的發(fā)現(xiàn)與訪問,將可信數(shù)據(jù)從所有相關數(shù)據(jù)源、以靈活且業(yè)務可理解的方式交付給所有相關數(shù)據(jù)消費者,讓數(shù)據(jù)消費者自助服務和高效協(xié)作,實現(xiàn)極致敏捷的數(shù)據(jù)交付;同時通過AI能力對數(shù)據(jù)進行語義探索、分析和使用推薦,從而從被動的數(shù)據(jù)管理策略轉變?yōu)橹鲃禹憫缘臄?shù)據(jù)管理策略,實現(xiàn)數(shù)據(jù)管理的智能駕駛。
基于此,Data Fabric能夠比傳統(tǒng)數(shù)據(jù)管理方法更快地適應業(yè)務、更快地做出業(yè)務洞察、更有效地消除數(shù)據(jù)孤島、更高效地進行業(yè)務協(xié)作,以更低的成本釋放數(shù)據(jù)的最大價值——通過實施Data Fabric,企業(yè)不僅可以減少一半以上人力驅動的數(shù)據(jù)管理任務、70%的數(shù)據(jù)管理工作,讓數(shù)據(jù)質量及運營成本降低65%;還能以8倍的速度、不到一半的成本,獲取數(shù)據(jù)和洞察——基于Data Fabric產生的數(shù)據(jù)洞察,可以使企業(yè)平均每年增長30%以上。(數(shù)據(jù)來源:Gartner)
“‘加速數(shù)據(jù)價值釋放、讓數(shù)據(jù)隨時就緒’是Data Fabric的核心目標?!敝苋^續(xù)說,“也是下一代數(shù)據(jù)平臺NoETL湖倉平臺的使命?!?/p>
Aloudata,Data Fabric產品化先行者
近年來,在數(shù)據(jù)領域的創(chuàng)新技術公司不少,有些聚焦新型數(shù)據(jù)倉庫的打造,有些則試圖推動數(shù)據(jù)中臺的落地,更有甚者聚焦HTAP創(chuàng)新。在眾多技術公司中,Aloudata毫無疑問是一家值得持續(xù)關注的公司,它是中國技術公司中致力于全球頂級技術趨勢Data Fabric探索的典型代表,堪稱Data Fabric落地的排頭兵。
Aloudata之所以能夠走在行業(yè)前沿,在于其團隊、產品與技術、行業(yè)實踐等方面均處于業(yè)界領先。
在團隊層面,創(chuàng)始人周衛(wèi)林曾任螞蟻集團數(shù)據(jù)平臺部總經(jīng)理(P10)且擁有20年大數(shù)據(jù)領域工作經(jīng)驗,創(chuàng)始團隊也由原螞蟻集團數(shù)據(jù)平臺部核心成員組成:三位聯(lián)合創(chuàng)始人均是原螞蟻集團數(shù)據(jù)智能領域高級專家,主導了國內最早一批數(shù)據(jù)工具產品建設和商業(yè)化,孵化出多個進入 Gartner、Forrester 領導者象限的阿里云拳頭產品;另有十余名在產品、技術、架構、交付和商業(yè)化上擁有從0到1成功經(jīng)驗的原螞蟻/阿里集團P8及以上高級專家,著實是一支堪稱豪華的創(chuàng)業(yè)夢之隊。
在產品與技術層面,Aloudata已經(jīng)打造了由AIR自適應彈性SQL引擎、BIG主動元數(shù)據(jù)管理平臺等產品組成的新一代NoETL 湖倉平臺,內置增強數(shù)據(jù)目錄、語義知識圖譜、主動元數(shù)據(jù)、數(shù)據(jù)推薦引擎、數(shù)據(jù)虛擬化、數(shù)據(jù)編排和DataOps等Gartner定義的6大Data Fabric核心能力,在產品技術層開創(chuàng)了Data Fabric理念在國內的最佳實踐:
Aloudata Data Fabric架構圖
AIR Engine是全場景自適應的彈性 SQL 引擎,實現(xiàn)了高性能聯(lián)邦查詢(比Presto高數(shù)倍)、自適應查詢加速(最高可提速100倍)和數(shù)據(jù)虛擬化,無論數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫或者其他數(shù)據(jù)源,只要會寫SQL就可以自助探索全域數(shù)據(jù),并且定義一致的數(shù)據(jù)視圖進行數(shù)據(jù)準備,實現(xiàn)敏捷數(shù)據(jù)洞察和高效一致的數(shù)據(jù)協(xié)作。BIG Engine是行為智能驅動的主動元數(shù)據(jù)平臺,也是實現(xiàn)Data Fabric架構的基石,其提供的元數(shù)據(jù)語義圖譜、主動元數(shù)據(jù)和增強數(shù)據(jù)目錄等核心能力,讓每一個人都能快速發(fā)現(xiàn)和理解數(shù)據(jù)、幫助企業(yè)實現(xiàn)主動持續(xù)的數(shù)據(jù)治理。Aloudata落地某頭部股份制銀行
“我們和天使客戶的首輪合作效果顯著,目前已經(jīng)進入到了第二階段,很快我們將會看到新的升級效果。當然,還有更多頭部客戶也已經(jīng)明確向我們表達了合作訴求。”周泉透露,“AIR 及BIG 目前已在頭部金融企業(yè)得到了規(guī)?;纳a級應用和效果驗證,下半年Aloudata計劃將推出公有云版本,并對 BIG 中最核心的主動元數(shù)據(jù)框架進行開源,深刻落地實踐Data Fabric,幫助更多企業(yè)實現(xiàn)‘讓數(shù)據(jù)隨時就緒’?!?/p>
免責聲明:此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關。文章僅供讀者參考,并請自行核實相關內容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 美國無人機禁令升級?當?shù)乜茖W家率先“喊疼”:我們離不開大疆
- iQOO Neo10 Pro:性能特長之外,亦有全能實力
- 自動駕駛第一股的轉型迷途:圖森未來賭上了AIGC
- 明星熱劇、品牌種草、平臺資源,京東讓芬騰雙11的熱度“沸騰”了
- 一加 Ace 5 Pro明牌:游戲手機看它就夠了!
- 游戲體驗天花板,一加 Ace 5 系列售價 2299 元起
- 16個月沒工資不敢離職,這些打工人“自費上班”
- 怎樣利用微信小店“送禮”功能賺錢?
- 鴻蒙智行問界M9,中國豪華車的龍門一躍
- 科技云報道:人工智能時代“三大件”:生成式AI、數(shù)據(jù)、云服務
免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。