原標題:當初吃土建起來的“中臺”,現(xiàn)在為啥不香了?
“數(shù)字化時代,所有行業(yè)都值得重新做一遍?!鄙钜詾槿?。
數(shù)智化洶涌而來,前驅者已初嘗甜頭:據(jù)《福布斯》披露,《財富》500強公司數(shù)據(jù)可訪問性增加10%,便可帶來6,500萬美元的額外凈收入——“依靠智能算法及敏捷數(shù)據(jù)準備在數(shù)據(jù)海洋中提煉‘石油’,讓決策更科學”已成為眾多企業(yè)的共識。
但數(shù)據(jù)如水,唯有流動和使用起來,方能釋放出巨大價值,否則就容易形成無數(shù)個數(shù)據(jù)沼澤,令企業(yè)深陷其中。
過去十余年里,各大廠商紛紛入局,新概念層出不窮,從大數(shù)據(jù)系統(tǒng)、數(shù)據(jù)湖,到數(shù)據(jù)中臺,再到近年來熱度極高的湖倉一體、智能湖倉,無不是希望幫助企業(yè)/組織實現(xiàn)“數(shù)據(jù)驅動”,最大化釋放數(shù)據(jù)的價值,滿足“用上數(shù)據(jù)和用好數(shù)據(jù)”的核心需求。
在近六年間,數(shù)據(jù)中臺的成效尤為矚目。但從去年起,業(yè)界突然掀起一股“拆中臺”熱,成也蕭何敗也蕭何,很多當初追隨“中臺戰(zhàn)略”的企業(yè)陷入迷茫:“大中臺、小前臺”,這難道從一開始就是個錯誤嗎?
近日,國內數(shù)據(jù)智能新銳廠商Aloudata CTO周泉接受了大數(shù)據(jù)在線的采訪,暢談了數(shù)據(jù)中臺和數(shù)據(jù)管理的未來。他曾擔任螞蟻集團數(shù)據(jù)平臺全域架構師,并帶領團隊建立起了螞蟻集團智能數(shù)據(jù)治理體系,構建起新一代金融級智能數(shù)據(jù)平臺。
當初的行業(yè)標配,爆火過后還剩什么
2015年,業(yè)界首次提出“大中臺、小前臺”戰(zhàn)略,是想打造統(tǒng)一技術架構、產品支撐體系、數(shù)據(jù)共享平臺、安全體系等等,把整個組織“橫”過來,支撐上面多種多樣的業(yè)務形態(tài)。
推行6年多以后,中臺似乎已經成為行業(yè)標配,稍有規(guī)模的公司都建設了自己的中臺。數(shù)據(jù)中臺前幾年也的確有力地支撐了業(yè)務的發(fā)展,成效可謂有目共睹。
但在過去兩年間,數(shù)據(jù)中臺卻由大廠熱捧的對象開始變得備受質疑,遭遇了過山車般的待遇。一些數(shù)據(jù)中臺建設案例也表明,數(shù)據(jù)中臺投入資源大、啟動成本高,雖然保障了數(shù)據(jù)供給的一致性和質量,但其遲緩的業(yè)務需求響應速度,讓業(yè)務一線飽受數(shù)據(jù)饑渴之苦。
電商的數(shù)據(jù)中臺架構圖
“數(shù)據(jù)中臺方法的本質思想是通過對數(shù)據(jù)進行集中式建設、集中式管理和集中式服務,以提供單一事實來源的數(shù)據(jù)(single source of truth)。這就決定了數(shù)據(jù)中臺只有在數(shù)據(jù)需求較為固定、用數(shù)人群比較集中、決策頻率相對較低的情況下才是有效的?!敝苋^續(xù)解釋道,“然而,在企業(yè)寄希望于通過‘數(shù)據(jù)驅動創(chuàng)新’探索第二增長曲線的今天,伴隨企業(yè)數(shù)據(jù)需求日趨復雜、用數(shù)人群占比越來越大,決策頻率越來越高,業(yè)務對用數(shù)的敏捷性和靈活性要求越來越高,數(shù)據(jù)中臺這種集中的數(shù)據(jù)管理方式無法實現(xiàn)數(shù)據(jù)的敏捷性和靈活性?!?/p>
不是中臺不行了,是場景變了
做薄,研發(fā)效能上不去,做厚,創(chuàng)新效率會下降,中臺的基因注定了它今天的左右為難。
顛覆式創(chuàng)新是企業(yè)提升生存質量和市場競爭力的必殺技;對創(chuàng)新的深度和速度的追求必然帶來企業(yè)業(yè)務規(guī)模和復雜性的不斷攀升,在周泉看來,這些都決定了在數(shù)據(jù)管理與使用層面,一家“數(shù)據(jù)驅動型”企業(yè)未來必定會走向平臺化。
每個員工都用數(shù)據(jù)的時候,想統(tǒng)一數(shù)據(jù)管理和建設很難。首先,這種方式不具備敏捷性;其次,落地難度很大,一旦進入到數(shù)據(jù)化運營和數(shù)據(jù)智能階段,數(shù)據(jù)使用權和建設權的去中心化是必然,依賴文化、組織、平臺三位一體的數(shù)據(jù)中臺就比較難走下去。
我們不難發(fā)現(xiàn),隨著數(shù)字化轉型的日趨深入,數(shù)據(jù)來源、數(shù)據(jù)類型也比以往更加豐富了,例如,過去大部分用戶都是以ERP、CRM等結構化數(shù)據(jù)為主,現(xiàn)在則是包羅萬象,行為數(shù)據(jù)、日志數(shù)據(jù)等成為數(shù)據(jù)增長的主力,PB級數(shù)據(jù)量更是成為用戶的一種新常態(tài)。此外,復雜多樣的業(yè)務需要大規(guī)模、深層次地應用數(shù)據(jù),也進一步推動場景豐富化和需求復雜化。
以某金融科技巨頭為例,其業(yè)務數(shù)字化升級歷程中曾經歷不少“蜿蜒崎嶇”:隨著業(yè)務數(shù)字化運營不斷深入,數(shù)十倍的用數(shù)人群、數(shù)百倍的數(shù)據(jù)規(guī)模增長和復雜多變的數(shù)字化營銷活動,帶來了效率、性能、風險、成本、安全、用戶隱私保護等諸多問題。
這意味著企業(yè)在享受數(shù)據(jù)所帶來的巨大收益的同時,也在疲于應對急劇攀升的綜合管理成本。2018年,在十億級用戶量,萬級員工數(shù)的規(guī)模下,集團本身的數(shù)據(jù)存儲規(guī)模年均增長率高達60%——集中式的數(shù)據(jù)研發(fā)與供給跟不上多變的業(yè)務需求節(jié)奏,而業(yè)務自助用數(shù)又得不到有序引導,導致數(shù)據(jù)無序增長嚴重、數(shù)據(jù)故障頻發(fā),數(shù)據(jù)供給側挑戰(zhàn)愈發(fā)明顯。
可以預見的是,在全球數(shù)字化升級進程不斷加速的今天,越來越多企業(yè)將會面臨同樣的困境。未來,用戶對于敏捷性的訴求將會愈發(fā)強烈,僅僅依靠人工將寸步難行。企業(yè)迫切需要基于新思維、新方法、新技術所構建的下一代數(shù)據(jù)平臺。
數(shù)據(jù)管理的未來,Data Fabric了解一下
“數(shù)據(jù)技術演進有兩個最核心的目標:一是用更多、更快和更鮮活的數(shù)據(jù)來幫助業(yè)務做出好決策;二是管理好數(shù)據(jù),降低數(shù)據(jù)帶來的風險和成本。自助、開放、自動化的NoETL湖倉平臺即代表了下一代數(shù)據(jù)平臺的趨勢?!敝苋硎?。
事實上,周泉所提到的NoETL湖倉平臺正是海外大受追捧的Data Fabric理念在國內的首次系統(tǒng)落地實踐。
在全球著名咨詢機構Gartner發(fā)布的2022年頂級戰(zhàn)略技術趨勢中,Data Fabric不僅首先被提及,甚至被定義為“數(shù)據(jù)管理的未來”。
作為新興的熱門市場,Data Fabric自誕生之日起就備受關注,全球最大的信息技術和業(yè)務解決方案公司IBM、數(shù)據(jù)集成領域領導者Talend、集成分析領域領導者TIBCO、元數(shù)據(jù)管理領導者Alation等全球各數(shù)據(jù)領域頭部廠商都給出了對應的能力要求和解決方案。
Data Fabric的終極目標是為數(shù)據(jù)集成和訪問提供一種更靈活、更無縫、更自動化的方法,讓任何人在任何時間都能夠使用組織內的任何數(shù)據(jù),并且通過主動、智能、持續(xù)的數(shù)據(jù)治理讓數(shù)據(jù)架構持續(xù)健康。
之所以能夠成為應對數(shù)據(jù)類型多樣化以及數(shù)據(jù)量激增的最佳解決方案,在于Data Fabric在架構思路方面的三大核心變化:
- 連接數(shù)據(jù),而非集中數(shù)據(jù):Data Fabric的關鍵原則之一是數(shù)據(jù)集成方法的靈活性,即系統(tǒng)根據(jù)場景的性質和需求為用戶自動匹配最佳的集成策略和數(shù)據(jù)技術,無需用戶人工搭建數(shù)據(jù)管道及選型計算存儲方案
- 自助服務,而非專家服務:Data Fabric致力于實現(xiàn)數(shù)據(jù)民主化,允許業(yè)務用戶輕松發(fā)現(xiàn)并使用數(shù)據(jù)資產,從而實現(xiàn)敏捷的數(shù)據(jù)交付。在現(xiàn)有集中式的數(shù)據(jù)供給模式下,數(shù)據(jù)工程團隊成為影響數(shù)據(jù)化運營效率的最大瓶頸,唯有讓分析師和業(yè)務人員“自服務”才有可能將生產力解放出來,滿足業(yè)務旺盛的數(shù)據(jù)化運營需求。
- 主動智能,而非被動人工:傳統(tǒng)數(shù)據(jù)治理往往在問題發(fā)生后才開始啟動,且需要自頂向下通過運動式人工治理來推動,這種方式難以持續(xù)且越來越無法應對快速膨脹、錯綜復雜的數(shù)據(jù)依賴網絡。而Data Fabric則認為數(shù)據(jù)治理應更加主動和智能,通過主動元數(shù)據(jù)構建智能治理能力,并融入到數(shù)據(jù)全生命周期的每個環(huán)節(jié)里,實現(xiàn)主動、智能的數(shù)據(jù)治理。
總而言之,Data Fabric強調分布式的數(shù)據(jù)管理,其核心思路是通過優(yōu)化跨源異構數(shù)據(jù)的發(fā)現(xiàn)與訪問,將可信數(shù)據(jù)從所有相關數(shù)據(jù)源、以靈活且業(yè)務可理解的方式交付給所有相關數(shù)據(jù)消費者,讓數(shù)據(jù)消費者自助服務和高效協(xié)作,實現(xiàn)極致敏捷的數(shù)據(jù)交付;同時通過AI能力對數(shù)據(jù)進行語義探索、分析和使用推薦,從而從被動的數(shù)據(jù)管理策略轉變?yōu)橹鲃禹憫缘臄?shù)據(jù)管理策略,實現(xiàn)數(shù)據(jù)管理的智能駕駛。
基于此,Data Fabric能夠比傳統(tǒng)數(shù)據(jù)管理方法更快地適應業(yè)務、更快地做出業(yè)務洞察、更有效地消除數(shù)據(jù)孤島、更高效地進行業(yè)務協(xié)作,以更低的成本釋放數(shù)據(jù)的最大價值——通過實施Data Fabric,企業(yè)不僅可以減少一半以上人力驅動的數(shù)據(jù)管理任務、70%的數(shù)據(jù)管理工作,讓數(shù)據(jù)質量及運營成本降低65%;還能以8倍的速度、不到一半的成本,獲取數(shù)據(jù)和洞察——基于Data Fabric產生的數(shù)據(jù)洞察,可以使企業(yè)平均每年增長30%以上。(數(shù)據(jù)來源:Gartner)
“‘加速數(shù)據(jù)價值釋放、讓數(shù)據(jù)隨時就緒’是Data Fabric的核心目標?!敝苋^續(xù)說,“也是下一代數(shù)據(jù)平臺NoETL湖倉平臺的使命?!?/p>
Aloudata,Data Fabric產品化先行者
近年來,在數(shù)據(jù)領域的創(chuàng)新技術公司不少,有些聚焦新型數(shù)據(jù)倉庫的打造,有些則試圖推動數(shù)據(jù)中臺的落地,更有甚者聚焦HTAP創(chuàng)新。在眾多技術公司中,Aloudata毫無疑問是一家值得持續(xù)關注的公司,它是中國技術公司中致力于全球頂級技術趨勢Data Fabric探索的典型代表,堪稱Data Fabric落地的排頭兵。
Aloudata之所以能夠走在行業(yè)前沿,在于其團隊、產品與技術、行業(yè)實踐等方面均處于業(yè)界領先。
在團隊層面,創(chuàng)始人周衛(wèi)林曾任螞蟻集團數(shù)據(jù)平臺部總經理(P10)且擁有20年大數(shù)據(jù)領域工作經驗,創(chuàng)始團隊也由原螞蟻集團數(shù)據(jù)平臺部核心成員組成:三位聯(lián)合創(chuàng)始人均是原螞蟻集團數(shù)據(jù)智能領域高級專家,主導了國內最早一批數(shù)據(jù)工具產品建設和商業(yè)化,孵化出多個進入 Gartner、Forrester 領導者象限的阿里云拳頭產品;另有十余名在產品、技術、架構、交付和商業(yè)化上擁有從0到1成功經驗的原螞蟻/阿里集團P8及以上高級專家,著實是一支堪稱豪華的創(chuàng)業(yè)夢之隊。
在產品與技術層面,Aloudata已經打造了由AIR自適應彈性SQL引擎、BIG主動元數(shù)據(jù)管理平臺等產品組成的新一代NoETL 湖倉平臺,內置增強數(shù)據(jù)目錄、語義知識圖譜、主動元數(shù)據(jù)、數(shù)據(jù)推薦引擎、數(shù)據(jù)虛擬化、數(shù)據(jù)編排和DataOps等Gartner定義的6大Data Fabric核心能力,在產品技術層開創(chuàng)了Data Fabric理念在國內的最佳實踐:
Aloudata Data Fabric架構圖
- AIR Engine是全場景自適應的彈性 SQL 引擎,實現(xiàn)了高性能聯(lián)邦查詢(比Presto高數(shù)倍)、自適應查詢加速(最高可提速100倍)和數(shù)據(jù)虛擬化,無論數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫或者其他數(shù)據(jù)源,只要會寫SQL就可以自助探索全域數(shù)據(jù),并且定義一致的數(shù)據(jù)視圖進行數(shù)據(jù)準備,實現(xiàn)敏捷數(shù)據(jù)洞察和高效一致的數(shù)據(jù)協(xié)作。
- BIG Engine是行為智能驅動的主動元數(shù)據(jù)平臺,也是實現(xiàn)Data Fabric架構的基石,其提供的元數(shù)據(jù)語義圖譜、主動元數(shù)據(jù)和增強數(shù)據(jù)目錄等核心能力,讓每一個人都能快速發(fā)現(xiàn)和理解數(shù)據(jù)、幫助企業(yè)實現(xiàn)主動持續(xù)的數(shù)據(jù)治理。
Aloudata落地某頭部股份制銀行
“我們和天使客戶的首輪合作效果顯著,目前已經進入到了第二階段,很快我們將會看到新的升級效果。當然,還有更多頭部客戶也已經明確向我們表達了合作訴求?!敝苋嘎?,“AIR 及BIG 目前已在頭部金融企業(yè)得到了規(guī)?;纳a級應用和效果驗證,下半年Aloudata計劃將推出公有云版本,并對 BIG 中最核心的主動元數(shù)據(jù)框架進行開源,深刻落地實踐Data Fabric,幫助更多企業(yè)實現(xiàn)‘讓數(shù)據(jù)隨時就緒’?!?/p>
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個大計劃瞄準AI機器人
- 微信零錢通新政策:銀行卡轉入資金提現(xiàn)免手續(xù)費引熱議
- 消息稱塔塔集團將收購和碩印度iPhone代工廠60%股份 并接管日常運營
- 蘋果揭秘自研芯片成功之道:領先技術與深度整合是關鍵
- 英偉達新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關注
- 無人機“黑科技”亮相航展:全球首臺低空重力測量系統(tǒng)引關注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機器人合作
- 賽力斯觸及漲停,汽車整車股盤初強勢拉升
免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。