數(shù)據(jù)中臺(tái)丨研究報(bào)告

核心摘要：

狹義來看，數(shù)據(jù)中臺(tái)是一套實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化和服務(wù)復(fù)用的工具；廣義來看，數(shù)據(jù)中臺(tái)是一套運(yùn)用數(shù)據(jù)推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型升級(jí)的機(jī)制和方法論。數(shù)據(jù)中臺(tái)始于業(yè)務(wù)數(shù)據(jù)的沉淀積累，用于數(shù)據(jù)的收集、整合、分析及應(yīng)用，循環(huán)往復(fù)，形成生態(tài)閉環(huán)。

2021年數(shù)據(jù)中臺(tái)市場(chǎng)規(guī)模達(dá)到96.9億元。在供給側(cè)，行業(yè)的生態(tài)化合作趨勢(shì)明顯；在需求側(cè)，企業(yè)對(duì)數(shù)據(jù)中臺(tái)的關(guān)注點(diǎn)從中臺(tái)本身轉(zhuǎn)向了最終的數(shù)據(jù)變現(xiàn)能力。行業(yè)集中度和成熟度持續(xù)上升，整體規(guī)模穩(wěn)步增長(zhǎng)，增速趨于平穩(wěn)，預(yù)計(jì)將在2024年達(dá)到187.4億元。

當(dāng)前數(shù)據(jù)中臺(tái)的行業(yè)集中度仍保持較低水平，行業(yè)的活躍參與者大致分為平臺(tái)生態(tài)廠商、解決方案廠商和獨(dú)立中臺(tái)廠商三類，行業(yè)格局由競(jìng)爭(zhēng)轉(zhuǎn)向競(jìng)合，以協(xié)同生態(tài)為核心，集眾所長(zhǎng)，將成熟的技術(shù)方案與行業(yè)服務(wù)經(jīng)驗(yàn)結(jié)合，協(xié)同拓展應(yīng)用解決方案的廣度和深度，深耕于金融、泛零售、政務(wù)、制造、工業(yè)等多行業(yè)應(yīng)用場(chǎng)景。

云原生是當(dāng)下最為確定的技術(shù)趨勢(shì)，存算分離、微服務(wù)、ServerLess等核心技術(shù)要素驅(qū)動(dòng)數(shù)據(jù)中臺(tái)走向云原生。數(shù)智融合理念將AI算法模型植入數(shù)據(jù)治理，高質(zhì)量數(shù)據(jù)反哺AI開發(fā)能力，讓數(shù)據(jù)和AI開發(fā)高效互通。泛中臺(tái)化趨勢(shì)明顯，業(yè)務(wù)場(chǎng)景需求的解決方案/產(chǎn)品趨于“中臺(tái)化”，以數(shù)據(jù)中臺(tái)為基礎(chǔ)的中臺(tái)體系不斷豐富。

定義

始于業(yè)務(wù)，用于業(yè)務(wù)，生態(tài)閉環(huán)，源源不止

數(shù)據(jù)中臺(tái)是一種數(shù)字化綜合解決方案。數(shù)據(jù)中臺(tái)采集、計(jì)算、存儲(chǔ)和處理海量數(shù)據(jù)，保證數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一和口徑一致，建立全域級(jí)、可復(fù)用的數(shù)據(jù)存儲(chǔ)能力中心和數(shù)據(jù)資產(chǎn)中心，組件化服務(wù)模塊，提高數(shù)據(jù)共享和復(fù)用能力，靈活高效地解決前臺(tái)的個(gè)性化需求。狹義來看，數(shù)據(jù)中臺(tái)是一套實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化和服務(wù)復(fù)用的工具；廣義來看，數(shù)據(jù)中臺(tái)是一套運(yùn)用數(shù)據(jù)推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型升級(jí)的機(jī)制和方法論。相較數(shù)據(jù)工廠時(shí)代，數(shù)據(jù)中臺(tái)立于業(yè)務(wù)數(shù)據(jù)的積累沉淀，破于數(shù)據(jù)收集、整合、分析及應(yīng)用的生態(tài)閉環(huán)。數(shù)據(jù)中臺(tái)始于業(yè)務(wù)，用于業(yè)務(wù)，循環(huán)往復(fù)的理念與數(shù)據(jù)價(jià)值時(shí)代下數(shù)據(jù)資產(chǎn)價(jià)值最大化的目標(biāo)相契合。

驅(qū)動(dòng)因素：宏觀層

數(shù)據(jù)量規(guī)?？焖贁U(kuò)張，數(shù)字化進(jìn)程加快，技術(shù)更新迭代

新冠肺炎疫情加速推動(dòng)了從個(gè)體、企業(yè)到政府全方位的社會(huì)數(shù)字化轉(zhuǎn)型浪潮。企業(yè)方面，疫情的出現(xiàn)為企業(yè)數(shù)字化轉(zhuǎn)型按下了“ 加速鍵”，在線辦公、在線交易等線上化運(yùn)營(yíng)方式為企業(yè)在特殊時(shí)期保持正常運(yùn)轉(zhuǎn)提供了支撐。政府方面，政府的數(shù)字化應(yīng)急能力和在線政務(wù)服務(wù)能力在疫情下不斷“淬煉”，在線服務(wù)指數(shù)由全球第34位躍升至第9位，邁入全球領(lǐng)先行列。據(jù)Gartner預(yù)測(cè)，2025 年全球?qū)⒂?09億設(shè)備接入物聯(lián)網(wǎng)。物聯(lián)網(wǎng)設(shè)備產(chǎn)生海量數(shù)據(jù)，對(duì)這些設(shè)備的運(yùn)營(yíng)、監(jiān)控以及安全保障，離不開大數(shù)據(jù)技術(shù)的支撐，反過來也推動(dòng)了大數(shù)據(jù)技術(shù)的進(jìn)步。云計(jì)算以及云計(jì)算環(huán)境下大數(shù)據(jù)技術(shù)的成熟，使構(gòu)建一套大數(shù)據(jù)系統(tǒng)變?yōu)榈烷T檻、快速啟動(dòng)的項(xiàng)目，且隨著業(yè)務(wù)增長(zhǎng)進(jìn)行無縫的技術(shù)增長(zhǎng)，只需為實(shí)際使用的計(jì)算和存儲(chǔ)資源付費(fèi)，大幅降低了使用門檻。

驅(qū)動(dòng)因素：行業(yè)層

大數(shù)據(jù)核心技術(shù)和產(chǎn)品受關(guān)注程度高，產(chǎn)業(yè)發(fā)展再升級(jí)

大數(shù)據(jù)技術(shù)和應(yīng)用成為國(guó)家基礎(chǔ)性戰(zhàn)略支撐，是打造數(shù)字經(jīng)濟(jì)新優(yōu)勢(shì)、加快數(shù)字社會(huì)建設(shè)步伐、提高數(shù)字政府建設(shè)水平的重要力量，因此大數(shù)據(jù)核心技術(shù)創(chuàng)新和產(chǎn)品升級(jí)受關(guān)注程度高，產(chǎn)業(yè)發(fā)展具備充足的空間和潛力。隨著5G、AI、物聯(lián)網(wǎng)等技術(shù)的普及應(yīng)用，數(shù)據(jù)應(yīng)用場(chǎng)景被釋放，數(shù)據(jù)源不斷豐富，數(shù)據(jù)量快速攀升。云原生技術(shù)使企業(yè)組織能在公共、私有和混合云等現(xiàn)代動(dòng)態(tài)環(huán)境中構(gòu)建和運(yùn)行可擴(kuò)展的應(yīng)用程序，是繼云計(jì)算之后，數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域?qū)崿F(xiàn)新增長(zhǎng)的重要拐點(diǎn)。在基礎(chǔ)軟件方面，數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)安全等產(chǎn)品引領(lǐng)細(xì)分市場(chǎng)發(fā)展。在應(yīng)用軟件方面，BI、可視化、圖像分析等產(chǎn)品也備受關(guān)注。從企業(yè)和行業(yè)應(yīng)用來看，企業(yè)更加注重運(yùn)用數(shù)據(jù)技術(shù)向精細(xì)化運(yùn)營(yíng)、信息化決策演進(jìn)。行業(yè)應(yīng)用聚焦于軟件和信息技術(shù)服務(wù)、互聯(lián)網(wǎng)等領(lǐng)域。

價(jià)值

核心價(jià)值：提升數(shù)據(jù)治理，改造業(yè)務(wù)流程，深化數(shù)據(jù)應(yīng)用

數(shù)據(jù)中臺(tái)致力于解決原有數(shù)據(jù)關(guān)系及SOA架構(gòu)解決企業(yè)“數(shù)據(jù)煙囪”問題，打通數(shù)據(jù)孤島，通過完善數(shù)據(jù)標(biāo)準(zhǔn)體系、強(qiáng)化數(shù)據(jù)質(zhì)量管控、統(tǒng)一管理元數(shù)據(jù)等方式加強(qiáng)數(shù)據(jù)治理，提升數(shù)據(jù)可用性，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化。數(shù)據(jù)中臺(tái)在改造企業(yè)業(yè)務(wù)流程，打通數(shù)據(jù)壁壘的同時(shí)，也打通了企業(yè)部門間和事業(yè)群之間的業(yè)務(wù)壁壘，消除“部門墻”產(chǎn)生的沖突，極大提升了企業(yè)組織靈活性。數(shù)據(jù)中臺(tái)的設(shè)計(jì)定位是基于企業(yè)的頂層戰(zhàn)略，集中體現(xiàn)了企業(yè)的頂層框架和業(yè)務(wù)邏輯。數(shù)據(jù)中臺(tái)對(duì)企業(yè)全域數(shù)據(jù)資產(chǎn)進(jìn)行開發(fā)和應(yīng)用，實(shí)現(xiàn)了統(tǒng)一可比可算，讓數(shù)據(jù)具備了敏捷服務(wù)能力，滿足了企業(yè)各層級(jí)對(duì)數(shù)據(jù)服務(wù)能力的智能和快速調(diào)用，讓數(shù)據(jù)價(jià)值最大化賦能業(yè)務(wù)決策。

市場(chǎng)規(guī)模

行業(yè)增速有所放緩，市場(chǎng)規(guī)模穩(wěn)步增長(zhǎng)

我國(guó)數(shù)字經(jīng)濟(jì)蓬勃發(fā)展，企業(yè)數(shù)字化轉(zhuǎn)型步伐不斷加快，數(shù)據(jù)技術(shù)加速創(chuàng)新融合應(yīng)用。2019年是數(shù)據(jù)中臺(tái)元年，行業(yè)快速完成了萌芽期和成長(zhǎng)期的積累，正在積極向成熟期過渡。從供給側(cè)看，生態(tài)化合作趨勢(shì)明顯，一方面云廠商在各垂直領(lǐng)域加速布局合作生態(tài)，配合生態(tài)伙伴的行業(yè)積淀和服務(wù)協(xié)同，使得個(gè)性化部署能力和實(shí)施效率顯著提升；另一方面，部分獨(dú)立廠商融合云廠商的底層平臺(tái)能力，結(jié)合自身的技術(shù)創(chuàng)新和專項(xiàng)優(yōu)勢(shì)，發(fā)布多樣化的數(shù)據(jù)中臺(tái)產(chǎn)品。在需求側(cè)，企業(yè)對(duì)數(shù)據(jù)中臺(tái)的關(guān)注點(diǎn)已從中臺(tái)本身轉(zhuǎn)向了最終的數(shù)據(jù)變現(xiàn)能力，對(duì)中臺(tái)的理解不斷加深，需求也更加明確。此外，在疫情影響下，企業(yè)的價(jià)格敏感度上升，驅(qū)動(dòng)廠商積極探索業(yè)務(wù)模式創(chuàng)新和服務(wù)升級(jí)。數(shù)據(jù)中臺(tái)行業(yè)的集中度和成熟度持續(xù)上升，整體規(guī)模穩(wěn)步增長(zhǎng)，增速趨于平穩(wěn)。

產(chǎn)業(yè)圖譜

行業(yè)千帆競(jìng)發(fā)，廠商百花齊放，市場(chǎng)格局初顯

近些年，在大數(shù)據(jù)、云原生、人工智能等技術(shù)發(fā)展和企業(yè)數(shù)字化轉(zhuǎn)型加速的雙重驅(qū)動(dòng)下，數(shù)據(jù)中臺(tái)在多場(chǎng)景快速落地。從廠商類型來看，平臺(tái)生態(tài)廠商、解決方案廠商、獨(dú)立中臺(tái)廠商以及自研廠商的邊界開始模糊，數(shù)智服務(wù)的生態(tài)協(xié)同明顯。從市場(chǎng)格局來看，云服務(wù)廠商依托完備的服務(wù)體系和強(qiáng)生態(tài)能力，輸出方法論、技術(shù)及工具，建立行業(yè)服務(wù)體系；產(chǎn)品廠商憑借創(chuàng)新技術(shù)能力和垂直行業(yè)深入的業(yè)務(wù)認(rèn)知，取得行業(yè)積累，提升品牌競(jìng)爭(zhēng)力。

行業(yè)格局

從競(jìng)爭(zhēng)到競(jìng)合，破壁搭橋提升數(shù)智服務(wù)，生態(tài)協(xié)同正當(dāng)其時(shí)

廠商發(fā)展邏輯正從競(jìng)爭(zhēng)轉(zhuǎn)向競(jìng)合，以協(xié)同生態(tài)為核心，集眾所長(zhǎng)，合力拓展協(xié)同應(yīng)用解決方案的廣度和深度。平臺(tái)生態(tài)廠商擁有內(nèi)部率先落地中臺(tái)戰(zhàn)略，之后對(duì)外提供服務(wù)的先發(fā)優(yōu)勢(shì)，為行業(yè)發(fā)展輸出方法論、技術(shù)和工具體系，商業(yè)模式以“提供云基礎(chǔ)服務(wù)，生態(tài)伙伴實(shí)施交付”為主。解決方案廠商積累了豐富的垂直行業(yè)服務(wù)經(jīng)驗(yàn)和客戶服務(wù)基礎(chǔ)，可快速準(zhǔn)確洞悉企業(yè)業(yè)務(wù)流程和痛點(diǎn)需求，但項(xiàng)目實(shí)施交付一般需要外部提供數(shù)據(jù)能力支持。獨(dú)立中臺(tái)廠商核心技術(shù)團(tuán)隊(duì)普遍來自行業(yè)頭部廠商，技術(shù)背景扎實(shí)，行業(yè)經(jīng)驗(yàn)過硬，但品牌影響力相比平臺(tái)生態(tài)廠商較弱。

行業(yè)挑戰(zhàn)

產(chǎn)品化和項(xiàng)目制之間的平衡問題

在投融資領(lǐng)域，SaaS理念被眾多投資人所青睞。是否云上部署，是否訂閱且高續(xù)約，是否較少二開，是判斷SaaS屬性的重要指標(biāo)。當(dāng)前，中臺(tái)以服務(wù)中大型客戶為主。客戶的大數(shù)據(jù)量及對(duì)數(shù)據(jù)安全的特殊要求，導(dǎo)致較少采用全公有云的部署模式，大多仍采用類項(xiàng)目制（含一次性和私有訂閱）的形式。并且，中臺(tái)尤其是業(yè)務(wù)中臺(tái)部分，需要對(duì)行業(yè)和客戶有較深理解，在指標(biāo)體系搭建、數(shù)據(jù)建模等環(huán)節(jié)，常需甲乙方深度配合，如果專心做通用產(chǎn)品，則在投標(biāo)等環(huán)節(jié)并不占優(yōu)勢(shì)。不管是從業(yè)者，還是投資人，都要深入思考：如何在產(chǎn)品和商業(yè)模式上下功夫，以尋求降低邊際成本和滿足客戶定制需求的平衡。低零代碼的技術(shù)理念，大核心研發(fā)+多個(gè)小行業(yè)交付的組織架構(gòu)，積極發(fā)展生態(tài)合作伙伴，部分開源打造生態(tài)等，都是可供參考的選項(xiàng)。

需求診斷

企業(yè)搭建數(shù)據(jù)中臺(tái)應(yīng)當(dāng)按己所需，量力而為

盡管隨著技術(shù)進(jìn)步，中臺(tái)實(shí)施難度逐漸降低，但仍然不是所有企業(yè)都適合中臺(tái)建設(shè)。中臺(tái)匯聚、打通的特點(diǎn)，要求企業(yè)已經(jīng)或者在未來較短時(shí)間內(nèi)會(huì)有大量的數(shù)據(jù)積累和應(yīng)用。如果企業(yè)體量不大，或者企業(yè)體量雖大但業(yè)務(wù)單數(shù)較少，在數(shù)據(jù)需求出現(xiàn)時(shí)，一對(duì)一地解決，可能性價(jià)比更高。中臺(tái)復(fù)用的特點(diǎn)，要求企業(yè)業(yè)務(wù)既不是完全一成不變的，也不是多業(yè)務(wù)線毫無關(guān)聯(lián)的，如果企業(yè)業(yè)務(wù)非常穩(wěn)定幾乎無變化，則中臺(tái)建設(shè)的必要性不足。中臺(tái)為整體解決方案的特點(diǎn)，要求企業(yè)有相應(yīng)的配套機(jī)制，包括企業(yè)戰(zhàn)略、組織架構(gòu)等，如企業(yè)沒有專門的數(shù)據(jù)部門僅靠業(yè)務(wù)部門，則企業(yè)數(shù)據(jù)建設(shè)容易陷入“公地悲劇”：每個(gè)業(yè)務(wù)部門都想使用數(shù)據(jù)，但誰都不愿貢獻(xiàn)、建設(shè)、治理數(shù)據(jù)。總之，中臺(tái)是一個(gè)基礎(chǔ)設(shè)施，其以底層的穩(wěn)態(tài)保障上層的敏態(tài)，以公共的建設(shè)保障各業(yè)務(wù)線的使用，以當(dāng)前的重投入保障未來的高產(chǎn)出。凡企業(yè)不是此類規(guī)劃的，均不完全適合，可以用中臺(tái)里的某個(gè)模塊如數(shù)倉(cāng)、數(shù)據(jù)湖或主數(shù)據(jù)治理等先行解決當(dāng)前問題。

整體分析

金字塔型分析，由“虛”入“實(shí)”，從宏觀到微觀

中臺(tái)項(xiàng)目實(shí)施難點(diǎn)，在于企業(yè)數(shù)字化過程中，虛實(shí)結(jié)合不到位。傳統(tǒng)咨詢常采用Top-Down打法，但往往是Top（規(guī)劃）有了，Down（落地）困難，常被稱為“缺腿和腳”。純技術(shù)出身的中臺(tái)廠商則需補(bǔ)充Top-Down 的方法論。目前，大多中臺(tái)廠商在為企業(yè)提供服務(wù)時(shí)，多采用從規(guī)劃到組織再到工具的自上而下打法，這其中要么自建咨詢團(tuán)隊(duì)，要么生態(tài)合作完成。企業(yè)首先要明確自己的使命、愿景（To-Be）和當(dāng)前狀況（As-Is），然后確定企業(yè)接下來一段時(shí)間的北極星指標(biāo)，然后將該指標(biāo)拆分為子指標(biāo)，然后確定數(shù)據(jù)管理和應(yīng)用體系，最后才是中臺(tái)具體路線。一開始這些看上去較“虛”的動(dòng)作，其實(shí)是中臺(tái)能堅(jiān)定、持續(xù)走下去必不可少的要素。這種方式，其實(shí)可以看成是“金字塔原理”以及“OKR”在數(shù)字化轉(zhuǎn)型中的具體應(yīng)用。所以，企業(yè)中臺(tái)建設(shè)不僅是技術(shù)問題，更是管理問題，是企業(yè)的一把手工程。

核心方法論

OneData+OneService+OneID

頭部的平臺(tái)生態(tài)廠商在內(nèi)部落地中臺(tái)戰(zhàn)略，獲得檢驗(yàn)后對(duì)外輸出成熟的中臺(tái)建設(shè)核心方法論：OneData+OneService+OneID。OneData的本質(zhì)是構(gòu)建從算法定義、數(shù)據(jù)研發(fā)到數(shù)據(jù)服務(wù)的統(tǒng)一指標(biāo)和算法，數(shù)據(jù)采集、匯聚、清洗、加工、調(diào)動(dòng)一次完成，避免因不同的業(yè)務(wù)場(chǎng)景造成不同部門對(duì)數(shù)據(jù)的重復(fù)建設(shè)，讓數(shù)據(jù)成為可復(fù)用、可深挖價(jià)值的資產(chǎn)，而非拖垮業(yè)務(wù)推進(jìn)的隱性成本。OneService的本質(zhì)是數(shù)據(jù)即服務(wù)。傳統(tǒng)數(shù)倉(cāng)從不同的系統(tǒng)調(diào)用數(shù)據(jù)時(shí)受數(shù)據(jù)庫(kù)權(quán)限限制，需要開發(fā)人員定制不同的訪問接口，出錯(cuò)時(shí)還難以追溯影響到哪些應(yīng)用和報(bào)表。數(shù)據(jù)中臺(tái)通過平臺(tái)化的工具/接口，一方面為應(yīng)用開發(fā)屏蔽了底層數(shù)據(jù)存儲(chǔ)，提供數(shù)據(jù)查詢統(tǒng)一接口，另一方面提高了數(shù)據(jù)應(yīng)用的管理效率，建立了從報(bào)表到應(yīng)用的清晰鏈路，提升數(shù)據(jù)開發(fā)的友好性。

廠商選型

人、活兒、事兒三方面考量

企業(yè)在中臺(tái)選型時(shí)，應(yīng)從人、活兒、事兒三方面進(jìn)行考量?！叭恕笔侵福浩髽I(yè)應(yīng)該考慮中臺(tái)廠商的團(tuán)隊(duì)背景，如是否有大數(shù)據(jù)背景，是否有行業(yè)背景?！盎顑骸笔侵福耗壳爸信_(tái)廠商的產(chǎn)品中，哪些是開源的，哪些是自研的；如果是開源的，是否是主流且代表未來趨勢(shì)的技術(shù)路線；如果是自研的，核心優(yōu)勢(shì)在哪，與開源產(chǎn)品的語法、體驗(yàn)等是否一致，會(huì)不會(huì)為自己帶來相應(yīng)IT人才的缺乏；各個(gè)模塊之間是松耦合還是緊耦合；產(chǎn)品的使用門檻是否較低，體驗(yàn)是否良好。“事兒”是指：中臺(tái)廠商在歷史上，是否有本行業(yè)的成功案例，取得了哪些顯著成果；中臺(tái)廠商與本企業(yè)的其他系統(tǒng)（如ERP、CRM等）是否有成功的對(duì)接先例，從而在實(shí)施中可以提高效率并降低風(fēng)險(xiǎn)。

底座技術(shù)選型

先進(jìn)性和適應(yīng)性應(yīng)綜合考慮

中臺(tái)技術(shù)，即廣義的大數(shù)據(jù)技術(shù)（中臺(tái)≈?jǐn)?shù)字化咨詢+大數(shù)據(jù)技術(shù)+數(shù)據(jù)治理與管理+數(shù)據(jù)運(yùn)營(yíng)）。由于大量行業(yè)客戶，并不能自己玩轉(zhuǎn)大數(shù)據(jù)，所以一般需要“端到端”的產(chǎn)品或服務(wù)。供應(yīng)商提供端到端服務(wù)，一般有幾種路徑：（1）公有云廠商提供從IaaS到SaaS的全套的云、數(shù)、智服務(wù)，一般云資源為自家提供，而數(shù)和智既可以選擇云廠商自有組件，也可以選擇開源組件。（2）部分廠商如Cloudera對(duì)不同的大數(shù)據(jù)組件進(jìn)行組合，形成CDH和CDP套件。（3）解決方案廠商，基于客戶需求和自身理解，利用開源技術(shù)，進(jìn)行自由組合和二次開發(fā)。（4）獨(dú)立中臺(tái)廠商，基于開源+自研的方式，打造全鏈條產(chǎn)品和服務(wù)。（5）一些新型HATP廠商，通過對(duì)流數(shù)據(jù)的進(jìn)一步融合，以更輕巧的方式滿足中小企業(yè)的中臺(tái)需求。

在技術(shù)組件選擇時(shí)，一般遵循以下原則：（1）確有明顯優(yōu)勢(shì)及取代趨勢(shì)時(shí)，選擇有優(yōu)勢(shì)的（如Flink相對(duì)于Storm）。（2）不同技術(shù)各有利弊時(shí)，根據(jù)自身業(yè)務(wù)、歷史架構(gòu)、供應(yīng)商擅長(zhǎng)綜合選擇。（3）供應(yīng)商有深度自研的，除體驗(yàn)外，還應(yīng)考慮后期服務(wù)的持續(xù)性以及自身IT人才的供給。

數(shù)據(jù)治理

元數(shù)據(jù)管理&主數(shù)據(jù)管理

元數(shù)據(jù)管理用于確保全局指標(biāo)的業(yè)務(wù)口徑一致，主要包含數(shù)據(jù)字典（描述數(shù)據(jù)的結(jié)構(gòu)信息）、數(shù)據(jù)血緣（用于影響分析和故障溯源）以及數(shù)據(jù)特征（描述數(shù)據(jù)的屬性信息）。常用產(chǎn)品分為：1）開源產(chǎn)品Metacat（擅長(zhǎng)管理數(shù)據(jù)字典）和Atlas（擅長(zhǎng)管理數(shù)據(jù)血緣）；2）商業(yè)產(chǎn)品Cloudera Navigator。元數(shù)據(jù)中心對(duì)外統(tǒng)一提供API訪問接口，數(shù)據(jù)傳輸、數(shù)據(jù)地圖、數(shù)據(jù)服務(wù)等其他的子系統(tǒng)都可以通過API接口獲取元數(shù)據(jù)。

主數(shù)據(jù)管理用于提供完整、一致、準(zhǔn)確、相應(yīng)的主數(shù)據(jù)來源，以支撐跨部門、跨系統(tǒng)數(shù)據(jù)融合應(yīng)用，四大關(guān)鍵功能為生命周期管理（編寫主數(shù)據(jù)間的層次、關(guān)系及分組）、質(zhì)量管理（建立主數(shù)據(jù)質(zhì)量基線和評(píng)估改進(jìn)程度）、協(xié)調(diào)功能（主數(shù)據(jù)管理系統(tǒng)與業(yè)務(wù)系統(tǒng)集成）以及分析功能。主要解決方案廠商包括IBM、Informatica、Stibo Systems、SAP等國(guó)外大廠，產(chǎn)品成熟，但產(chǎn)品靈活性和擴(kuò)展性不足，同時(shí)國(guó)內(nèi)廠商如用友、浪潮等也在此領(lǐng)域崛起，不斷靈活創(chuàng)新，更貼近企業(yè)需求。

數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)模型管理

搭建數(shù)據(jù)中臺(tái)的本質(zhì)是構(gòu)建企業(yè)公共數(shù)據(jù)層，把原先分散、煙囪式的數(shù)倉(cāng)合并成可共享、可復(fù)用的數(shù)據(jù)中臺(tái)，具體實(shí)施路徑可概括為：1）接管ODS層，控制數(shù)據(jù)源頭。ODS是業(yè)務(wù)數(shù)據(jù)進(jìn)入數(shù)據(jù)中臺(tái)的第一站，是所有數(shù)據(jù)加工的源頭，應(yīng)從業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)庫(kù)權(quán)限入手；2）劃分主題域和拆分業(yè)務(wù)維度，構(gòu)建總線矩陣。主題域是業(yè)務(wù)過程的抽象集合，劃分時(shí)盡量涵蓋所有業(yè)務(wù)需求，保持穩(wěn)定性和擴(kuò)展性；3）構(gòu)建一致性維度。構(gòu)建全局一致性的維表，確保維表只存一份。維度屬性分為兩種情況：公共維度屬性與特有維度屬性拆成兩個(gè)維表，產(chǎn)出時(shí)間相差較大的維度屬性拆分成單獨(dú)的維表；4）整合事實(shí)表。事實(shí)表整合的核心是統(tǒng)計(jì)粒度必須保持一致，不同統(tǒng)計(jì)粒度的數(shù)據(jù)不能出現(xiàn)在同一個(gè)事實(shí)表中；5）模型設(shè)計(jì)完成后，進(jìn)入模型開發(fā)。數(shù)據(jù)全生命周期管理，ODS和DWD盡可能保留所有歷史數(shù)據(jù)，DWS/ADS/DM需設(shè)置生命周期，可保留7-30天不等；6）應(yīng)用遷移。進(jìn)行數(shù)據(jù)比對(duì)，確保數(shù)據(jù)一致。

數(shù)據(jù)服務(wù)

數(shù)據(jù)和應(yīng)用之間的“橋梁”

數(shù)據(jù)服務(wù)是數(shù)據(jù)中臺(tái)的能力出口，是數(shù)據(jù)應(yīng)用的重要支撐。企業(yè)通過中臺(tái)能力封裝關(guān)鍵數(shù)據(jù)實(shí)體，將數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)交換等數(shù)據(jù)的各種形態(tài)轉(zhuǎn)化為可高效復(fù)用的軟件服務(wù)。數(shù)據(jù)中臺(tái)提供的數(shù)據(jù)服務(wù)可大致分為三類：1）主題式數(shù)據(jù)服務(wù)?；谠獢?shù)據(jù)規(guī)范定義和建模，構(gòu)建主題邏輯表，屏蔽復(fù)雜物理表，提供業(yè)務(wù)視角下的查詢；2）統(tǒng)一且多樣化數(shù)據(jù)服務(wù)。一站式提供一般查詢、OLAP 分析、在線接口服務(wù)等查詢和應(yīng)用服務(wù)，便于數(shù)據(jù)跟蹤管理；3）跨源數(shù)據(jù)服務(wù)。統(tǒng)一數(shù)據(jù)接入層，屏蔽多種異構(gòu)數(shù)據(jù)源的讀寫差異，減少數(shù)據(jù)訪問和應(yīng)用成本。數(shù)據(jù)服務(wù)通過平臺(tái)化、配置化的方式，快速生成API服務(wù)，減少定制化開發(fā)對(duì)不同工種的依賴，同時(shí)屏蔽底層數(shù)據(jù)的技術(shù)細(xì)節(jié)，讓數(shù)據(jù)消費(fèi)者無需關(guān)心數(shù)據(jù)的源頭問題，實(shí)現(xiàn)“數(shù)據(jù)即服務(wù)”。從實(shí)施路徑來看，構(gòu)建數(shù)據(jù)服務(wù)模塊應(yīng)具備以下五大核心能力，才能擔(dān)起數(shù)據(jù)與應(yīng)用之間的“橋梁”角色：

行業(yè)場(chǎng)景

金融行業(yè)：從數(shù)據(jù)驅(qū)動(dòng)到運(yùn)營(yíng)優(yōu)化

金融行業(yè)走在我國(guó)數(shù)字化轉(zhuǎn)型前列，信息化建設(shè)起步早、投入大，因此行業(yè)的信息化水平和數(shù)據(jù)的標(biāo)準(zhǔn)化程度較高，針對(duì)金融行業(yè)的數(shù)字化服務(wù)生態(tài)比較健全。但是，傳統(tǒng)的數(shù)字化解決方案也造成金融機(jī)構(gòu)普遍擁有多個(gè)信息部門和數(shù)據(jù)中心，隨著業(yè)務(wù)多元發(fā)展和海量業(yè)務(wù)數(shù)據(jù)積累，大量的系統(tǒng)、功能和應(yīng)用被反復(fù)構(gòu)建。數(shù)據(jù)資源、計(jì)算資源和人力資源都存在巨大浪費(fèi)，信息孤島現(xiàn)象嚴(yán)重，內(nèi)外部數(shù)據(jù)難以統(tǒng)籌規(guī)劃，數(shù)據(jù)能力無法應(yīng)對(duì)高并發(fā)、強(qiáng)一致、橫向擴(kuò)展的業(yè)務(wù)場(chǎng)景。

數(shù)據(jù)化轉(zhuǎn)型領(lǐng)先的金融機(jī)構(gòu)已經(jīng)開始搭建數(shù)據(jù)中臺(tái)，并產(chǎn)生很多優(yōu)秀案例。數(shù)據(jù)中臺(tái)采集和整合金融機(jī)構(gòu)內(nèi)多個(gè)數(shù)據(jù)庫(kù)數(shù)據(jù)，建立跨越式數(shù)據(jù)模型，打破數(shù)據(jù)壁壘，統(tǒng)一加工、處理、輸出標(biāo)準(zhǔn)數(shù)據(jù)，建立數(shù)據(jù)資產(chǎn)，減少業(yè)務(wù)數(shù)據(jù)重復(fù)建設(shè)，徹底改變金融行業(yè)數(shù)據(jù)交付模式，形成專業(yè)的用戶畫像，精準(zhǔn)營(yíng)銷，輔助運(yùn)營(yíng)決策，提升客戶運(yùn)營(yíng)效率。

泛零售行業(yè)：從統(tǒng)計(jì)分析到?jīng)Q策支撐

泛零售行業(yè)從以商家運(yùn)營(yíng)為主導(dǎo)的“舊”零售時(shí)代，推演至今日的以用戶為中心，數(shù)據(jù)驅(qū)動(dòng)、體驗(yàn)為王、口碑傳播、迭代思維的零售4.0時(shí)代，零售企業(yè)為了解全域運(yùn)營(yíng)數(shù)據(jù)、進(jìn)行場(chǎng)景細(xì)分和精細(xì)化運(yùn)營(yíng)、緊隨消費(fèi)需求和消費(fèi)鏈路的變化趨勢(shì)，內(nèi)部搭建了各類業(yè)務(wù)系統(tǒng)，基本滿足日常統(tǒng)計(jì)分析。但是，割裂的業(yè)務(wù)系統(tǒng)也形成了大量碎片化的數(shù)據(jù)，無法做到跨域、跨渠道的統(tǒng)一查詢和分析。此外，數(shù)據(jù)口徑不一致使得數(shù)據(jù)使用者對(duì)數(shù)據(jù)解讀無法形成統(tǒng)一理解，數(shù)據(jù)體系不完善導(dǎo)致無法對(duì)多維數(shù)據(jù)進(jìn)行閉環(huán)分析，數(shù)據(jù)指導(dǎo)和輔助運(yùn)營(yíng)的能力不能充分發(fā)揮。

數(shù)據(jù)中臺(tái)打通泛零售企業(yè)內(nèi)部各系統(tǒng)數(shù)據(jù)，標(biāo)準(zhǔn)化數(shù)據(jù)模型和研發(fā)標(biāo)準(zhǔn)，實(shí)現(xiàn)從數(shù)據(jù)采集、匯聚、清洗、調(diào)度到數(shù)據(jù)質(zhì)量管理的全流程工具化和平臺(tái)化，幫助零售企業(yè)打通采購(gòu)系統(tǒng)、業(yè)務(wù)系統(tǒng)、運(yùn)營(yíng)系統(tǒng)和銷售系統(tǒng)的數(shù)據(jù)，進(jìn)行數(shù)字化的供應(yīng)鏈管理；運(yùn)用數(shù)字媒介開展業(yè)務(wù)和觸點(diǎn)布局，跨業(yè)務(wù)域、跨渠道、跨產(chǎn)品、跨區(qū)域的綜合分析，精細(xì)化運(yùn)營(yíng)；通過埋點(diǎn)、實(shí)時(shí)數(shù)據(jù)，線上線下異構(gòu)數(shù)據(jù)采集，全量及全維度的捕獲用戶行為，提供決策支撐，優(yōu)化用戶體驗(yàn)。

政務(wù)行業(yè)：從決策支撐到數(shù)據(jù)驅(qū)動(dòng)

政務(wù)數(shù)字化是數(shù)字政府建設(shè)的重要目標(biāo)，隨著數(shù)據(jù)、算法、服務(wù)不斷創(chuàng)新和迭代，行業(yè)正從政務(wù)電子化、政府上網(wǎng)和政務(wù)服務(wù)一體化的“互聯(lián)網(wǎng)+政務(wù)服務(wù)”階段，向基于大數(shù)據(jù)的“數(shù)據(jù)化、平臺(tái)化”階段推進(jìn)，初步形成統(tǒng)一的云平臺(tái)和公共數(shù)據(jù)服務(wù)平臺(tái)，政務(wù)服務(wù)能力顯著改善。但隨著國(guó)內(nèi)經(jīng)濟(jì)持續(xù)健康發(fā)展和社會(huì)全面進(jìn)步，各界對(duì)政務(wù)服務(wù)也提出了更高的要求。如何實(shí)現(xiàn)政府?dāng)?shù)據(jù)資源跨層級(jí)、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務(wù)的協(xié)同管理和服務(wù)，如何實(shí)現(xiàn)“政府內(nèi)部協(xié)作”、“政府企業(yè)協(xié)同”、“政府服務(wù)公眾”的數(shù)據(jù)資源良性循環(huán)，如何提升政務(wù)協(xié)同過程中協(xié)同辦公效率都成為新的挑戰(zhàn)。

數(shù)據(jù)中臺(tái)提供統(tǒng)一的數(shù)據(jù)采、建、管、用能力，能實(shí)現(xiàn)政務(wù)領(lǐng)域數(shù)據(jù)的統(tǒng)一管理，構(gòu)建數(shù)據(jù)資源的應(yīng)用創(chuàng)新模式，建設(shè)重心從技術(shù)轉(zhuǎn)向運(yùn)營(yíng)管理，通過數(shù)據(jù)流帶動(dòng)組織和業(yè)務(wù)流程重組，提升政府服務(wù)協(xié)同能力。通過數(shù)據(jù)資源的標(biāo)準(zhǔn)化和統(tǒng)一輸出，提供政務(wù)數(shù)據(jù)精準(zhǔn)化供給和智能化服務(wù)，支撐政府部門精準(zhǔn)決策。

工業(yè)行業(yè)：萬物互聯(lián)時(shí)代大有開發(fā)空間

面對(duì)激烈的市場(chǎng)競(jìng)爭(zhēng)環(huán)境和如火如荼的產(chǎn)業(yè)數(shù)字化進(jìn)程，工業(yè)企業(yè)需要通過縮短交付周期、產(chǎn)品多樣化、產(chǎn)品及服務(wù)創(chuàng)新來提升競(jìng)爭(zhēng)力，數(shù)字化轉(zhuǎn)型為工業(yè)企業(yè)大規(guī)模、多樣化、全鏈路的運(yùn)營(yíng)生產(chǎn)和快速創(chuàng)新提供了可能。企業(yè)陸續(xù)構(gòu)建了ERP、SCM、SRM、WMS、PLM、MES等工業(yè)管理系統(tǒng)，支撐特定領(lǐng)域的業(yè)務(wù)應(yīng)用，結(jié)果數(shù)據(jù)孤島隨之而來，收效甚微。萬物互聯(lián)時(shí)代到來，工業(yè)設(shè)備普遍具備智能互聯(lián)屬性，圍繞設(shè)備、系統(tǒng)、人形成了巨量數(shù)據(jù)。此時(shí)，企業(yè)的競(jìng)爭(zhēng)本質(zhì)演變?yōu)閿?shù)據(jù)支撐業(yè)務(wù)敏捷性，以應(yīng)對(duì)市場(chǎng)的飛速變化。企業(yè)前臺(tái)對(duì)數(shù)據(jù)應(yīng)用的快速迭代創(chuàng)新、快速響應(yīng)用戶需求與后臺(tái)系統(tǒng)臃腫遲滯之間的矛盾成為亟待解決的問題。

工業(yè)企業(yè)不具備互聯(lián)網(wǎng)公司天然的信息化基因，并且產(chǎn)品研產(chǎn)供銷服流程復(fù)雜，業(yè)務(wù)對(duì)象與功能解耦難度大，沉淀深厚無法快速推倒重建，加上工控軟件數(shù)據(jù)開放度不足，專業(yè)程度高，因此，工業(yè)領(lǐng)域的數(shù)據(jù)中臺(tái)推進(jìn)仍有較大的開發(fā)空間。

趨勢(shì)一：云原生

技術(shù)與業(yè)務(wù)共同驅(qū)動(dòng)數(shù)據(jù)中臺(tái)走向云原生

云原生是當(dāng)下最為確定的技術(shù)趨勢(shì)，主要由Docker+Kubernetes以及Spring Cloud等主流技術(shù)共同驅(qū)動(dòng)。但當(dāng)下，很多所謂“云原生”，仍是對(duì)傳統(tǒng)單體架構(gòu)的改造，并不能真正實(shí)現(xiàn)資源的完全彈性擴(kuò)展。存算分離，各自動(dòng)態(tài)擴(kuò)縮容，將有助于平衡成本與效率，是大數(shù)據(jù)低成本落地的重要保障，也將是真正意義云原生的顯著特征。未來，數(shù)據(jù)中臺(tái)的數(shù)據(jù)存儲(chǔ)量劇增，且作業(yè)高吞吐高并發(fā)，對(duì)存算分離的要求明顯高于其他應(yīng)用領(lǐng)域，數(shù)據(jù)中臺(tái)中的重要組件，如MPP及智能湖倉(cāng)等，都將遵循存算分離架構(gòu)。此外，企業(yè)客戶對(duì)數(shù)據(jù)安全的關(guān)注度不斷提升，對(duì)數(shù)據(jù)安全、合規(guī)數(shù)據(jù)合作技術(shù)等需求增強(qiáng)，云原生天然具備的對(duì)象體系、容器化編排、CI/CD（持續(xù)集成持續(xù)交付）、跨云多域數(shù)據(jù)治理等技術(shù)屬性，都驅(qū)動(dòng)數(shù)據(jù)中臺(tái)走向云原生。

趨勢(shì)二：數(shù)智融合

數(shù)據(jù)和智能相互作用

所謂數(shù)智融合，即構(gòu)筑數(shù)據(jù)治理和AI開發(fā)的統(tǒng)一底座，讓數(shù)據(jù)和人工智能相互作用。一方面， Data for AI ：通過對(duì)元數(shù)據(jù)統(tǒng)一管理，解決傳統(tǒng)數(shù)據(jù)分析與AI模型之間的“數(shù)據(jù)搬家”問題，打通數(shù)據(jù)分析與AI模型引擎，實(shí)現(xiàn)基于一份數(shù)據(jù)多模分析，提升數(shù)據(jù)驅(qū)動(dòng)決策的準(zhǔn)確性和可信性，讓數(shù)據(jù)工程師靈活進(jìn)行模型和特征訓(xùn)練，實(shí)現(xiàn)數(shù)據(jù)與AI開發(fā)高效無縫互通。另一方面，通過AI for Data ：將人工智能算法模型的能力植入到數(shù)據(jù)治理，通過機(jī)器學(xué)習(xí)自動(dòng)發(fā)現(xiàn)數(shù)據(jù)管理的規(guī)則，在數(shù)據(jù)模型管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)安全等多場(chǎng)景中廣泛應(yīng)用。因此，人工智能對(duì)于提升數(shù)據(jù)治理的智能化水平具有關(guān)鍵作用，也是降低數(shù)據(jù)治理門檻的重要突破方向。

趨勢(shì)三：泛中臺(tái)化

以數(shù)據(jù)中臺(tái)為基礎(chǔ)的中臺(tái)產(chǎn)品體系多點(diǎn)開花

5G時(shí)代的到來，人工智能、物聯(lián)網(wǎng)等創(chuàng)新技術(shù)不斷發(fā)展。隨著多設(shè)備接入、多系統(tǒng)數(shù)據(jù)融合互聯(lián)互通，形成新的數(shù)據(jù)孤島，對(duì)企業(yè)的智能用數(shù)發(fā)起新的挑戰(zhàn)。值此時(shí)刻，數(shù)據(jù)中臺(tái)的理念體系逐漸完善，相關(guān)產(chǎn)品、規(guī)范以及標(biāo)準(zhǔn)也趨向統(tǒng)一，落地經(jīng)驗(yàn)也得到積累，大數(shù)據(jù)項(xiàng)目紛紛與數(shù)據(jù)中臺(tái)結(jié)合，數(shù)據(jù)中臺(tái)開始從概念熱點(diǎn)向項(xiàng)目起點(diǎn)轉(zhuǎn)變。隨著企業(yè)對(duì)中臺(tái)認(rèn)知的增強(qiáng)，業(yè)務(wù)場(chǎng)景需求的解決方案/產(chǎn)品也趨于“中臺(tái)化”：IoT中臺(tái)、算法中臺(tái)、研發(fā)中臺(tái)、組織中臺(tái)、AI中臺(tái)等中臺(tái)產(chǎn)品體系不斷豐富。以IoT中臺(tái)為例，是相對(duì)數(shù)據(jù)中臺(tái)層次更上的抽象和高級(jí)，包含了采集平臺(tái)、通信中臺(tái)和數(shù)據(jù)中臺(tái)的全部特性，支持除數(shù)據(jù)分析、處理、交易等抽象業(yè)務(wù)服務(wù)外的采集和通信能力，相對(duì)數(shù)據(jù)中臺(tái)更加貼合企業(yè)業(yè)務(wù)場(chǎng)景，為未來智慧城市建設(shè)提供更加深入和精細(xì)化的基礎(chǔ)能力。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。