報告編委
特別鳴謝（按拼音排序）
媒體支持（按拼音排序）
報告摘要
數(shù)字化轉(zhuǎn)型背景下，企業(yè)數(shù)據(jù)平臺面臨多重挑戰(zhàn)
數(shù)據(jù)平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型，實現(xiàn)數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用的底層基礎(chǔ)設(shè)施。通過應(yīng)用數(shù)據(jù)平臺，企業(yè)能夠?qū)崿F(xiàn)精細(xì)化運營，從而降低運營成本、提高運營效率、提升創(chuàng)新能力。
近年來，企業(yè)和政府部門對數(shù)字化的價值的理解愈加深刻，也紛紛加快數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)，數(shù)據(jù)應(yīng)用的廣度和深度隨之極大地擴(kuò)展，由此給數(shù)據(jù)管理與應(yīng)用帶來了一系列挑戰(zhàn)。這些挑戰(zhàn)包括：數(shù)據(jù)規(guī)模持續(xù)膨脹提升了數(shù)據(jù)資產(chǎn)管理的重要性，數(shù)據(jù)應(yīng)用場景持續(xù)擴(kuò)展要求數(shù)據(jù)平臺具備更高的敏捷性、易用性、實時性和智能化能力，對企業(yè)的數(shù)據(jù)安全合規(guī)要求也更加嚴(yán)格。
構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施：數(shù)據(jù)智能平臺
數(shù)據(jù)智能平臺是企業(yè)數(shù)字化運營深入階段的統(tǒng)一數(shù)據(jù)能力平臺，能夠?qū)?shù)據(jù)資產(chǎn)按統(tǒng)一標(biāo)準(zhǔn)進(jìn)行管理以方便數(shù)據(jù)可用，并滿足企業(yè)對數(shù)據(jù)應(yīng)用的敏捷開發(fā)、實時響應(yīng)、簡單易用、智能分析等需求，同時具備完善的數(shù)據(jù)安全機(jī)制。
愛分析認(rèn)為，正在興起的新一代數(shù)據(jù)智能平臺需要具備云原生、AI增強(qiáng)、敏捷開發(fā)與應(yīng)用、實時數(shù)據(jù)處理與分析四大核心能力。同時，在平臺架構(gòu)層面，數(shù)據(jù)智能平臺的底層基礎(chǔ)設(shè)施、存儲與計算引擎、數(shù)據(jù)集成與開發(fā)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)應(yīng)用與數(shù)據(jù)服務(wù)等模塊相比傳統(tǒng)數(shù)據(jù)平臺也提出了更具體和更復(fù)雜的要求。
數(shù)據(jù)智能平臺的建設(shè)方法論
數(shù)據(jù)智能平臺的構(gòu)建是一個需要從全局進(jìn)行規(guī)劃和建設(shè)，并在后續(xù)運行中能夠持續(xù)迭代的系統(tǒng)性工程，因此需要一套科學(xué)和完備的方法論指導(dǎo)這一過程。
數(shù)據(jù)智能平臺建設(shè)過程中的核心環(huán)節(jié)主要包括了頂層戰(zhàn)略規(guī)劃、應(yīng)用場景規(guī)劃、基礎(chǔ)架構(gòu)設(shè)計、數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計、組織與人員規(guī)劃。在頂層規(guī)劃層面，數(shù)據(jù)智能平臺的建設(shè)需要考慮組織的整體目標(biāo)，合理規(guī)劃建設(shè)路徑，并給予相應(yīng)的資源支持。在應(yīng)用場景規(guī)劃層面，組織要首先評估自身的業(yè)務(wù)需求，明確場景實現(xiàn)的優(yōu)先級，同時調(diào)研和參考外部案例。在基礎(chǔ)架構(gòu)設(shè)計層面，數(shù)據(jù)智能平臺需要考慮引入云原生架構(gòu)、應(yīng)用多數(shù)據(jù)處理引擎，并對數(shù)據(jù)資產(chǎn)和數(shù)據(jù)應(yīng)用做統(tǒng)一管理。此外，組織還需根據(jù)業(yè)務(wù)架構(gòu)對數(shù)據(jù)架構(gòu)進(jìn)行設(shè)計，對數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)范，方便業(yè)務(wù)人員使用數(shù)據(jù)。在做組織和人員規(guī)劃時，需要對組織的業(yè)務(wù)線復(fù)雜度做評估，在集中式和去中心化建設(shè)中選其一。
重點行業(yè)的數(shù)據(jù)智能平臺典型實踐案例
數(shù)據(jù)智能平臺在實際落地過程中，仍然需要根據(jù)行業(yè)特點和企業(yè)組織的具體業(yè)務(wù)需求、現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施等情況對平臺的架構(gòu)和功能做針對性的設(shè)計和規(guī)劃。
為了給需要建設(shè)數(shù)據(jù)智能平臺的企業(yè)組織提供一定的經(jīng)驗參考，愛分析對金融、政府與公共服務(wù)、消費品與零售、工業(yè)與能源等重點行業(yè)的行業(yè)特點，不同行業(yè)對建設(shè)數(shù)據(jù)智能平臺的需求差異做了分析。同時，愛分析深入調(diào)研了上述行業(yè)中一批國內(nèi)領(lǐng)先企業(yè)或組織的數(shù)據(jù)智能平臺實踐案例，對他們在數(shù)據(jù)智能平臺建設(shè)過程中面臨的需求與挑戰(zhàn)，具體的解決方案，平臺落地后的效果，以及相應(yīng)的建設(shè)經(jīng)驗做了詳細(xì)的研究，并將案例內(nèi)容呈現(xiàn)在本報告中。
目錄
1. 數(shù)字化轉(zhuǎn)型背景下，企業(yè)數(shù)據(jù)平臺面臨多重挑戰(zhàn)
2. 構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施：數(shù)據(jù)智能平臺
3. 數(shù)據(jù)智能平臺的建設(shè)方法論
4. 重點行業(yè)的數(shù)據(jù)智能平臺典型實踐案例
關(guān)于愛分析
研究咨詢服務(wù)
法律聲明
1. 數(shù)字化轉(zhuǎn)型背景下，企業(yè)數(shù)據(jù)平臺面臨多重挑戰(zhàn)
1.1 數(shù)據(jù)平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施
數(shù)據(jù)平臺是企業(yè)進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用，從而實現(xiàn)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施。通常，數(shù)據(jù)平臺包含數(shù)據(jù)采集與接入、數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)服務(wù)等功能。
圖 1： 典型數(shù)據(jù)平臺架構(gòu)
從業(yè)務(wù)的角度，數(shù)據(jù)平臺支撐了企業(yè)數(shù)字化轉(zhuǎn)型的各項需求，企業(yè)因此能夠?qū)崿F(xiàn)精細(xì)化運營，從而降低運營成本、提高運營效率、提升創(chuàng)新能力。具體而言，通過數(shù)據(jù)平臺的應(yīng)用，企業(yè)可以在業(yè)務(wù)中實現(xiàn)數(shù)據(jù)驅(qū)動，從而達(dá)成以下目標(biāo)：
1）準(zhǔn)確洞察用戶畫像和用戶需求
2）及時感知市場趨勢
3）降低管理和生產(chǎn)成本
4）設(shè)計和生產(chǎn)出更符合用戶需求的產(chǎn)品
5）更快地推出和迭代產(chǎn)品
1.2 企業(yè)數(shù)據(jù)管理與應(yīng)用正面臨一系列挑戰(zhàn)
近年來，面對市場環(huán)境的快速變化，以及政府對發(fā)展數(shù)字經(jīng)濟(jì)的促進(jìn)舉措，企業(yè)對數(shù)字化的價值的理解愈加深刻。在各行業(yè)企業(yè)或政府部門紛紛加快數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)的同時，數(shù)據(jù)在企業(yè)經(jīng)營管理中的應(yīng)用廣度和深度也隨之極大地擴(kuò)展，由此帶來數(shù)據(jù)管理與應(yīng)用的一系列問題和挑戰(zhàn)。
1.2.1 數(shù)據(jù)規(guī)模持續(xù)膨脹，數(shù)據(jù)資產(chǎn)管理重要性提升
隨著企業(yè)業(yè)務(wù)的快速發(fā)展以及全面的數(shù)字化，企業(yè)內(nèi)部業(yè)務(wù)和數(shù)據(jù)系統(tǒng)會變得眾多，當(dāng)這些數(shù)據(jù)匯聚之后，需要處理的各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)規(guī)模也因此急劇膨脹。這給企業(yè)的數(shù)據(jù)應(yīng)用和數(shù)據(jù)資產(chǎn)管理帶來了以下問題：
1）不確定數(shù)據(jù)價值。企業(yè)用戶往往不能確定系統(tǒng)中有哪些數(shù)據(jù)，也不知道自己的業(yè)務(wù)問題可以使用哪些數(shù)據(jù)來解決。
2）不能共享數(shù)據(jù)。企業(yè)缺少統(tǒng)一的數(shù)據(jù)管理標(biāo)準(zhǔn)，導(dǎo)致各業(yè)務(wù)部門之間難以對數(shù)據(jù)進(jìn)行匯聚、共享和使用，從而無法發(fā)揮大數(shù)據(jù)的協(xié)同價值。
3）難以獲取所需數(shù)據(jù)。用戶獲取所需數(shù)據(jù)的過程太長和復(fù)雜，且缺乏有效的數(shù)據(jù)開發(fā)工具，導(dǎo)致用戶獲取和使用數(shù)據(jù)存在困難。
1.2.2 數(shù)據(jù)應(yīng)用場景持續(xù)擴(kuò)展，敏捷性、易用性、實時性、智能化要求提升
為了充分發(fā)揮數(shù)據(jù)的價值，數(shù)據(jù)驅(qū)動的決策和業(yè)務(wù)應(yīng)用正逐漸滲透進(jìn)企業(yè)的各個部門和各個業(yè)務(wù)線。面對數(shù)據(jù)應(yīng)用場景的持續(xù)擴(kuò)展，企業(yè)對其底層數(shù)據(jù)平臺也提出更高的技術(shù)和能力要求，包括了敏捷性、易用性、實時性、智能化四個方面的要求，具體如下：
敏捷性。企業(yè)存在大量數(shù)據(jù)分析，尤其是創(chuàng)新性的數(shù)據(jù)分析和應(yīng)用需求。但傳統(tǒng)豎井式建設(shè)的信息系統(tǒng)修改困難、集成混亂；企業(yè)缺乏自有的技術(shù)開發(fā)能力，無法快速響應(yīng)業(yè)務(wù)需求。
易用性。數(shù)據(jù)平臺逐漸由賦能數(shù)據(jù)部門轉(zhuǎn)向全面賦能業(yè)務(wù)部門，而使用傳統(tǒng)數(shù)據(jù)平臺需要的編程和數(shù)據(jù)分析能力是大部分業(yè)務(wù)人員所不具備的，因此需要新一代的數(shù)據(jù)平臺具備低門檻的自助分析能力，適應(yīng)不同能力的數(shù)據(jù)或業(yè)務(wù)人員。
實時性。企業(yè)在生產(chǎn)和運營中存在越來越多的實時決策場景，如何快速查找、分析和獲得數(shù)據(jù)洞察是當(dāng)前數(shù)據(jù)平臺面臨的一大挑戰(zhàn)，需要從平臺的架構(gòu)設(shè)計、計算和存儲引擎，以及業(yè)務(wù)流程優(yōu)化上滿足數(shù)據(jù)分析的實時性需求。
智能化。在數(shù)據(jù)應(yīng)用越來越多的背景下，企業(yè)相關(guān)的人力配備已不能滿足需求，因此需要平臺具備智能化的能力，一方面在數(shù)據(jù)分析環(huán)節(jié)引入自動化能力，減少人工操作，降低人力成本。另一方面，通過平臺的智能預(yù)測能力，提高業(yè)務(wù)決策效率和能力。
1.2.3 數(shù)據(jù)安全合規(guī)要求趨嚴(yán)
數(shù)字化時代，數(shù)據(jù)安全風(fēng)險已經(jīng)滲透在數(shù)據(jù)應(yīng)用中的各個層面，例如數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)共享等，因此企業(yè)數(shù)據(jù)泄漏造成的損失和風(fēng)險的可能在加大。
與此同時，大眾對數(shù)據(jù)隱私的關(guān)注，加上監(jiān)管對數(shù)據(jù)安全要求的趨嚴(yán)，都促使企業(yè)在搭建新一代的數(shù)據(jù)平臺時，需要在各個層級上都建立完善的安全機(jī)制防范數(shù)據(jù)泄漏的風(fēng)險。
表1:數(shù)據(jù)安全重點法律法規(guī)
2. 構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施：數(shù)據(jù)智能平臺
2.1 數(shù)據(jù)智能平臺的定義
要定義新一代的數(shù)據(jù)基礎(chǔ)設(shè)施，我們首先需要闡明在之前的發(fā)展階段中，不同階段的數(shù)據(jù)基礎(chǔ)設(shè)施產(chǎn)生的原因、應(yīng)用場景和面對新階段的需求時的局限性。
數(shù)據(jù)基礎(chǔ)設(shè)施經(jīng)過數(shù)十年的發(fā)展，已經(jīng)依次經(jīng)歷了三個階段：數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺。在數(shù)據(jù)庫階段，企業(yè)對數(shù)據(jù)的使用需求主要是面向管理層從宏觀層面對公司的經(jīng)營狀況做描述性分析，處理的數(shù)據(jù)為有限的結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)倉庫階段，企業(yè)對數(shù)據(jù)的使用需求從面向管理層拓寬到面向業(yè)務(wù)人員，主要滿足一些業(yè)務(wù)監(jiān)測和洞察類的數(shù)據(jù)查詢和分析需求，處理的數(shù)據(jù)依然以結(jié)構(gòu)化數(shù)據(jù)為主。在大數(shù)據(jù)平臺階段，企業(yè)需要處理大規(guī)模、多源異構(gòu)的數(shù)據(jù)，對業(yè)務(wù)的監(jiān)測和洞察也更多地偏向診斷性和預(yù)測性分析。
而到了2019年之后數(shù)字化轉(zhuǎn)型的新階段中，企業(yè)對數(shù)據(jù)應(yīng)用的范圍從之前的管理層和部分業(yè)務(wù)人員擴(kuò)展到了跨部門、跨企業(yè)的數(shù)據(jù)共享，需要進(jìn)行大量面向業(yè)務(wù)，實時和智能決策的探索式、自助式分析，并且需要處理超大規(guī)模的多源異構(gòu)和實時數(shù)據(jù)。如第一章節(jié)所述，這些變化對數(shù)據(jù)管理和應(yīng)用帶來了一系列挑戰(zhàn)和需求，傳統(tǒng)的數(shù)據(jù)平臺已經(jīng)無法滿足，新一代的數(shù)據(jù)基礎(chǔ)設(shè)施即是要解決這些問題。
圖 2： 數(shù)據(jù)基礎(chǔ)設(shè)施的演進(jìn)歷程
因此，愛分析認(rèn)為，新一代的數(shù)據(jù)基礎(chǔ)設(shè)施，數(shù)據(jù)智能平臺，可以被定義為企業(yè)數(shù)字化運營深入階段的統(tǒng)一數(shù)據(jù)能力平臺，能夠?qū)?shù)據(jù)資產(chǎn)按統(tǒng)一標(biāo)準(zhǔn)進(jìn)行管理以方便數(shù)據(jù)可用，并滿足企業(yè)對數(shù)據(jù)應(yīng)用的敏捷開發(fā)、實時響應(yīng)、簡單易用、智能分析等需求，同時具備完善的數(shù)據(jù)安全機(jī)制。
2.2 數(shù)據(jù)智能平臺的核心能力
基于對數(shù)字化轉(zhuǎn)型深入階段，企業(yè)在數(shù)據(jù)管理和應(yīng)用中需要面對和解決的問題的理解，以及對一些行業(yè)領(lǐng)先企業(yè)在搭建數(shù)據(jù)智能平臺中的實踐案例的調(diào)研和經(jīng)驗總結(jié)，愛分析認(rèn)為，正在興起的新一代數(shù)據(jù)智能平臺需要具備云原生、AI增強(qiáng)、敏捷開發(fā)與應(yīng)用、實時數(shù)據(jù)處理與分析四大核心能力。
圖 3： 數(shù)據(jù)智能平臺的四大核心能力
2.2.1 云原生
云原生是指在應(yīng)用的設(shè)計階段就為了云的運行環(huán)境而設(shè)計，包含微服務(wù)、容器化、DevOps、持續(xù)交付等特征。云原生架構(gòu)能夠為數(shù)據(jù)平臺帶來以下主要能力優(yōu)勢：
1） 云原生架構(gòu)下大數(shù)據(jù)組件都是以容器化的形式來部署，企業(yè)因此能夠快速的開發(fā)、測試、迭代和上線大數(shù)據(jù)應(yīng)用，并且方便了數(shù)據(jù)的共享和復(fù)用。
2） 快速集成新的開發(fā)工具。企業(yè)經(jīng)常需要在數(shù)據(jù)平臺中嘗試新的功能組件，由于主流的開源軟件基本都提供了容器化部署，因此能夠快速集成到云原生架構(gòu)的數(shù)據(jù)平臺中。
3） 降低系統(tǒng)復(fù)雜性和運維成本。在云原生架構(gòu)的數(shù)據(jù)平臺中，Kubernetes、Mesos等工具能夠?qū)崿F(xiàn)統(tǒng)一的資源管理和調(diào)度，這極大提高了系統(tǒng)復(fù)雜性，提高了運行效率，并且在數(shù)據(jù)平臺中部署和運行分布式系統(tǒng)也更加便捷。
4） 輕松實現(xiàn)存算分離和彈性伸縮，降低使用成本。云原生架構(gòu)能夠輕松實現(xiàn)計算和存儲資源的分離，企業(yè)因此可以按照需求分別使用存儲和計算資源，這降低了使用成本，也簡化了多云和混合云部署。
2.2.2 AI增強(qiáng)
AI增強(qiáng)是指利用機(jī)器學(xué)習(xí)和人工智能技術(shù)使數(shù)據(jù)清洗與準(zhǔn)備、數(shù)據(jù)分析與可視化、機(jī)器學(xué)習(xí)等分析過程中實現(xiàn)部分環(huán)節(jié)的自動化，從而節(jié)省大量的人力成本。AI增強(qiáng)的自動化能力主要體現(xiàn)在數(shù)據(jù)智能平臺運營過程中的以下環(huán)節(jié)：
1） 數(shù)據(jù)清洗與準(zhǔn)備：自動匹配，聯(lián)接，分析，標(biāo)記和注釋數(shù)據(jù)；推薦用于連接、豐富、清洗數(shù)據(jù)的最佳方法；自動執(zhí)行重復(fù)的轉(zhuǎn)換和集成；自動識別數(shù)據(jù)沿襲和元數(shù)據(jù)。
2） 數(shù)據(jù)分析與可視化：自動查找和描述數(shù)據(jù)中的相關(guān)性、異常、聚類、關(guān)鍵驅(qū)動因素和預(yù)測等；自動生成圖表或報表；可視化或?qū)υ捊缑妫∟LQ&NLG）查找和分析數(shù)據(jù)。
3） 機(jī)器學(xué)習(xí)：自動特征工程；自動模型選擇和參數(shù)調(diào)整；自動模型部署和監(jiān)控。
2.2.3 敏捷開發(fā)與應(yīng)用
數(shù)字化的核心目標(biāo)之一是要能夠支撐企業(yè)的商業(yè)創(chuàng)新，尤其是當(dāng)數(shù)據(jù)和數(shù)據(jù)應(yīng)用的規(guī)模和復(fù)雜性越來越大的時候，企業(yè)要去嘗試各種新的數(shù)據(jù)應(yīng)用，就需要數(shù)據(jù)平臺具備相應(yīng)的敏捷響應(yīng)能力。數(shù)據(jù)智能平臺的敏捷性主要包括了工具集成的敏捷性、數(shù)據(jù)開發(fā)的敏捷性、數(shù)據(jù)分析和應(yīng)用的敏捷性。
1） 工具集成的敏捷性。當(dāng)企業(yè)需要嘗試新的數(shù)據(jù)應(yīng)用時，經(jīng)常需要用到一些新的分析框架，如前文提到，云原生架構(gòu)能夠為企業(yè)提供快速接入和部署新的工具或組件的敏捷化能力。
2） 數(shù)據(jù)開發(fā)的敏捷性。數(shù)據(jù)開發(fā)的目的是使用各種工具，包括數(shù)據(jù)建模、數(shù)據(jù)探索、數(shù)據(jù)查詢、機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化等，來完成數(shù)據(jù)分析。要實現(xiàn)敏捷的數(shù)據(jù)開發(fā)，通常需要企業(yè)構(gòu)建一站式的數(shù)據(jù)集成和開發(fā)平臺，提供大數(shù)據(jù)的匯聚、加工、服務(wù)、資產(chǎn)管理等全流程能力，并降低其使用門檻。
3） 數(shù)據(jù)分析和應(yīng)用的敏捷性。實現(xiàn)數(shù)據(jù)分析和應(yīng)用的敏捷性數(shù)據(jù)平臺在底層數(shù)據(jù)管理和數(shù)據(jù)分析工具上有相應(yīng)的功能設(shè)計，比如，通過建立標(biāo)簽體系方便用戶將數(shù)據(jù)快速應(yīng)用于業(yè)務(wù)，通過提供可視化的分析工具靈活地滿足用戶的分析需求，通過AI增強(qiáng)能力自動識別有價值的數(shù)據(jù)并推送給用戶等。
2.2.4 實時數(shù)據(jù)處理與分析
為了應(yīng)對企業(yè)越來愈多的實時性數(shù)據(jù)分析需求，數(shù)據(jù)平臺需要在以下層面具備實時性的數(shù)據(jù)處理能力：
1） 實時的數(shù)據(jù)接入和數(shù)據(jù)采集。應(yīng)用Kafka、RocketMQ等工具實現(xiàn)數(shù)據(jù)的實時采集。同時，對于核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)，進(jìn)行被動采集；對于用戶訪問行為習(xí)慣等數(shù)據(jù)，則會進(jìn)行主動采集。
2） 實時的數(shù)據(jù)計算與查詢?；贔link等實時計算引擎，以及指標(biāo)計算、規(guī)則計算、模型計算等多種計算處理能力，構(gòu)建數(shù)據(jù)平臺的實時計算和查詢能力。
3） 實時的數(shù)據(jù)分發(fā)。通過Kafka實現(xiàn)靈活的數(shù)據(jù)分發(fā)，以承載不同用戶的實時業(yè)務(wù)。
4） 流批一體。由于企業(yè)在業(yè)務(wù)分析中使用的數(shù)據(jù)范圍越來愈多地橫跨歷史數(shù)據(jù)和實時數(shù)據(jù)，需要數(shù)據(jù)平臺具備流批一體的能力，用一套邏輯描述流與批業(yè)務(wù)，用一個引擎也能處理實時和離線數(shù)據(jù)。
2.3 新一代數(shù)據(jù)智能平臺的架構(gòu)
結(jié)合前文所述的當(dāng)前企業(yè)在數(shù)據(jù)管理和應(yīng)用中面臨的挑戰(zhàn)，以及對一些領(lǐng)先企業(yè)搭建的數(shù)據(jù)智能平臺的架構(gòu)進(jìn)行歸納總結(jié)，愛分析畫出了如下圖所示的數(shù)據(jù)智能平臺的典型架構(gòu)。
圖 4： 數(shù)據(jù)智能平臺典型架構(gòu)
可以看到，新一代的數(shù)據(jù)智能平臺的架構(gòu)至少在五個層面具有區(qū)別于傳統(tǒng)數(shù)據(jù)平臺架構(gòu)的特征。
表2:數(shù)據(jù)智能平臺與傳統(tǒng)數(shù)據(jù)平臺的主要區(qū)別
3. 數(shù)據(jù)智能平臺的建設(shè)方法論
類似傳統(tǒng)數(shù)據(jù)平臺的構(gòu)建，數(shù)據(jù)智能平臺的構(gòu)建是一個需要從全局進(jìn)行規(guī)劃和建設(shè)，并在后續(xù)運行中能夠持續(xù)迭代的系統(tǒng)性工程，因此需要一套科學(xué)和完備的方法論指導(dǎo)這一過程。
愛分析通過對多家領(lǐng)先企業(yè)的數(shù)據(jù)智能平臺實踐案例進(jìn)行調(diào)研，總結(jié)了數(shù)據(jù)智能平臺建設(shè)過程中比較共性的最佳實踐方法論，涉及的核心環(huán)節(jié)主要包括頂層戰(zhàn)略規(guī)劃、應(yīng)用場景規(guī)劃、基礎(chǔ)架構(gòu)設(shè)計、數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計、組織與人員規(guī)劃等方面。他們構(gòu)成的數(shù)據(jù)智能平臺建設(shè)的主要流程，以及具體包含的內(nèi)容如下圖：
圖 5： 數(shù)據(jù)智能平臺建設(shè)的關(guān)鍵環(huán)節(jié)
3.1 頂層戰(zhàn)略規(guī)劃
數(shù)據(jù)智能平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型的新一代數(shù)據(jù)基礎(chǔ)設(shè)施，是企業(yè)各部門各業(yè)務(wù)線共同的數(shù)據(jù)平臺和數(shù)據(jù)服務(wù)體系，因此，數(shù)據(jù)智能平臺的建設(shè)的核心目的是服務(wù)于企業(yè)的整體戰(zhàn)略目標(biāo)和業(yè)務(wù)目標(biāo)。
同時，數(shù)據(jù)智能平臺的建設(shè)不僅僅涉及技術(shù)架構(gòu)，還會涉及企業(yè)的業(yè)務(wù)模式和組織架構(gòu)，因此企業(yè)應(yīng)當(dāng)以頂層戰(zhàn)略為起點，根據(jù)業(yè)務(wù)目標(biāo)規(guī)劃數(shù)據(jù)智能平臺的的建設(shè)藍(lán)圖與路徑。
此外，傳統(tǒng)企業(yè)的部門墻問題明顯，要實現(xiàn)各部門間的溝通協(xié)作，共建數(shù)據(jù)智能平臺，需要企業(yè)決策層在組織架構(gòu)和資源方面給予統(tǒng)一的調(diào)配和支持。
3.2 應(yīng)用場景規(guī)劃
數(shù)據(jù)智能平臺的價值最終需要通過業(yè)務(wù)場景中的數(shù)據(jù)應(yīng)用來體現(xiàn)，因此，平臺建設(shè)必須應(yīng)用場景規(guī)劃先行，數(shù)據(jù)智能平臺應(yīng)用場景規(guī)劃需要考慮以下關(guān)鍵因素：
評估企業(yè)業(yè)務(wù)需求和數(shù)據(jù)現(xiàn)狀。從具體的業(yè)務(wù)需求場景厘清相關(guān)的業(yè)務(wù)線、相關(guān)崗位和業(yè)務(wù)流程，梳理其中的業(yè)務(wù)需求。同時，對企業(yè)的數(shù)據(jù)資產(chǎn)進(jìn)行評估，厘清企業(yè)有哪些數(shù)據(jù)、需要補(bǔ)充哪些數(shù)據(jù)等。
明確場景實現(xiàn)優(yōu)先級。企業(yè)需要基于企業(yè)戰(zhàn)略與業(yè)務(wù)目標(biāo)，可實現(xiàn)的業(yè)務(wù)價值、數(shù)據(jù)應(yīng)用的實現(xiàn)成本、數(shù)據(jù)應(yīng)用的可行性等方面進(jìn)行評估，確定哪些優(yōu)先級和緊急度比較高的場景可以應(yīng)用數(shù)據(jù)平臺解決業(yè)務(wù)問題。
調(diào)研和參考外部案例。企業(yè)在建設(shè)數(shù)據(jù)平臺前應(yīng)當(dāng)盡可能多地進(jìn)行相關(guān)調(diào)研，并參考同行實踐案例，總結(jié)相關(guān)經(jīng)驗。同時，可以借助有成熟經(jīng)驗的數(shù)據(jù)平臺建設(shè)廠商幫助企業(yè)解決相關(guān)問題。
3.3 基礎(chǔ)架構(gòu)設(shè)計
好的基礎(chǔ)架構(gòu)設(shè)計能夠讓項目快速落地，并支持在現(xiàn)有系統(tǒng)上快速開發(fā)新功能、引入新數(shù)據(jù)，而一旦選擇某個技術(shù)架構(gòu)并開始實施，后面出現(xiàn)問題再來修改的成本很高。構(gòu)建新一代的數(shù)據(jù)智能平臺需要在基礎(chǔ)架構(gòu)設(shè)計上考慮一下要點：
1） 引入云原生架構(gòu)，以便快速開發(fā)、測試、上線和迭代數(shù)據(jù)應(yīng)用，同時滿足在工具集成、系統(tǒng)運維、以及存儲和計算資源上的各種敏捷性要求。
2） 應(yīng)用多種數(shù)據(jù)處理引擎應(yīng)對多樣化的數(shù)據(jù)分析場景需求，重點是為平臺構(gòu)建智能化和實時化的數(shù)據(jù)處理能力。
3）對數(shù)據(jù)和數(shù)據(jù)應(yīng)用資產(chǎn)進(jìn)行統(tǒng)一的管理，避免數(shù)據(jù)資產(chǎn)不明確、使用復(fù)雜、效益低下等問題，方便數(shù)據(jù)資產(chǎn)的使用、共享和復(fù)用。
3.4 數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計
為了保證用戶能夠在數(shù)據(jù)平臺中快速找到自己所需的數(shù)據(jù)，企業(yè)需要對數(shù)據(jù)架構(gòu)，即數(shù)據(jù)的組織方式，以及數(shù)據(jù)規(guī)范，即數(shù)據(jù)平臺中輸入和輸出的數(shù)據(jù)符合規(guī)范，進(jìn)行合理地設(shè)計。
1） 企業(yè)需要根據(jù)業(yè)務(wù)目標(biāo)及業(yè)務(wù)流程設(shè)計平臺的數(shù)據(jù)架構(gòu)，包括平臺提供的明細(xì)數(shù)據(jù)、匯總數(shù)據(jù)、數(shù)據(jù)分析結(jié)果、數(shù)據(jù)服務(wù)等。
2） 對數(shù)據(jù)平臺的輸入數(shù)據(jù)和輸出數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)范，如在所有業(yè)務(wù)系統(tǒng)中使用統(tǒng)一的全局ID，用原子指標(biāo)、統(tǒng)計顆粒度、業(yè)務(wù)限定等維度來派生指標(biāo)名稱，構(gòu)建指標(biāo)體系。
3.5 組織與人員規(guī)劃
數(shù)據(jù)智能平臺的能力與業(yè)務(wù)高度相關(guān)，因為平臺的搭建需要IT部門、數(shù)據(jù)部門、以及各業(yè)務(wù)部門溝通協(xié)調(diào)，對人員進(jìn)行統(tǒng)籌安排。根據(jù)企業(yè)數(shù)據(jù)能力現(xiàn)狀，在集中式和去中心化兩種人員模式中選其一。
1） 集中式模式：組建一個專門的數(shù)據(jù)智能平臺團(tuán)隊，由該團(tuán)隊負(fù)責(zé)所有數(shù)據(jù)能力的規(guī)劃和開發(fā)。該模式好處在于數(shù)據(jù)能力的規(guī)劃和實現(xiàn)比較直接，能夠快速落地，難點在于需要團(tuán)隊理解業(yè)務(wù)。該模式適合公司業(yè)務(wù)體系相對簡單，且軟件在企業(yè)內(nèi)部只是輔助工具的傳統(tǒng)型企業(yè)。
2） 去中心化模式：由傳統(tǒng)的數(shù)據(jù)平臺團(tuán)隊搭建底層的平臺，各業(yè)務(wù)部門在平臺上開發(fā)和使用所需的數(shù)據(jù)應(yīng)用。該模式好處在于業(yè)務(wù)部門對業(yè)務(wù)最理解，能夠開發(fā)出最滿足業(yè)務(wù)需求的數(shù)據(jù)應(yīng)用，且后續(xù)迭代也更方便，難點在于需要處理好部門分工和協(xié)調(diào)的問題。該模式適合業(yè)務(wù)線龐雜，業(yè)務(wù)定制化需求較多的大型企業(yè)。
圖 6： 數(shù)據(jù)智能平臺建設(shè)推進(jìn)方式
4. 重點行業(yè)的數(shù)據(jù)智能平臺典型實踐案例
盡管我們已經(jīng)對數(shù)據(jù)智能平臺做了較明確的定義，并對數(shù)據(jù)智能平臺需要具備的核心能力、架構(gòu)、建設(shè)方法論等問題做了歸納總結(jié)，但在數(shù)據(jù)智能平臺在實際落地過程中，仍然需要根據(jù)行業(yè)特點和企業(yè)組織的具體業(yè)務(wù)需求、現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施等情況對平臺的架構(gòu)和功能做針對性的設(shè)計和規(guī)劃。
為了給需要建設(shè)數(shù)據(jù)智能平臺的企業(yè)組織提供一定的經(jīng)驗參考，愛分析對金融、政府與公共服務(wù)、消費品與零售、工業(yè)與能源等重點行業(yè)的行業(yè)特點，不同行業(yè)對建設(shè)數(shù)據(jù)智能平臺的需求差異做了分析，并深入調(diào)研了這些行業(yè)中一批國內(nèi)領(lǐng)先企業(yè)或組織的數(shù)據(jù)智能平臺實踐案例，對他們在數(shù)據(jù)智能平臺建設(shè)過程中面臨的需求與挑戰(zhàn)，具體的解決方案，平臺落地后的效果，以及相應(yīng)的建設(shè)經(jīng)驗做了詳細(xì)的研究，并將案例內(nèi)容呈現(xiàn)在本報告中。
4.1 金融
在互聯(lián)網(wǎng)趨勢加之疫情影響下，消費者陣地逐漸向線上化轉(zhuǎn)移，同時隨著金融監(jiān)管政策持續(xù)加碼，對金融行業(yè)而言，進(jìn)行營銷運營、風(fēng)控合規(guī)等全流程的數(shù)字化轉(zhuǎn)型勢在必行。首先，線下渠道難以滿足金融機(jī)構(gòu)業(yè)務(wù)需求，構(gòu)建全渠道營銷體系成為金融機(jī)構(gòu)的關(guān)注重點；其次，金融產(chǎn)品豐富性增強(qiáng)，客戶粘性減弱，良好的用戶體驗逐漸成為金融機(jī)構(gòu)的核心競爭力；此外，隨著不良資產(chǎn)的暴露、監(jiān)管的不斷收緊，防范各類欺詐風(fēng)險，是金融機(jī)構(gòu)的關(guān)鍵目標(biāo)。因此，引入各類數(shù)據(jù)，依托強(qiáng)大的數(shù)據(jù)處理與分析能力，深度洞察客戶，從而為精準(zhǔn)營銷、精細(xì)化運營和風(fēng)控等做支撐，是金融行業(yè)的共同訴求。
現(xiàn)階段，多數(shù)金融機(jī)構(gòu)已完成了部門級數(shù)據(jù)庫、數(shù)據(jù)平臺建設(shè)，但多基于“豎井式”架構(gòu)獨立建設(shè)或由業(yè)務(wù)部門主導(dǎo)開發(fā)，各部門、各業(yè)務(wù)場景間數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)不互通，無法形成跨部門數(shù)據(jù)復(fù)用及全行級數(shù)據(jù)洞察。此外，數(shù)據(jù)價值挖掘深度不足，未結(jié)合業(yè)務(wù)理解，構(gòu)建數(shù)據(jù)模型、形成客戶畫像，無法真正落地于營銷與風(fēng)控場景，也是現(xiàn)階段金融機(jī)構(gòu)存在的問題。
因此，金融機(jī)構(gòu)在構(gòu)建數(shù)據(jù)智能平臺時，應(yīng)統(tǒng)一整合多渠道、跨業(yè)務(wù)數(shù)據(jù)，打破數(shù)據(jù)孤島，建立數(shù)據(jù)規(guī)范，結(jié)合業(yè)務(wù)進(jìn)行數(shù)據(jù)建模與數(shù)據(jù)關(guān)系抽取，構(gòu)建數(shù)據(jù)標(biāo)簽體系，生成客戶畫像及關(guān)系圖譜，從而為精準(zhǔn)營銷、智能反欺詐賦能。
| 案例1 : 知識圖譜平臺助力建設(shè)銀行防范金融風(fēng)險 中國建設(shè)銀行（以下簡稱建行）是一家擁有60多年的歷史的老牌國有銀行，總資產(chǎn)規(guī)模排名全球第二。作為國內(nèi)最大的個人貸款和第二大信用卡發(fā)行行，信貸業(yè)務(wù)是建行業(yè)務(wù)體系中的核心，而風(fēng)險預(yù)警則是為信貸業(yè)務(wù)保駕護(hù)航的重要環(huán)節(jié)。近年來，隨著建設(shè)銀行信貸、信用卡等業(yè)務(wù)的快速發(fā)展，行內(nèi)面臨著越來越復(fù)雜的風(fēng)控難題。一方面，行內(nèi)數(shù)據(jù)量隨之增大，個人之間、企業(yè)之間，以及個人與企業(yè)之間的關(guān)聯(lián)關(guān)系變得更加復(fù)雜，另一方面，不法分子的各種反風(fēng)控、反偵查手段層出不窮，因此傳統(tǒng)的風(fēng)險預(yù)警模式已經(jīng)不足以識別很多金融風(fēng)險。經(jīng)過考察評估后，建設(shè)銀行決定引入知識圖譜平臺來應(yīng)對不斷提高的風(fēng)控難度，其知識圖譜平臺的建設(shè)主要分為兩個階段，各個階段都有著不同的需求和挑戰(zhàn)。在第一階段，建設(shè)銀行主要是希望通過應(yīng)用知識圖譜實現(xiàn)對銀行內(nèi)金融風(fēng)險以及一些關(guān)聯(lián)關(guān)系的更快和更深層次的查詢挖掘。在2017年底左右，市場出現(xiàn)了一些新型的假個貸，這類假個貸的特點是資金鏈路深，層級復(fù)雜，如果用傳統(tǒng)的基于規(guī)則和SQL查詢的方式識別這些風(fēng)險，一是計算量大，很多復(fù)雜關(guān)系無法被識別，二是根據(jù)數(shù)據(jù)金額做SQL的模糊匹配其結(jié)果也往往不準(zhǔn)確。在第二階段，建設(shè)銀行在已經(jīng)在幾個項目上成功應(yīng)用知識圖譜的基礎(chǔ)上，需要在行內(nèi)構(gòu)建統(tǒng)一的知識圖譜平臺，提供統(tǒng)一的對復(fù)雜金融風(fēng)險、關(guān)聯(lián)關(guān)系的查詢和分析能力。在此階段，建設(shè)銀行面臨的挑戰(zhàn)主要有兩個：1） 建設(shè)銀行的知識圖譜平臺建設(shè)開始是需求驅(qū)動，缺乏頂層設(shè)計，產(chǎn)生的問題是開始沒有對需要使用到的關(guān)聯(lián)關(guān)系做統(tǒng)一規(guī)劃，沒有設(shè)計出一個合理的底層的圖數(shù)倉模型，對于知識圖譜在哪些場景中去應(yīng)用也缺乏統(tǒng)一規(guī)劃和相應(yīng)支撐。2） 由于缺乏外部可參考的經(jīng)驗，建設(shè)銀行對于如何做關(guān)系抽取，即哪些數(shù)據(jù)之間應(yīng)該構(gòu)建關(guān)聯(lián)關(guān)系，哪些業(yè)務(wù)可以用到關(guān)聯(lián)關(guān)系，以及某個關(guān)系構(gòu)建之后，超過多少數(shù)據(jù)量需要分表等問題缺乏認(rèn)識。結(jié)合頂層規(guī)劃與外部經(jīng)驗參考應(yīng)對知識圖譜平臺建設(shè)的挑戰(zhàn)在知識圖譜平臺的搭建過程中，建設(shè)銀行選擇海致星圖作為合作伙伴，與海致星圖共同探索和建設(shè)知識圖譜平臺。海致星圖是一家專業(yè)的企業(yè)級知識圖譜產(chǎn)品和服務(wù)提供商，自研了Atlas知識圖譜平臺、Atlas圖數(shù)據(jù)庫等產(chǎn)品，服務(wù)于金融、能源互聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等行業(yè)的企業(yè)。建設(shè)銀行的知識圖譜平臺建設(shè)主要在平臺架構(gòu)設(shè)計、關(guān)系抽取、應(yīng)用場景規(guī)劃三個方面解決了前期存在的種種挑戰(zhàn)。在平臺的架構(gòu)設(shè)計方面，知識圖譜平臺在建設(shè)銀行的數(shù)據(jù)中臺里的定位是為底層的原始數(shù)據(jù)做基礎(chǔ)準(zhǔn)備。在底層源數(shù)據(jù)之上，知識圖譜平臺會對數(shù)據(jù)做數(shù)據(jù)建模，抽取數(shù)據(jù)中的關(guān)系；然后將產(chǎn)生的完整的知識圖譜網(wǎng)絡(luò)存儲在圖數(shù)倉中；在之上是圖分析和圖應(yīng)用平臺，包括了圖管理、圖挖掘、各類圖分析算法，以及多種知識圖譜應(yīng)用。這其中，海致星圖提供的相關(guān)產(chǎn)品支持了建設(shè)銀行知識圖譜平臺多層次的關(guān)系分析、靈活的二次開發(fā)、自動化關(guān)系展現(xiàn)等能力。圖 7： 建設(shè)銀行知識圖譜平臺架構(gòu)圖在關(guān)系抽取方面，海致星圖為建設(shè)銀行提供了深入的指導(dǎo)。具體而言，海致星圖對建設(shè)銀行應(yīng)該構(gòu)建哪些數(shù)據(jù)關(guān)系，如何構(gòu)建這些數(shù)據(jù)關(guān)系，并對這些數(shù)據(jù)關(guān)系構(gòu)建之后會出現(xiàn)哪些效果和問題，以及如何解決可能遇到的問題等提供了大量從實踐中總結(jié)出的經(jīng)驗建議。在應(yīng)用場景規(guī)劃建設(shè)方面，建設(shè)銀行主要規(guī)劃建設(shè)了五類應(yīng)用場景。1）反欺詐：識別資金中介，攔截可疑交易；2）風(fēng)險傳導(dǎo)：對公客戶出現(xiàn)不良或逾期時，預(yù)警提示風(fēng)險可能傳導(dǎo)到的干系方；3）資產(chǎn)保全和處理：處置不良資產(chǎn)時，查看不同債權(quán)方以及資產(chǎn)之間的關(guān)系；4）監(jiān)管：給報送監(jiān)管機(jī)構(gòu)的數(shù)據(jù)做內(nèi)部的勾稽關(guān)系檢查；5）優(yōu)化經(jīng)營費用：識別套現(xiàn)黨、羊毛黨。知識圖譜平臺落地的價值與效果通過構(gòu)建知識圖譜平臺，建設(shè)銀行在風(fēng)控和關(guān)聯(lián)關(guān)系挖掘上實現(xiàn)了以下三點價值和效果：1） 風(fēng)險識別更精準(zhǔn)。知識圖譜可以對資金鏈路下探多層，且可以呈現(xiàn)圖上各個實體之間的關(guān)系，建設(shè)銀行因此能夠比用傳統(tǒng)方法更精準(zhǔn)地識別金融風(fēng)險，甚至識別出很多傳統(tǒng)方法無法識別的風(fēng)險。2） 視圖更直觀。知識圖譜識別出可疑交易、異常關(guān)系后，客戶經(jīng)理、貸中貸后人員可以在一張圖上看清關(guān)系流向，便于快速和清晰地發(fā)現(xiàn)異常。3） 自動化的展現(xiàn)。知識圖譜平臺能夠?qū)鹑陲L(fēng)險做自動化的識別和展現(xiàn)，因此減少了客戶經(jīng)理人工操作的時間，提高了風(fēng)控效率。建設(shè)銀行知識圖譜平臺建設(shè)經(jīng)驗總結(jié)1） 知識圖譜平臺建設(shè)應(yīng)該由需求驅(qū)動，并從頂層進(jìn)行規(guī)劃和建設(shè)。在開始階段要做好充分評估，設(shè)計出一個合理的底層圖數(shù)倉模型，避免在后期因為數(shù)據(jù)模型考慮不完善要做大量調(diào)整而產(chǎn)生很高的成本。2） 在數(shù)據(jù)模型、知識圖譜的構(gòu)建上要充分借鑒外部專家的經(jīng)驗。知識圖譜的構(gòu)建與業(yè)務(wù)高度相關(guān)，對于哪些業(yè)務(wù)數(shù)據(jù)之間應(yīng)該構(gòu)建關(guān)系，如何構(gòu)建，數(shù)據(jù)關(guān)系會產(chǎn)生哪些業(yè)務(wù)價值等問題，甲方通常沒有經(jīng)驗和認(rèn)知，這就需要廣泛地借鑒外部專家的經(jīng)驗。3） 平臺運營過程中要定期地做效果評價和回顧。有些數(shù)據(jù)關(guān)系在構(gòu)建之后可能很長時間內(nèi)都很少用到，因此在知識圖譜構(gòu)建之后需要對其做進(jìn)一步的分析和評估，識別出沒有意義的數(shù)據(jù)關(guān)系，有針對性地節(jié)約運算資源。 |
| 案例2 : 構(gòu)建實時數(shù)據(jù)平臺，滿足城商行聯(lián)盟實時業(yè)務(wù)需求 山東省城市商業(yè)銀行合作聯(lián)盟有限公司（以下簡稱“聯(lián)盟”）是經(jīng)原中國銀監(jiān)會批準(zhǔn)成立，國內(nèi)目前唯一持有金融牌照的中小銀行金融科技服務(wù)公司。自成立以來，聯(lián)盟以提升成員行信息科技支撐水平和風(fēng)險治理水平為重點，為67家成員行提供核心業(yè)務(wù)系統(tǒng)的搭建以及數(shù)據(jù)化的服務(wù)。隨著成員行業(yè)務(wù)量的增長與業(yè)務(wù)場景的豐富，聯(lián)盟實時數(shù)據(jù)處理能力不足的問題愈發(fā)顯著。一方面，聯(lián)盟承載了眾多成員行核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，數(shù)據(jù)加工壓力大，數(shù)據(jù)處理與分發(fā)能力薄弱；另一方面，成員行對實時交易數(shù)據(jù)的查詢，以及實時數(shù)據(jù)應(yīng)用的需求愈發(fā)旺盛。因此，構(gòu)建統(tǒng)一的實時數(shù)據(jù)整合和分析平臺，實現(xiàn)實時數(shù)據(jù)處理與分發(fā)、實時交易計算與查詢能力，成為了聯(lián)盟的重要訴求。在實時數(shù)據(jù)平臺搭建過程中，聯(lián)盟在以下四個層面遇到了挑戰(zhàn)：1） 在項目規(guī)劃階段，如何設(shè)計合理的實時數(shù)據(jù)平臺的架構(gòu)。搭建實時數(shù)據(jù)平臺，需要對聯(lián)盟及成員行現(xiàn)有及未來一段時間內(nèi)的業(yè)務(wù)需求做梳理，同時考慮聯(lián)盟的IT現(xiàn)狀，整合數(shù)據(jù)平臺現(xiàn)有能力。2） 如何構(gòu)建實時數(shù)據(jù)處理能力。由于聯(lián)盟承載了多個城商行的在線查詢?nèi)蝿?wù)，且需為成員行實時營銷、風(fēng)險等實時業(yè)務(wù)的提供數(shù)據(jù)能力支持，因此需要為數(shù)據(jù)平臺構(gòu)建涵蓋數(shù)據(jù)采集、數(shù)據(jù)計算、數(shù)據(jù)分發(fā)全流程的實時數(shù)據(jù)處理能力。同時，需要對實時指標(biāo)和批量指標(biāo)的協(xié)同調(diào)用做規(guī)劃。3） 需要解決數(shù)據(jù)計算邏輯復(fù)雜的問題。聯(lián)盟提供的財務(wù)報表查詢，CEP指標(biāo)計算等服務(wù)，其數(shù)據(jù)計算邏輯復(fù)雜度高，需要相應(yīng)的引擎支持。4） 需要平臺具備易用性和開放性。為了充分滿足業(yè)務(wù)人員的使用需求，需要在數(shù)據(jù)建模、數(shù)據(jù)處理等多環(huán)節(jié)中，提供簡單易用，并更為開放，滿足靈活開發(fā)需求的服務(wù)?；趯ΜF(xiàn)有IT架構(gòu)和業(yè)務(wù)需求的深度梳理，構(gòu)建實時數(shù)據(jù)整合和分析平臺在實時數(shù)據(jù)平臺搭建中，聯(lián)盟選擇與九章云極DataCanvas展開合作。九章云極DataCanvas成立于2013年，專注于自動化數(shù)據(jù)科學(xué)平臺的持續(xù)開發(fā)與建設(shè)，提供自動化機(jī)器學(xué)習(xí)分析和實時計算能力，為政府及企業(yè)智能化升級和轉(zhuǎn)型提供全面配套服務(wù)。在該項目中，聯(lián)盟的IT團(tuán)隊與九章云極DataCanvas共同合作，對聯(lián)盟及成員行的IT架構(gòu)與業(yè)務(wù)流程進(jìn)行了全面梳理，為聯(lián)盟構(gòu)建了統(tǒng)一的實時數(shù)據(jù)平臺。首先，項目組基于對聯(lián)盟IT現(xiàn)狀和業(yè)務(wù)需求的調(diào)研，對實時數(shù)據(jù)平臺的架構(gòu)做了統(tǒng)一規(guī)劃，主要涉及了數(shù)據(jù)接入、數(shù)據(jù)計算、指標(biāo)管理和數(shù)據(jù)應(yīng)用等環(huán)節(jié)。圖 8： 山東省城商行聯(lián)盟實時數(shù)據(jù)平臺架構(gòu)其次，聯(lián)盟的數(shù)據(jù)平臺從數(shù)據(jù)采集、數(shù)據(jù)計算、數(shù)據(jù)分發(fā)三個層面構(gòu)建了實時數(shù)據(jù)的處理能力。在數(shù)據(jù)采集方面，除了使用Kafka消息隊列傳輸數(shù)據(jù)，平臺還對不同類型數(shù)據(jù)采取了不同采集方式，比如，對于大部分核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)采用被動采集的方式，以降低業(yè)務(wù)系統(tǒng)高峰期的計算壓力，對于APP的用戶訪問行為等數(shù)據(jù)，以及核心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫，則采用主動采集的方式；在數(shù)據(jù)計算方面，平臺采用基于流計算框架，并結(jié)合分布式緩存為平臺提供高性能的實時計算能力。此外，平臺對于實時指標(biāo)和批量指標(biāo)做了梳理和管理，實現(xiàn)了流批一體化的數(shù)據(jù)加工能力；在數(shù)據(jù)分發(fā)方面，平臺對成員行客戶的在線數(shù)據(jù)查詢需求以插件任務(wù)的形式做業(yè)務(wù)承載，對于成員行的實時業(yè)務(wù)數(shù)據(jù)需求，則提供了接口輸出或數(shù)據(jù)庫寫入等靈活的數(shù)據(jù)分發(fā)模式。針對復(fù)雜指標(biāo)處理能力不足的問題，平臺提供了指標(biāo)引擎、規(guī)則引擎、決策引擎三大實時計算引擎。通過指標(biāo)引擎可以做指標(biāo)查詢、指標(biāo)分級管理，便于業(yè)務(wù)人員直接操作指標(biāo)、加工邏輯定義等；規(guī)則引擎與指標(biāo)配合，能夠利用規(guī)則邏輯，進(jìn)行規(guī)則加工，以實現(xiàn)風(fēng)控等業(yè)務(wù)場景的落地；決策引擎則加入了機(jī)器學(xué)習(xí)模型，助力聯(lián)盟及成員行實現(xiàn)了智能決策。為了構(gòu)建更加易用和開放的數(shù)據(jù)平臺。平臺一方面預(yù)置了大量的數(shù)據(jù)加工處理的算子，可以通過調(diào)用算子實現(xiàn)界面化配置的流程開發(fā)；另一方面，平臺構(gòu)建了“白盒”算子庫，允許用戶對算子進(jìn)行優(yōu)化和自定義，滿足更加靈活多樣的業(yè)務(wù)需求。實時數(shù)據(jù)平臺滿足聯(lián)盟數(shù)據(jù)及業(yè)務(wù)實時性要求通過構(gòu)建實時數(shù)據(jù)平臺，聯(lián)盟在實時數(shù)據(jù)處理能力和業(yè)務(wù)上實現(xiàn)了以下價值和效果：第一，構(gòu)建了實時數(shù)據(jù)的處理與分發(fā)能力。在接入聯(lián)盟成員行的核心數(shù)據(jù)過程中，實現(xiàn)了交易的隔離和各個成員行數(shù)據(jù)權(quán)限隔離，提升數(shù)據(jù)分發(fā)安全性；數(shù)據(jù)分發(fā)流程化構(gòu)建，實現(xiàn)了可視化的接入、分發(fā)、處理和運營監(jiān)控，滿足了數(shù)據(jù)處理與分發(fā)的實時性要求。第二，完善了聯(lián)盟實時交易計算及查詢服務(wù)。2020年在手機(jī)銀行業(yè)務(wù)基礎(chǔ)上，聯(lián)盟滿足了匯總數(shù)據(jù)查詢、明細(xì)查詢、生產(chǎn)條件的篩選查詢等實時交易的計算和與查詢，實現(xiàn)了如收支分析、查找交易月度賬單、模糊查詢、標(biāo)簽修改、計入與不計入修改等個性化功能服務(wù)。第三，完成了“T+0”實時五大報表的建設(shè)。平臺將成員行五級機(jī)構(gòu)、三級科目、30倍裂變數(shù)據(jù)處理的報表查詢響應(yīng)時長，從5分鐘提升至“T+0”，完成了五大會計報表的實時計算和展現(xiàn)。聯(lián)盟實時數(shù)據(jù)平臺建設(shè)的成功經(jīng)驗1） 項目建設(shè)前期需對甲方的IT現(xiàn)狀、業(yè)務(wù)需求等做梳理，規(guī)劃合理的平臺架構(gòu)，將實時數(shù)據(jù)處理能力整合進(jìn)現(xiàn)有平臺。同時要保證平臺架構(gòu)的成熟和開放，以應(yīng)對未來發(fā)展需要。2） 實時數(shù)據(jù)平臺建設(shè)需要聚焦技術(shù)目標(biāo)，合理規(guī)劃落地路徑。項目方需要合理規(guī)劃未來一兩年內(nèi)的業(yè)務(wù)需求，分階段提出實時數(shù)據(jù)平臺的建設(shè)目標(biāo)，并構(gòu)建相應(yīng)能力。如聯(lián)盟項目初期著重建設(shè)數(shù)據(jù)處理能力、解決實時財務(wù)報表問題。建設(shè)過程后期則重點解決實時數(shù)據(jù)和批量數(shù)據(jù)的整合，數(shù)據(jù)指標(biāo)管理、數(shù)據(jù)分發(fā)等方面的問題。 |
4.2 政府與公共服務(wù)
為了實現(xiàn)由管理型政府向服務(wù)型社會的轉(zhuǎn)變，政府和公共服務(wù)領(lǐng)域正在全面擁抱數(shù)字化轉(zhuǎn)型，運用數(shù)據(jù)技術(shù)對施政理念、流程、方式和工具進(jìn)行全方位和系統(tǒng)性的變革，推動實現(xiàn)政府治理體系和治理能力的現(xiàn)代化，從而提高管理效率，提升服務(wù)水平和能力。
政府與公共服務(wù)領(lǐng)域數(shù)字化的難點在于其會涉及到警務(wù)、交通、城管、應(yīng)急、環(huán)保、市場監(jiān)管等多個部門和單位，一方面數(shù)據(jù)孤立，共享和調(diào)用困難，另一方面，龐大的數(shù)據(jù)存儲和計算需求用傳統(tǒng)方式難以滿足。同時，各部門和單位數(shù)據(jù)應(yīng)用的場景千差萬別，缺少易用的數(shù)據(jù)開發(fā)和數(shù)據(jù)分析工具支持。此外，大量繁雜工作對人員依賴較大，辦事效率低下，缺乏智能化手段。
針對以上挑戰(zhàn)，政府與公共服務(wù)相關(guān)部門在構(gòu)建數(shù)據(jù)智能平臺時需要打通各部門和單位的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)共享，并且在智慧城市、智慧交通等領(lǐng)域，平臺需要考慮采用云原生架構(gòu)，充分利用云計算在存儲和計算資源上的彈性優(yōu)勢。同時，平臺需要提供完善的數(shù)據(jù)分析方法論和數(shù)據(jù)分析工具，構(gòu)建基于主題應(yīng)用的分析能力，并在一些應(yīng)用場景提供AI能力，實現(xiàn)服務(wù)的智能化。
| 案例3 : 實現(xiàn)數(shù)據(jù)拉通和統(tǒng)一匯聚，廣東省應(yīng)急管理廳構(gòu)建數(shù)據(jù)治理能力體系 從2018年開始，隨著應(yīng)急管理部的成立，作為國家組織結(jié)構(gòu)改革的一部分，各個地方也相繼成立應(yīng)急管理部門。廣東省整合了包括安監(jiān)、消防以及地震等部門，于2018年10月正式成立廣東省應(yīng)急管理廳（以下稱“應(yīng)急管理廳”）。應(yīng)急管理廳隨后展開了應(yīng)急管理信息化發(fā)展規(guī)劃，推出了智慧大應(yīng)急項目。項目的整體目標(biāo)是為應(yīng)急管理廳提供系統(tǒng)業(yè)務(wù)的運營服務(wù)，包括數(shù)據(jù)支撐、應(yīng)用支撐以及數(shù)據(jù)服務(wù)等。在這一背景下，應(yīng)急管理廳與百分點展開了合作，由百分點提供數(shù)據(jù)支撐服務(wù)。百分點成立于2009年，擁有全棧的大數(shù)據(jù)和人工智能技術(shù)產(chǎn)品，包括大數(shù)據(jù)操作系統(tǒng)（BD-OS）和標(biāo)簽管理系統(tǒng)等基礎(chǔ)引擎產(chǎn)品，以及智能審校系統(tǒng)等應(yīng)用產(chǎn)品，涉及數(shù)字城市、應(yīng)急管理、公共安全、生態(tài)環(huán)境、媒體出版、零售快消等多個領(lǐng)域。應(yīng)急管理廳成立之初，應(yīng)急管理信息化建設(shè)主要面臨以下三方面的問題和挑戰(zhàn)：1）系統(tǒng)眾多，開發(fā)難。應(yīng)急管理廳由原安監(jiān)，以及消防、地震、森林、防火辦以及減災(zāi)中心等部門轉(zhuǎn)隸而成。這些不同的部門存在各自系統(tǒng)，并且彼此相互孤立，數(shù)據(jù)整合開發(fā)難度大。此外，應(yīng)急管理廳缺乏省政府其他部門數(shù)據(jù)，包括省和地方公安、水利、氣象、林業(yè)、交通和自然資源等部門，需要進(jìn)行數(shù)據(jù)協(xié)同和數(shù)據(jù)拉通。不過，出于對數(shù)據(jù)泄露、安全隱患、隱私保護(hù)等擔(dān)憂，部分部門不敢或者不愿進(jìn)行數(shù)據(jù)共享。2）資源類型多，標(biāo)準(zhǔn)規(guī)范薄弱。應(yīng)急管理廳成立之前，應(yīng)急管理信息化的標(biāo)準(zhǔn)規(guī)范基礎(chǔ)較薄弱，在感知采集、數(shù)據(jù)編目和數(shù)據(jù)共享、應(yīng)用開發(fā)、信息安全等領(lǐng)域，缺少全省統(tǒng)一的技術(shù)標(biāo)準(zhǔn)、建設(shè)指南和管理規(guī)范。應(yīng)急管理信息化建設(shè)涉及地震救災(zāi)、地質(zhì)災(zāi)害、森林火災(zāi)、草原火災(zāi)和火災(zāi)事故等應(yīng)急管理對象，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，導(dǎo)致系統(tǒng)對接、數(shù)據(jù)共享困難。3）數(shù)據(jù)應(yīng)用難度大。由于不同系統(tǒng)數(shù)據(jù)無法共享或者數(shù)據(jù)缺失、數(shù)據(jù)資源中包含大量如文本、遙感影像和音視頻等非結(jié)構(gòu)化數(shù)據(jù)，處理難度大、應(yīng)用不足，無法充分挖掘數(shù)據(jù)的價值。系統(tǒng)打通和數(shù)據(jù)匯聚，構(gòu)建應(yīng)急管理數(shù)據(jù)治理大數(shù)據(jù)平臺基于以上問題和挑戰(zhàn)，百分點幫助應(yīng)急管理廳構(gòu)建了應(yīng)急管理數(shù)據(jù)治理大數(shù)據(jù)平臺，如下圖所示：圖 9： 廣東省應(yīng)急管理廳數(shù)據(jù)治理體系及流程通過該平臺實現(xiàn)了應(yīng)急數(shù)據(jù)接入、處理、存儲、應(yīng)用等全生命周期的治理，建設(shè)政務(wù)管理和監(jiān)督管理數(shù)據(jù)資源池，實現(xiàn)對不同部委和單位相關(guān)應(yīng)急數(shù)據(jù)全方位獲取、全網(wǎng)絡(luò)匯聚和全維度整合。在此基礎(chǔ)上，對外提供數(shù)據(jù)共享交換、數(shù)據(jù)應(yīng)用等服務(wù)，支撐應(yīng)急管理部數(shù)據(jù)上報工作。百分點提供的應(yīng)急管理數(shù)據(jù)治理大數(shù)據(jù)平臺的能力體現(xiàn)在以下三個方面。1）針對系統(tǒng)眾多、開發(fā)難的問題，百分點通過數(shù)據(jù)治理系統(tǒng)和數(shù)據(jù)共享交換系統(tǒng)，將各級相關(guān)部門和單位的數(shù)據(jù)進(jìn)行匯聚融合，形成統(tǒng)一的數(shù)據(jù)資源池。2）百分點以標(biāo)準(zhǔn)先行的原則，解決了應(yīng)急管理標(biāo)準(zhǔn)規(guī)范薄弱的問題。百分點制定并完善相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)采集規(guī)范，設(shè)計了數(shù)據(jù)質(zhì)量的檢核規(guī)則，并沉淀到數(shù)據(jù)治理系統(tǒng)中，形成了貫穿數(shù)據(jù)接入、數(shù)據(jù)處理到數(shù)據(jù)服務(wù)的常態(tài)化治理和監(jiān)測機(jī)制，推動數(shù)據(jù)標(biāo)準(zhǔn)的貫標(biāo)及數(shù)據(jù)采集規(guī)范的落實。3）在數(shù)據(jù)應(yīng)用方面，百分點的大數(shù)據(jù)平臺通過資源目錄和資產(chǎn)視圖等方式，實現(xiàn)數(shù)據(jù)的共享。百分點還針對應(yīng)急管理廳的業(yè)務(wù)應(yīng)用，梳理了相應(yīng)的主題庫和業(yè)務(wù)專題庫，如安全生產(chǎn)、防汛防臺和智慧應(yīng)急等，通過對數(shù)據(jù)進(jìn)行歸類，為業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支撐服務(wù)。咨詢和技術(shù)能力相結(jié)合，助力應(yīng)急管理廳提升數(shù)據(jù)治理能力效果層面，應(yīng)急管理數(shù)據(jù)治理大數(shù)據(jù)平臺的應(yīng)用價值體現(xiàn)在以下三個方面。數(shù)據(jù)匯聚層面，基于數(shù)據(jù)資源池的搭建，實現(xiàn)廣東省各地市政務(wù)服務(wù)和監(jiān)督管理數(shù)據(jù)的匯聚，并監(jiān)控、優(yōu)化數(shù)據(jù)流轉(zhuǎn)與業(yè)務(wù)鏈路。其中，針對政務(wù)服務(wù)類數(shù)據(jù)，完成政務(wù)辦件、電子證照等20多類數(shù)據(jù)采集；針對監(jiān)督管理類數(shù)據(jù)，完成執(zhí)法檢查、隱患排查、雙隨機(jī)等20多類數(shù)據(jù)采集。數(shù)據(jù)資源標(biāo)準(zhǔn)層面，結(jié)合應(yīng)急管理數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)歸集規(guī)范，基于相關(guān)應(yīng)急業(yè)務(wù)域，完成數(shù)據(jù)倉庫建設(shè)，建立數(shù)據(jù)資源目錄，形成數(shù)據(jù)共享能力。數(shù)據(jù)服務(wù)層面，基于應(yīng)急數(shù)據(jù)倉庫，向應(yīng)急管理部共享上報“互聯(lián)網(wǎng)+政務(wù)”和“互聯(lián)網(wǎng)+監(jiān)管”數(shù)據(jù)，推動應(yīng)急體系下各方資源整合，加速完成應(yīng)急管理數(shù)據(jù)匯聚和數(shù)據(jù)共享工作?？傮w來看，百分點能夠解決應(yīng)急管理廳的問題，是由于其不僅能夠具備技術(shù)和產(chǎn)品能力，還能夠針對具體業(yè)務(wù)提供落地和實操性強(qiáng)的咨詢服務(wù)。技術(shù)方面，百分點的大數(shù)據(jù)平臺能夠?qū)崿F(xiàn)實時數(shù)據(jù)接入，如對于監(jiān)測預(yù)警相關(guān)的數(shù)據(jù)，能夠?qū)崿F(xiàn)秒級的數(shù)據(jù)處理和數(shù)據(jù)上報，并保持平臺的穩(wěn)定性。此外，百分點的大數(shù)據(jù)平臺具備自然語言處理以及知識圖譜構(gòu)建的能力，實現(xiàn)了對于文本和音視頻等非結(jié)構(gòu)化數(shù)據(jù)的處理和分析。咨詢方面，百分點長期服務(wù)政府客戶的過程中，積累了大量業(yè)務(wù)知識，形成了一套完善的數(shù)據(jù)治理方法論。以完整的數(shù)據(jù)治理方法論作為支撐，百分點在數(shù)據(jù)匯聚、數(shù)據(jù)處理以及數(shù)據(jù)服務(wù)等環(huán)節(jié)中，能夠基于一套完整的工序有條不紊地推進(jìn)數(shù)據(jù)治理工作。此外，百分點前瞻性的數(shù)據(jù)治理方法論設(shè)計使得應(yīng)急管理廳通過此次項目能夠達(dá)到持續(xù)的數(shù)據(jù)治理效果。以數(shù)據(jù)標(biāo)準(zhǔn)為例，百分點形成的標(biāo)準(zhǔn)體系不是基于現(xiàn)狀打造，而是緊跟根據(jù)國家政策和國家標(biāo)準(zhǔn)體系，一般能夠適用未來三至五年；與此同時，其標(biāo)準(zhǔn)體系還包含一系列的擴(kuò)展性業(yè)務(wù)規(guī)則，保證了充分的靈活性。 |
| 案例4 : 某市搭建數(shù)據(jù)中臺數(shù)據(jù)大腦，提升數(shù)據(jù)治理和大數(shù)據(jù)分析應(yīng)用能力 某市推出了城市超級大腦項目。該項目的主要目標(biāo)是建設(shè)市數(shù)據(jù)大腦，基于數(shù)據(jù)大腦提升數(shù)據(jù)治理能力和大數(shù)據(jù)分析能力，搭建起數(shù)據(jù)應(yīng)用體系。具體來看，該市的數(shù)據(jù)大腦平臺遵循“五個一”（一個定位、一個平臺、一個終端、一批項目、一大產(chǎn)業(yè)）總要求，按照“12345”的總體思路推進(jìn)工作。即：建設(shè)一個大腦，提升兩種能力，聚焦三大領(lǐng)域，突出四個重點，實現(xiàn)五大愿景。具體如下圖所示：圖 10： 某市數(shù)據(jù)大腦平臺建設(shè)思路在這一背景下，該市與明略科技和騰訊云合作，打造了基于自身的數(shù)據(jù)大腦數(shù)據(jù)中臺。明略科技是一家企業(yè)級認(rèn)知智能服務(wù)平臺提供商，致力于通過大數(shù)據(jù)分析挖掘和認(rèn)知智能技術(shù)，推動知識和管理復(fù)雜度高的大型企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型。明略科技的數(shù)據(jù)中臺以云原生和數(shù)據(jù)資產(chǎn)圖譜平臺兩大支撐能力為支撐，以多維數(shù)據(jù)的感知和匯聚能力、基于知識圖譜的數(shù)據(jù)融通打通能力、基于智能數(shù)據(jù)引擎的數(shù)據(jù)自服務(wù)能力，賦能客戶的中臺建設(shè)，實現(xiàn)客戶數(shù)據(jù)的資產(chǎn)化、智能化和服務(wù)化。軟件產(chǎn)品和咨詢結(jié)合，助力該市搭建數(shù)據(jù)中臺數(shù)據(jù)大腦明略科技為該市提供了一整套解決方案，包括軟件產(chǎn)品和咨詢服務(wù)，后者包括數(shù)據(jù)治理咨詢和數(shù)據(jù)分析咨詢服務(wù)。首先，軟件產(chǎn)品方面，明略科技提供的數(shù)據(jù)中臺產(chǎn)品主要包括數(shù)據(jù)匯聚平臺、數(shù)據(jù)標(biāo)準(zhǔn)化平臺、元數(shù)據(jù)管理平臺、開發(fā)調(diào)度平臺、用戶管理平臺及數(shù)據(jù)質(zhì)量管理平臺。以這些軟件產(chǎn)品為支撐，該市搭建的數(shù)據(jù)中臺能夠?qū)崿F(xiàn)數(shù)據(jù)全生命周期管理。同時，在數(shù)據(jù)應(yīng)用和分析方面，明略科技提供了知識圖譜產(chǎn)品，實現(xiàn)大數(shù)據(jù)分析能力和模型智能構(gòu)建能力的在線開放共享。其次，在咨詢服務(wù)方面，明略科技提供了數(shù)據(jù)治理和數(shù)據(jù)分析咨詢服務(wù)。數(shù)據(jù)治理咨詢包括五大方面：第一，幫助該市數(shù)據(jù)資源管理局建立數(shù)據(jù)治理的組織保障、工作機(jī)制流程，形成數(shù)據(jù)戰(zhàn)略制定、數(shù)據(jù)架構(gòu)規(guī)劃的能力；第二，幫助該市數(shù)據(jù)資源管理局制定數(shù)據(jù)管理和治理、數(shù)據(jù)開發(fā)運維、數(shù)據(jù)運營等方面的管理標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)及數(shù)據(jù)標(biāo)準(zhǔn)，解決流程化管理、信息化管理的問題；第三，構(gòu)建市級數(shù)倉中心，特別是標(biāo)準(zhǔn)庫、基礎(chǔ)庫的核心建設(shè)工作，建設(shè)符合該市的數(shù)據(jù)管理需求的統(tǒng)一管理的數(shù)倉中心；第四，構(gòu)建數(shù)據(jù)運營中心，能夠以業(yè)務(wù)元數(shù)據(jù)管控的方式，從業(yè)務(wù)視角和管理視角，規(guī)范性開展數(shù)據(jù)運營，促進(jìn)數(shù)據(jù)價值的發(fā)揮；第五，保障數(shù)據(jù)中臺的平穩(wěn)有效運行，該市各委辦局，上下級單位間的數(shù)據(jù)資源能夠有效對接，并在運行過程建立發(fā)現(xiàn)問題的機(jī)制，并持續(xù)改進(jìn)。明略科技提供的數(shù)據(jù)分析咨詢服務(wù)包括兩方面。第一，制定該市政務(wù)數(shù)據(jù)分析方法論和政務(wù)數(shù)據(jù)分析流程，指導(dǎo)各部門進(jìn)行政務(wù)數(shù)據(jù)分析；第二，基于主題應(yīng)用和專題分析，構(gòu)建分析模型和輸出分析報告，給市領(lǐng)導(dǎo)及主管部門提供決策支持?；诿髀钥萍己万v訊云為該市搭建的數(shù)據(jù)中臺，該市的數(shù)字城市項目取得了階段性成效，體現(xiàn)在資源目錄、數(shù)據(jù)共享和數(shù)據(jù)分析方面。資源目錄方面，2020年，上線的統(tǒng)一數(shù)據(jù)中臺服務(wù)了55家委辦局，共有1800類數(shù)據(jù)資源上線；在數(shù)據(jù)歸集方面，歸集數(shù)據(jù)資源總量150億條，生成數(shù)據(jù)接口800個。數(shù)據(jù)共享方面，接口累計調(diào)用130億次；庫表交換累計40億條，為35家委辦局提供服務(wù)，例如不動產(chǎn)轉(zhuǎn)移登記與水電氣聯(lián)動過戶、市住建局的住建行業(yè)從業(yè)人員社保繳費情況核查、政務(wù)一體化建設(shè)、城市APP建設(shè)等，有效推進(jìn)“一件事一次辦”，實現(xiàn)更多政務(wù)服務(wù)和便民服務(wù)讓市民享受一次辦結(jié)的便利，進(jìn)一步優(yōu)化營商環(huán)境，推動政府職能轉(zhuǎn)變。數(shù)據(jù)分析方面，共實現(xiàn)了11份分析應(yīng)用主題，包括境外疫情輸入分析，海外每日疫情發(fā)展情況，手機(jī)信令復(fù)工復(fù)產(chǎn)數(shù)據(jù)分析，新型智慧城市助力軟件業(yè)再出發(fā)課題，養(yǎng)老金核查分析，失業(yè)金核查分析，工傷救助核查分析，醫(yī)保核查分析，城市道路交通影響分析，養(yǎng)老金發(fā)放情況分析與預(yù)測，社會保險參保人數(shù)和基金繳納情況分析。 |
| 案例5 : 搭建統(tǒng)一大數(shù)據(jù)智慧平臺，滬杭甬高速提升智慧化運營水平 近年來，中國高速公路路網(wǎng)趨于飽和，基礎(chǔ)建設(shè)需求正逐年降低，而管理需求卻逐年增強(qiáng)。如何利用智能技術(shù)、數(shù)字技術(shù)建設(shè)智慧高速，盤活資產(chǎn)、提高管理效能和服務(wù)質(zhì)量，降低運維成本及安全風(fēng)險，成為高速公路運營機(jī)構(gòu)和交通參與者的迫切需求。浙江滬杭甬高速公路股份有限公司投資經(jīng)營及管理省內(nèi)外18條高速公路，總里程1566公里。其中，滬杭甬高速公路于1998年底全線建成通車，是浙江開建的第一條高速公路，途經(jīng)嘉興、杭州、紹興、寧波四個地市，全長248公里。滬杭甬高速也展開了自身的智慧交通建設(shè)，其面臨以下突出難點：高速公路的數(shù)據(jù)很難與其他行業(yè)形成交互，信息孤島問題嚴(yán)重；高速公路應(yīng)急指揮調(diào)度系統(tǒng)缺乏信息化的管理手段，應(yīng)急處置能力有待提升；高速公路的智能化水平，尚不能滿足運營服務(wù)和道路駕乘人員的使用需要，公眾出行服務(wù)水平不高。在這一背景下，滬杭甬高速與同盾科技展開合作，希望通過搭建統(tǒng)一的大數(shù)據(jù)智慧平臺，提升道路交通的智慧化運營和管理水平。同盾科技以人工智能、云計算、大數(shù)據(jù)三大核心技術(shù)體系為基礎(chǔ)，基于對數(shù)據(jù)的探索洞察和深刻理解，能夠?qū)⑸疃葘W(xué)習(xí)、聯(lián)邦學(xué)習(xí)等領(lǐng)先技術(shù)與智慧高速建設(shè)的業(yè)務(wù)場景相結(jié)合，為金融、保險、互聯(lián)網(wǎng)、政務(wù)、零售、物流等行業(yè)提供智能分析與決策服務(wù)。以星河-大數(shù)據(jù)平臺為支撐，同盾科技為滬杭甬高速運營商搭建了智慧高速云控平臺。2019年，“滬杭甬高速智慧化提升改造項目”正式啟動，歷經(jīng)一年的研究和實施，滬杭甬高速公路智慧化提升改造一期工程現(xiàn)已完成建設(shè)，到2020年底項目一期基本建成通車?；谠圃軜?gòu)，通過智能決策中臺，構(gòu)建智慧高速場景 從架構(gòu)上看，智慧高速云控平臺是一個包含底層、中層到上層的全面服務(wù)平臺。圖 11： 滬杭甬高速智慧高速云控平臺架構(gòu)如上圖所示，智慧高速云控平臺底部是云原生平臺，“云”作為數(shù)據(jù)、應(yīng)用的硬件支撐。同盾科技云原生團(tuán)隊為高速公路智慧化建設(shè)提供公有云服務(wù)、私有云計算平臺。為收費站提供邊緣計算服務(wù)器+虛擬化/超融合解決方案，滿足自由流收費需求?；谠圃募軜?gòu)，可實現(xiàn)資源可一鍵擴(kuò)縮容，故障可自愈（云化后業(yè)務(wù)未中斷），滿足對計算和存儲資源的動態(tài)需求。智慧高速云控平臺中間層是智能決策中臺。同盾科技通過部署大數(shù)據(jù)底層，包括可視化數(shù)據(jù)開發(fā)平臺、離線計算、流計算、機(jī)器學(xué)習(xí)，搜索引擎、對象存儲、云關(guān)系型數(shù)據(jù)，滿足滬杭甬大數(shù)據(jù)處理、分析、挖掘、管理和應(yīng)用等需求。在這一基礎(chǔ)上，把數(shù)據(jù)背后的路特征、車特征、人特征歸納總結(jié)出來，為路的運營、車的運輸、人的通行提升效能。智慧高速云控平臺最上層是應(yīng)用場景層。智慧高速云控平臺集成運行監(jiān)測、應(yīng)急指揮、養(yǎng)護(hù)管理、收費管理、重點車輛跟蹤、營運分析等各項功能，提供智慧高速、智慧隧道、智慧橋梁、智慧樞紐、智慧服務(wù)區(qū)等場景應(yīng)用，構(gòu)建數(shù)字駕駛艙?？傮w來看，智慧高速云控平臺能夠?qū)Σ煌瑏碓吹臄?shù)據(jù)進(jìn)行統(tǒng)一接入，并基于統(tǒng)一平臺進(jìn)行整合和分析。其中，一個重要的數(shù)據(jù)源是“慧眼”系統(tǒng)，也即在高速路段布設(shè)的各類感知設(shè)備，包括攝像頭、雷達(dá)等。據(jù)浙江滬杭甬高速公路股份有限公司信息中心副主任陳建新介紹，在杭甬高速柯橋至紹興路段上，每隔250米布設(shè)了一套毫米波雷達(dá)和視頻數(shù)據(jù)設(shè)備，而在滬杭甬其他路段，每隔1公里架設(shè)了一臺攝像機(jī)?！斑@些‘慧眼’非常靈敏，不分晝夜地感知車流、車速以及一切異常，并源源不斷地發(fā)送信息給后臺大腦?！敝腔鄹咚僭瓶仄脚_能夠?qū)④?、硬件的融合連接，通過整合不同來源數(shù)據(jù)，實現(xiàn)對運營商、高速交警、互聯(lián)網(wǎng)企業(yè)、交通管理部門、電子監(jiān)控系統(tǒng)等信息的整合與分析，從而實現(xiàn)對交通的精準(zhǔn)分析、整體研判和協(xié)同指揮。收獲數(shù)據(jù)洞察的過程大致經(jīng)歷以下過程：圖 12： 滬杭甬高速智慧高速云控平臺數(shù)據(jù)洞察過程智慧高速云控平臺，實現(xiàn)數(shù)據(jù)驅(qū)動運營基于智慧高速云控平臺，滬杭甬高速實現(xiàn)了實時監(jiān)測、客戶服務(wù)、收費管理等方面的應(yīng)用場景支撐。實現(xiàn)監(jiān)測方面，智慧高速云控平臺能夠利用大數(shù)據(jù)實時分析技術(shù)和高效人工智能算法，自動發(fā)現(xiàn)交通異常事件（如擁堵、事故、違法駕駛行為等），融合移動互聯(lián)網(wǎng)上報事件實現(xiàn)全天候事件自動監(jiān)測及應(yīng)急疏導(dǎo)和一體化施救?？蛻舴?wù)方面，平臺打通公眾和高速公路管理者之間的雙向信息交互，實現(xiàn)了多渠道（情報板、高德/百度地圖、短信、APP等）精準(zhǔn)化交通信息便捷發(fā)布，優(yōu)化路網(wǎng)的交通組織和誘導(dǎo)，提升了公眾出行體驗。道路管控方面，平臺能夠基于高速公路各類感知設(shè)備的實時交通信息分析全路網(wǎng)交通態(tài)勢，實現(xiàn)未來交通趨勢的準(zhǔn)確預(yù)測。實時精確核算海量車輛通行記錄和應(yīng)收費率，使每輛車的每筆費用都應(yīng)征不漏。具體來看，智慧高速云控平臺上線后，滬杭甬高速達(dá)到的項目收益體現(xiàn)在以下方面：首先，實現(xiàn)全網(wǎng)交通態(tài)勢預(yù)測準(zhǔn)確率90%以上。根據(jù)數(shù)據(jù)實時分析，行程時間相比智能導(dǎo)航提升5%-10%；試驗路段事故30秒內(nèi)發(fā)現(xiàn)，并通過智慧高速APP、智能車載終端、情報板等方式告知客戶。其次，項目實現(xiàn)了人、車、路網(wǎng)及周邊環(huán)境智能協(xié)同運轉(zhuǎn)，運行路段的通行能力提升20％、道路擁堵時間降低10％、道路行車事故下降10％，道路運營環(huán)境更趨安全，交通秩序明顯改善。道路設(shè)施醒目化也減少了夜間行車事故，提升了車速，夜間事故數(shù)量相比之前平均下降12.9%，夜間平均車速相比之前提升9.51%。最后，客戶可在滬杭甬全線享受公里級氣象推送服務(wù)，內(nèi)容包括惡劣天氣、安全駕駛和服務(wù)區(qū)躲避建議等提醒信息。 |
4.3 消費品與零售
在互聯(lián)網(wǎng)大潮以及疫情常態(tài)化的沖擊下，消費品與零售行業(yè)的企業(yè)面臨前所未有的機(jī)遇和挑戰(zhàn)。一方面，線下門店銷售遇冷，線上渠道發(fā)揮了巨大價值，線上已經(jīng)成為了費品與零售企業(yè)的重要的渠道。另一方面，市場環(huán)境和消費者的需求也在不斷發(fā)生變化。因此，打通線上與線下數(shù)據(jù)，精確地洞察市場和消費者，快速推出符合市場需求的個性化產(chǎn)品并觸達(dá)消費者，同時用數(shù)據(jù)驅(qū)動更高效地供應(yīng)鏈、銷售、客戶的管理，為企業(yè)經(jīng)營降本增效，成為了消費品與零售企業(yè)搭建數(shù)據(jù)平臺的核心訴求。
很多連鎖化經(jīng)營的消費品和零售企業(yè)在過去的信息化建設(shè)過程中，沉淀了多套業(yè)務(wù)和數(shù)據(jù)系統(tǒng)，如CRM、ERP、SCM，以及分散在多個業(yè)務(wù)部門或業(yè)務(wù)線的數(shù)據(jù)庫、數(shù)據(jù)倉庫等。這給企業(yè)帶來的問題是企業(yè)內(nèi)部的數(shù)據(jù)體系重復(fù)建設(shè)，數(shù)據(jù)資產(chǎn)割裂，各種線上線下數(shù)據(jù)無法聯(lián)動，不能為企業(yè)數(shù)字化運營服務(wù)。
因此，消費品與零售行業(yè)的企業(yè)建設(shè)數(shù)據(jù)智能平臺最重要的工作是匯聚和治理分散在各個業(yè)務(wù)和數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，建立數(shù)據(jù)規(guī)范，按照業(yè)務(wù)需求規(guī)劃統(tǒng)一的數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)服務(wù)和標(biāo)簽體系的數(shù)據(jù)能力，形成對企業(yè)各個業(yè)務(wù)線的經(jīng)營管理狀態(tài)的準(zhǔn)確洞察。
| 案例6 : 數(shù)據(jù)中臺賦能百麗國際集團(tuán)，應(yīng)對數(shù)字化轉(zhuǎn)型挑戰(zhàn) 百麗國際（以下簡稱百麗）成立于1992年，是一家大型時尚及運動產(chǎn)業(yè)集團(tuán)，業(yè)務(wù)涵蓋鞋類、運動和服飾三大業(yè)務(wù)，旗下?lián)碛蠦ELLE、STACCATO、TATA等十多個鞋履品牌，以及initial、MOUSSY、SLY等服飾品牌，也是十余個全球領(lǐng)先運動品牌的在華關(guān)鍵零售伙伴。在29年的發(fā)展史中，百麗一直重視用數(shù)據(jù)賦能業(yè)務(wù)，從早期對財務(wù)系統(tǒng)、數(shù)據(jù)報表、數(shù)據(jù)查詢的應(yīng)用，到2012年左右開始組建IT團(tuán)隊，自建數(shù)倉、BI以及各類業(yè)務(wù)系統(tǒng)，以滿足百麗鞋類業(yè)務(wù)20多個品牌，8個大區(qū)各異的業(yè)務(wù)需求。經(jīng)過多年的IT建設(shè)，百麗已經(jīng)打通了各品牌線上和線下的數(shù)據(jù)。為了給各業(yè)務(wù)線提供統(tǒng)一和更精細(xì)化的數(shù)據(jù)服務(wù)，建立一體化的數(shù)據(jù)權(quán)限體系，以及為未來智能化應(yīng)用打好基礎(chǔ)，百麗需要搭建面向整個集團(tuán)的數(shù)據(jù)中臺體系。在開始搭建數(shù)據(jù)中臺之前，百麗已經(jīng)通過內(nèi)部的統(tǒng)一數(shù)倉項目將多套數(shù)倉、大數(shù)據(jù)平臺做了合并，通過數(shù)據(jù)字典項目將基于BI的分散在70多個子系統(tǒng)的1300多個KPI、700個維度做了梳理和統(tǒng)一。然而，百麗數(shù)據(jù)中臺的搭建仍然面臨以下挑戰(zhàn)：1） 在之前多個數(shù)倉并行的階段，百麗有兩套數(shù)據(jù)采集系統(tǒng)，一套提供實時數(shù)據(jù)采集功能，一套提供批量數(shù)據(jù)采集功能，因此數(shù)據(jù)采集工具或組件相對獨立和割裂，在管理上沒有統(tǒng)一。2） 數(shù)據(jù)中臺有直接面向用戶的功能型和流程型模塊，也有面向數(shù)據(jù)開發(fā)部門的數(shù)據(jù)型模塊，而傳統(tǒng)的Excel表格很難滿足不同部門在數(shù)據(jù)管理和協(xié)調(diào)上的需求，因此需要對數(shù)據(jù)字典進(jìn)行平臺化的管理，同時平臺需要具備對指標(biāo)進(jìn)行新增或動態(tài)調(diào)整的功能，并能讓前端用戶了解指標(biāo)的定義和計算方法。3） 在開發(fā)數(shù)據(jù)應(yīng)用的過程中，缺乏統(tǒng)一和標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)，因此開發(fā)效率不高，且無法查看服務(wù)管理的全局信息，無法做統(tǒng)一的權(quán)限管理。4） 數(shù)據(jù)資產(chǎn)管理體系龐大，用傳統(tǒng)的方式管理數(shù)據(jù)質(zhì)量對人員依賴非常高，且投入巨大。標(biāo)準(zhǔn)產(chǎn)品與定制項目相結(jié)合，構(gòu)建龐大且復(fù)雜的中臺體系在數(shù)據(jù)中臺搭建中，百麗選擇了滴普科技作為合作伙伴。滴普科技是一家全場景數(shù)據(jù)智能服務(wù)商，有著深厚的技術(shù)和平臺建設(shè)經(jīng)驗積累，其在商業(yè)與金融科技、智慧政務(wù)、智能精益制造等核心場景中，為100余家知名大中型企業(yè)提供了標(biāo)桿性的數(shù)字化轉(zhuǎn)型服務(wù)。對于百麗這樣體量龐大且業(yè)務(wù)較傳統(tǒng)的企業(yè)，數(shù)據(jù)中臺的搭建需要企業(yè)內(nèi)部團(tuán)隊與外部技術(shù)服務(wù)商發(fā)揮各自優(yōu)勢合作共建。在該項目中，百麗的IT團(tuán)隊基于對公司業(yè)務(wù)的了解，對業(yè)務(wù)邏輯、業(yè)務(wù)管理和業(yè)務(wù)流程做了系統(tǒng)和全面的梳理。滴普科技則通過標(biāo)準(zhǔn)化的產(chǎn)品和定制服務(wù)提供技術(shù)解決方案。在標(biāo)準(zhǔn)化產(chǎn)品方面，滴普科技通過數(shù)據(jù)集成工具DCT，為百麗提供多種數(shù)據(jù)源的匯聚整合，且能做到低成本和高可用；通過數(shù)據(jù)資產(chǎn)智能開發(fā)套件DaaS，為百麗提供高效的數(shù)據(jù)匯聚、加工、服務(wù)、資產(chǎn)管理功能。針對百麗的一些個性化需求，如傳統(tǒng)企業(yè)前端系統(tǒng)和業(yè)務(wù)流程具有特定的業(yè)務(wù)規(guī)范，需要對半年甚至一年以上的歷史數(shù)據(jù)進(jìn)行處理，但標(biāo)準(zhǔn)廠商的技術(shù)組件難以在已經(jīng)成型的IT和數(shù)據(jù)架構(gòu)體系中調(diào)用；因而需要打造“一人一賬戶”的權(quán)限中臺，構(gòu)建更偏業(yè)務(wù)的數(shù)據(jù)字典，并在平臺部署后運行測試，保障公司復(fù)雜的業(yè)務(wù)系統(tǒng)可用。滴普科技的實施和交付團(tuán)隊都為百麗提供了相應(yīng)的定制化解決方案。圖 13： 百麗的數(shù)據(jù)中臺架構(gòu)圖數(shù)據(jù)中臺賦能百麗數(shù)據(jù)服務(wù)體系通過構(gòu)建數(shù)據(jù)中臺，百麗期望通過構(gòu)建面向未來的技術(shù)和應(yīng)用架構(gòu)以及數(shù)據(jù)管理體系，實現(xiàn)數(shù)據(jù)匯聚集成、業(yè)務(wù)數(shù)據(jù)字典管理、數(shù)據(jù)資產(chǎn)管治及數(shù)據(jù)服務(wù)能力。首先是實現(xiàn)多數(shù)據(jù)源的匯聚整合，并實現(xiàn)對數(shù)據(jù)字典的平臺化管理，給業(yè)務(wù)人員使用數(shù)據(jù)，了解數(shù)據(jù)指標(biāo)的意義，為業(yè)務(wù)部門間的溝通協(xié)作提供了很大的便利。在數(shù)據(jù)質(zhì)量管理方面，數(shù)據(jù)中臺簡化了數(shù)據(jù)開發(fā)要求，并在數(shù)據(jù)稽查、質(zhì)量度量， 以及覆蓋數(shù)據(jù)產(chǎn)品的全鏈路監(jiān)控，實現(xiàn)高質(zhì)量數(shù)據(jù)保障。同時，建立統(tǒng)一化的數(shù)據(jù)服務(wù)平臺，為數(shù)據(jù)用戶提供統(tǒng)一口徑和標(biāo)準(zhǔn)的數(shù)據(jù)查詢和獲取能力，高效地支持好業(yè)務(wù)前臺決策、業(yè)務(wù)創(chuàng)新等場景需求。百麗數(shù)據(jù)中臺的成功經(jīng)驗1） 在搭建數(shù)據(jù)中臺之前制定清晰的目標(biāo)。百麗在啟動數(shù)據(jù)中臺項目之前對平臺的功能以及技術(shù)細(xì)節(jié)做了非常明確的規(guī)劃，因此后續(xù)可以基于這些目標(biāo)做清晰的階段劃分、人員組織安排。2） 結(jié)合內(nèi)外部團(tuán)隊優(yōu)勢，共創(chuàng)共建。在該項目中百麗對公司內(nèi)部業(yè)務(wù)和數(shù)字化現(xiàn)狀很了解，滴普科技則具備技術(shù)上的優(yōu)勢，雙方團(tuán)隊經(jīng)過不斷的溝通和合作，發(fā)揮各自優(yōu)勢，才能推動數(shù)據(jù)中臺落地。3） 公司自上而下對數(shù)字化有很高認(rèn)知并全員參與建設(shè)。百麗的管理層和業(yè)務(wù)部門的人員對數(shù)字化的認(rèn)知程度很高，公司內(nèi)部非常重視數(shù)據(jù)中臺項目，所有關(guān)鍵人員都會自發(fā)參與，資源也會往該項目傾斜，全員的參與和投入，使得項目推動很順利。4） 業(yè)務(wù)邏輯要依靠公司內(nèi)部而不是咨詢公司梳理。數(shù)據(jù)的有效應(yīng)用需要以公司業(yè)務(wù)和管理標(biāo)準(zhǔn)為前提，很多公司通過外部咨詢機(jī)構(gòu)做業(yè)務(wù)和管理標(biāo)準(zhǔn)的統(tǒng)一，往往不能得到公司管理層的認(rèn)可。百麗則是由公司內(nèi)部IT和業(yè)務(wù)部門梳理和統(tǒng)一了業(yè)務(wù)管理標(biāo)準(zhǔn)，從而有效支撐了數(shù)據(jù)應(yīng)用。 |
4.4 工業(yè)與能源
工業(yè)與能源這類傳統(tǒng)行業(yè)的企業(yè)在經(jīng)營管理中一直存在一些固有頑疾，如業(yè)務(wù)流程復(fù)雜、生產(chǎn)工藝依賴人工經(jīng)驗、管理水平落后、決策效率低下等問題。通過搭建數(shù)據(jù)平臺，實現(xiàn)數(shù)字化轉(zhuǎn)型，工業(yè)與能源行業(yè)的企業(yè)可以在生產(chǎn)制造、供應(yīng)鏈管理、組織管理、經(jīng)營決策，甚至交易、金融等環(huán)節(jié)實現(xiàn)數(shù)據(jù)驅(qū)動，從而降低生產(chǎn)成本、提高決策效率、控制經(jīng)營風(fēng)險等。
通常，工業(yè)與能源行業(yè)的企業(yè)數(shù)據(jù)呈現(xiàn)出多樣、實時和海量的特點。然而這類企業(yè)過去的信息化建設(shè)通常分步進(jìn)行，因此其業(yè)務(wù)系統(tǒng)數(shù)據(jù)分散，且傳統(tǒng)數(shù)倉無法支持業(yè)務(wù)實時性的需求；同時，由于產(chǎn)品類型繁多，產(chǎn)品數(shù)據(jù)ID不統(tǒng)一，數(shù)據(jù)質(zhì)量差，企業(yè)無法了解渠道、市場等方面更具體的情況，也難以對業(yè)務(wù)問題進(jìn)行深入分析和跟蹤改善。
因此，工業(yè)與能源行業(yè)的企業(yè)在構(gòu)建數(shù)據(jù)智能平臺時，需要首先用一套統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)治理，拉通底層數(shù)據(jù)。其次，需要針對生產(chǎn)、設(shè)備、庫存、銷售等全流程的數(shù)據(jù)，提供可視化看板，讓管理人員能實時、準(zhǔn)確地了解現(xiàn)場情況，快速準(zhǔn)確地做出決策。
| 案例7 : 發(fā)力數(shù)據(jù)中臺，明日控股構(gòu)建精準(zhǔn)、實時、敏捷的數(shù)據(jù)能力 浙江明日控股集團(tuán)（簡稱“明日控股”）是國內(nèi)領(lǐng)先的塑化原料供應(yīng)鏈管理服務(wù)商，業(yè)務(wù)范圍涵蓋塑料原料、液體化工、精細(xì)化工產(chǎn)品的貿(mào)易，以及相應(yīng)的供應(yīng)鏈金融、物流、信息、技術(shù)等產(chǎn)業(yè)鏈增值服務(wù)。多年來，明日控股一直重視信息化、數(shù)字化能力的建設(shè)，且已經(jīng)搭建了多個業(yè)務(wù)系統(tǒng)，以及數(shù)倉、BI等數(shù)據(jù)基礎(chǔ)設(shè)施，形成了一定規(guī)模的數(shù)據(jù)沉淀。但隨著業(yè)務(wù)的快速發(fā)展，公司內(nèi)部的系統(tǒng)越來越多，流程越來越復(fù)雜，原有數(shù)據(jù)系統(tǒng)已經(jīng)難以適應(yīng)其業(yè)務(wù)需求。對于現(xiàn)階段的明日控股而言，其核心業(yè)務(wù)需求在于通過數(shù)據(jù)全面掌握公司現(xiàn)貨端各個商品的實時狀態(tài)，期貨端的類型、頭寸等數(shù)據(jù)，從而為公司在現(xiàn)貨和期貨市場進(jìn)行各種操作提供決策支持。這就對底層數(shù)據(jù)平臺的數(shù)據(jù)的準(zhǔn)確性、實時性以及敏捷響應(yīng)能力提出了更高要求，具體如下：1） 數(shù)據(jù)的準(zhǔn)確性。明日控股之前的數(shù)據(jù)分散在各個業(yè)務(wù)系統(tǒng)中，業(yè)務(wù)場景多，業(yè)務(wù)鏈條長，導(dǎo)致公司總體業(yè)務(wù)邏輯和數(shù)據(jù)類型非常復(fù)雜。與此同時，數(shù)據(jù)口徑不統(tǒng)一，缺少完整的數(shù)據(jù)規(guī)劃體系和數(shù)據(jù)管理規(guī)范，導(dǎo)致數(shù)據(jù)準(zhǔn)確性難以評估。2） 數(shù)據(jù)的實時性。明日控股原有數(shù)據(jù)系統(tǒng)只能做到事后數(shù)據(jù)及報表查看，無法實現(xiàn)現(xiàn)貨端商品動態(tài)情況及期貨端期貨類型、頭寸等數(shù)據(jù)的實時查詢。這一方面是由于其數(shù)據(jù)平臺缺乏實時的數(shù)據(jù)處理能力，另一方面是由于原有平臺在復(fù)雜的計算場景中性能表現(xiàn)不足。3） 敏捷響應(yīng)能力。明日控股業(yè)務(wù)部門和覆蓋的終端用戶很多，而原有報表系統(tǒng)的SQL語句都是封裝固定的，缺乏可復(fù)用性，當(dāng)業(yè)務(wù)用戶提出新的報表或數(shù)據(jù)應(yīng)用需求時，數(shù)據(jù)部門需要重新進(jìn)行開發(fā)，響應(yīng)速度很慢，且耗費大量人力成本。基于數(shù)據(jù)全鏈路，明日控股構(gòu)建數(shù)據(jù)中臺基于對奇點云產(chǎn)品和項目交付能力、落地經(jīng)驗的認(rèn)可，明日控股選擇與奇點云進(jìn)行合作，共同構(gòu)建數(shù)據(jù)中臺，以解決上述數(shù)據(jù)應(yīng)用中的問題。奇點云是業(yè)內(nèi)領(lǐng)先的獨立第三方數(shù)據(jù)中臺服務(wù)商，其自主研發(fā)的AI驅(qū)動的數(shù)據(jù)中臺，能夠幫助企業(yè)實現(xiàn)數(shù)據(jù)采集自動化、數(shù)據(jù)治理智能化、數(shù)據(jù)資產(chǎn)私有化、數(shù)據(jù)應(yīng)用敏捷化，完成數(shù)據(jù)生命周期管理。截至目前，奇點云已服務(wù)過600+家政企客戶。針對數(shù)據(jù)類型復(fù)雜、數(shù)據(jù)口徑不統(tǒng)一的問題，雙方共同組建的項目組對明日控股的業(yè)務(wù)流程與數(shù)據(jù)現(xiàn)狀進(jìn)行了梳理，奇點云據(jù)此提出了一系列數(shù)據(jù)治理的思路和方法論，并指導(dǎo)了項目組對每一節(jié)點的數(shù)據(jù)進(jìn)行逐一排查，針對每一問題形成相應(yīng)解決方案，最終將數(shù)據(jù)全部清洗干凈；與此同時，為了統(tǒng)一數(shù)據(jù)規(guī)范，雙方的架構(gòu)師對數(shù)據(jù)規(guī)范、對接方式、上游系統(tǒng)是否建主備庫、網(wǎng)絡(luò)規(guī)劃、賬號體系等都做了統(tǒng)一約定。在此基礎(chǔ)上，基于對組織、人員、商品、詞典等數(shù)據(jù)的梳理，明日控股匯總各個異構(gòu)數(shù)據(jù)源數(shù)據(jù)并將類型進(jìn)行了統(tǒng)一，完成了主數(shù)據(jù)系統(tǒng)建設(shè)。針對數(shù)據(jù)使用實時性的問題，數(shù)據(jù)中臺使用了Kafka、Flink等數(shù)據(jù)處理引擎，將數(shù)據(jù)解析后存放到Kafka消息隊列，再通過流計算引擎Flink的處理，把計算結(jié)果存在數(shù)據(jù)庫中，并對外提供API或數(shù)據(jù)查詢服務(wù)。同時，數(shù)據(jù)中臺采用了流批一體化的架構(gòu)，對于部分不需要參與實時計算的數(shù)據(jù)，以離線計算的方式進(jìn)行預(yù)先計算和預(yù)存，避免了實時計算中如果對大量歷史單據(jù)數(shù)據(jù)計算，消耗內(nèi)存和服務(wù)器節(jié)點過多的問題，從而提高了實時計算的性能。為提高數(shù)據(jù)使用的敏捷響應(yīng)能力，明日控股構(gòu)建了數(shù)據(jù)指標(biāo)體系，依托指標(biāo)的強(qiáng)解耦性，實現(xiàn)了不同用戶對報表和數(shù)據(jù)應(yīng)用的個性化需求，提升了數(shù)據(jù)需求響應(yīng)速度。此外，在奇點云的幫助下，明日控股從業(yè)務(wù)價值高、數(shù)據(jù)基礎(chǔ)高的場景出發(fā)，建立起了完善的數(shù)據(jù)分析體系，包括了10多個業(yè)務(wù)域，總共數(shù)百個分析場景，讓數(shù)據(jù)查看更直觀和便捷。圖 14： 明日控股數(shù)據(jù)中臺架構(gòu)明日控股數(shù)據(jù)中臺的價值與效果數(shù)據(jù)中臺落地后，在數(shù)據(jù)和業(yè)務(wù)層面上，明日控股實現(xiàn)了多種價值與效果：第一，實現(xiàn)了整體數(shù)據(jù)資產(chǎn)的在線化。建立了在線的報表說明及指標(biāo)字典，完成了包括159個原子指標(biāo)、29張報表、2個看板和1個大屏的開發(fā)，并且能夠明確每張報表、每個字段的意義和作用，便于用戶按圖索驥，快速找到所需的數(shù)據(jù)資產(chǎn)。第二，實現(xiàn)了現(xiàn)貨端和期貨端各種數(shù)據(jù)的實時查詢與展現(xiàn)。實時的數(shù)據(jù)查詢和展現(xiàn)能力，一方面為業(yè)務(wù)發(fā)展帶來了重要的價值，如進(jìn)銷存領(lǐng)域的數(shù)據(jù)準(zhǔn)確率達(dá)到100%，數(shù)據(jù)實時性從5分鐘提升到了10秒內(nèi)，成為了支撐公司業(yè)務(wù)發(fā)展的必不可少的基礎(chǔ)能力，另一方面，改變了過去需要多部門向高層管理人員人工上報數(shù)據(jù)的現(xiàn)狀，大大降低了人力成本，同時更好地支撐了管理層的決策效率。第三，實現(xiàn)了數(shù)據(jù)可復(fù)用，提升了用戶對數(shù)據(jù)使用需求的響應(yīng)速度。通過建立底層的指標(biāo)體系，當(dāng)用戶提出報表或者數(shù)據(jù)應(yīng)用的需求時，可以根據(jù)需要的自主選擇相應(yīng)的數(shù)據(jù)指標(biāo)，從而實現(xiàn)業(yè)務(wù)需求的快速響應(yīng)。明日控股數(shù)據(jù)中臺的建設(shè)經(jīng)驗第一，對于業(yè)務(wù)場景復(fù)雜的企業(yè)而言，建數(shù)據(jù)中臺需要盡量選擇項目經(jīng)驗豐富的廠商。首先，項目經(jīng)驗豐富的廠商具備系統(tǒng)性的方法論支撐，能夠有效指導(dǎo)企業(yè)數(shù)據(jù)平臺的建設(shè)；其次，項目經(jīng)驗豐富的廠商能夠清晰理解企業(yè)在各個場景中的業(yè)務(wù)需求，能夠?qū)ㄔO(shè)過程中的風(fēng)險有預(yù)判，避免踩坑。第二，數(shù)據(jù)中臺建設(shè)需深入業(yè)務(wù)，甲方與廠商進(jìn)行共創(chuàng)。該項目中，明日控股與奇點云深度梳理業(yè)務(wù)流程，把握需求與痛點，結(jié)合數(shù)智化能力，構(gòu)建了最佳解決方案并實現(xiàn)了落地，以數(shù)據(jù)驅(qū)動業(yè)務(wù)增長和創(chuàng)新。 |
| 案例8 ：構(gòu)建文檔管理體系，助力晶盛機(jī)電釋放數(shù)字資產(chǎn)價值 浙江晶盛機(jī)電股份有限公司（下稱“晶盛機(jī)電”）創(chuàng)建于2006年12月，是國內(nèi)領(lǐng)先的半導(dǎo)體材料裝備和LED襯底材料制造企業(yè)，業(yè)務(wù)范圍涵蓋半導(dǎo)體、光伏裝備業(yè)，發(fā)展LED襯底材料、工廠智能化服務(wù)解決方案等。數(shù)字資產(chǎn)管理是企業(yè)數(shù)字化運營的重要保障支撐，數(shù)字資產(chǎn)生命周期管理包括存儲管理、查找使用、共享協(xié)作等。而文檔管理作為數(shù)字資產(chǎn)管理的重要部分，也是晶盛機(jī)電數(shù)字化運營的重要底座。隨著數(shù)字化進(jìn)程的推進(jìn)和業(yè)務(wù)量的增長，晶盛機(jī)電原有的文檔管理模式已經(jīng)無法滿足其整體的業(yè)務(wù)協(xié)作和管理需求，因此建立以數(shù)字資產(chǎn)為中心的文檔管理體系，是晶盛機(jī)電的重要目標(biāo)。為了替代原有文件管理模式、構(gòu)建全新文檔管理體系，晶盛機(jī)電面臨著以下三方面挑戰(zhàn)：第一，存儲管理方面，晶盛機(jī)電缺乏統(tǒng)一的以數(shù)字資產(chǎn)為中心的文檔管理平臺。原有各部門數(shù)據(jù)存放于部門級NAS中，相互獨立且文件體系結(jié)構(gòu)混亂，數(shù)據(jù)丟失風(fēng)險大且丟失難以找回；且原有體系下權(quán)限不明晰，缺少異常行為監(jiān)控，無法滿足晶盛機(jī)電文檔外發(fā)安全可控和文檔長期保存的需求。第二，查找使用方面，原有體系混亂，系統(tǒng)內(nèi)容搜索和預(yù)覽過程繁瑣不便，且缺乏針對不同業(yè)務(wù)部門的有序流程優(yōu)化，不利于各部門進(jìn)行文檔數(shù)據(jù)的查閱及搜索，檢索效率低、成本高；第三，共享協(xié)作方面，缺乏內(nèi)外部信息協(xié)作共享能力。一方面，數(shù)據(jù)規(guī)范是數(shù)據(jù)應(yīng)用的前提，規(guī)范的文檔管理體系是文檔應(yīng)用與共享的支撐，而晶盛機(jī)電各部門缺乏整體的有序、規(guī)范的文檔管理體系，文檔離散、雜亂、標(biāo)準(zhǔn)不一，不利于內(nèi)部各部門間以及內(nèi)外部的文檔共享協(xié)作。另一方面，缺乏統(tǒng)一的內(nèi)外部信息協(xié)作共享工具，多通過NAS共享或通過郵件、微信發(fā)送文件。此外，為了構(gòu)建完善的文檔、內(nèi)容和知識體系，以充分實現(xiàn)內(nèi)容利用與價值挖掘，并借助知識體系為戰(zhàn)略做支撐。晶盛機(jī)電還需要進(jìn)一步解決以下問題：比如，原有文檔管理模式下，文檔內(nèi)容價值挖掘不足，無法充分沉淀、利用文檔內(nèi)容；未形成可復(fù)用的業(yè)務(wù)知識體系，不能從業(yè)務(wù)中抽取具有商業(yè)價值的信息，為公司發(fā)展戰(zhàn)略和數(shù)字化轉(zhuǎn)型做指導(dǎo)與支撐。基于非結(jié)構(gòu)數(shù)據(jù)中臺，晶盛機(jī)電搭建集中文檔管理體系針對上述需求與挑戰(zhàn)，在綜合考慮各供應(yīng)商的技術(shù)能力、解決方案與實施落地經(jīng)驗后，晶盛機(jī)電選擇與愛數(shù)展開合作。愛數(shù)成立于2006年，是大數(shù)據(jù)基礎(chǔ)設(shè)施提供商，提供結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、機(jī)器數(shù)據(jù)、知識圖譜數(shù)據(jù)等全域數(shù)據(jù)能力，為政府、公共事業(yè)及企業(yè)的數(shù)字化轉(zhuǎn)型賦能，幫助各行各業(yè)的客戶釋放數(shù)據(jù)價值，實現(xiàn)即時、隨時、實時的數(shù)據(jù)服務(wù)。在深入調(diào)研了晶盛機(jī)電各業(yè)務(wù)部門實際需求、梳理了業(yè)務(wù)流程后，愛數(shù)為晶盛機(jī)電建立了完整的項目體系建設(shè)規(guī)劃，包括一期文檔管理體系建設(shè)、二期內(nèi)容管理體系建設(shè)及三期知識創(chuàng)新體系建設(shè)。作為內(nèi)容管理體系與知識創(chuàng)新體系的基礎(chǔ)，晶盛機(jī)電首先進(jìn)行了文檔管理體系的搭建。基于完整的文檔管理體系藍(lán)圖，晶盛機(jī)電構(gòu)建了集成權(quán)限管理、共享協(xié)作、查找檢索、審計管理及運營管理等功能的、基于非結(jié)構(gòu)化數(shù)據(jù)中臺的集中文檔管理體系。圖 15： 晶盛機(jī)電文檔管理體系架構(gòu)晶盛機(jī)電以權(quán)限管理體系為支撐，搭建了基于非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一文檔管理平臺，以同時滿足文檔的安全性和存儲管理要求。數(shù)據(jù)遷移方面，晶盛機(jī)電引導(dǎo)、協(xié)助各部門用戶將個人電腦中及NAS平臺中的文件按部門存入平臺，并集成業(yè)務(wù)系統(tǒng)中的附件，保障了文件遷移的完整性。安全管控方面，搭建部門文件結(jié)構(gòu)時，根據(jù)實際需求合理分配權(quán)限；建立了基于共享策略的安全管控，管理員在控制臺通過統(tǒng)一的共享策略，控制所有終端的文檔共享行為，對異常行為進(jìn)行監(jiān)控，以確保文檔訪問方式和訪問范圍的安全性；建立文檔多副本、文檔多版本、回收站等機(jī)制，助力晶盛機(jī)電實現(xiàn)數(shù)據(jù)安全可控。晶盛機(jī)電文檔管理平臺搭載了全終端一致的內(nèi)容搜索功能，以提升查找使用體驗。愛數(shù)AnyShare Family V7基于海量索引和元數(shù)據(jù)，結(jié)合人工智能技術(shù)，能夠支持快速搜索、全文搜索、高級搜索等多種搜索模式，具備精準(zhǔn)搜索、模糊搜索、歷史記錄搜索和相似結(jié)果折疊等多重亮點。晶盛機(jī)電文檔管理體系具備高效便捷的內(nèi)容協(xié)作能力，以實現(xiàn)共享協(xié)作。首先，基于深度調(diào)研，晶盛機(jī)電以數(shù)字資產(chǎn)、成果文檔為中心，為各部門搭建有序的文件結(jié)構(gòu)，以提升全局文檔和知識管理的規(guī)范性。其次，晶盛機(jī)電還構(gòu)建了完整的運營管理體系和審計管理體系，規(guī)范了業(yè)務(wù)流程和數(shù)字資產(chǎn)，為文檔共享協(xié)作做支撐。另外，晶盛機(jī)電使用了愛數(shù)提供了豐富的Office在線協(xié)作、PDF內(nèi)容管理、圖片和音視頻在線預(yù)覽、表單在線收集等應(yīng)用組件，支持多人在線編輯、在線收集、在線標(biāo)注等應(yīng)用場景；員工可通過SharedLink功能生成文檔鏈接給到內(nèi)部員工及外部供應(yīng)商查看，提高了共享協(xié)作效率。未來，在完成文檔管理體系建設(shè)的基礎(chǔ)上，晶盛機(jī)電將就內(nèi)容管理體系及知識創(chuàng)新體系，與愛數(shù)展開更為深入的合作。愛數(shù)將助力晶盛機(jī)電構(gòu)建內(nèi)容管理體系，充分利用文檔內(nèi)容、挖掘文檔價值，實現(xiàn)全面的內(nèi)容管理；打造知識創(chuàng)新體系，落地知識工程，運用知識圖譜等工具實現(xiàn)非結(jié)構(gòu)數(shù)據(jù)商業(yè)智能功能，賦能業(yè)務(wù)數(shù)字化轉(zhuǎn)型。文檔管理體系提高文件查找與交互效率，賦能數(shù)字化轉(zhuǎn)型文檔管理體系的完整搭建，充分釋放文檔數(shù)據(jù)價值，為晶盛機(jī)電業(yè)務(wù)數(shù)字化轉(zhuǎn)型提供了支撐。具體而言，實現(xiàn)了以下效果：第一，保障了安全可控。文檔多副本、回收站雙重保險，加之文檔多版本管控，確保文檔丟失、誤刪或修改后可追溯、可找回；權(quán)限顆粒度管理，加之水印、外發(fā)審批、IP限制等功能，保障了文檔安全。項目建設(shè)完畢后，晶盛機(jī)電文檔誤操作丟失率下降了90%；第二，實現(xiàn)了文檔快速查找?；谟行У哪夸浗Y(jié)構(gòu)梳理搭建以及歷史文件的統(tǒng)一歸檔，愛數(shù)為晶盛機(jī)電提供了多維度的全文檢索能力。基于關(guān)鍵字的搜索功能速度比NAS網(wǎng)盤提高了3倍，文件查找效率整體提升50%以上；第三，提高了文件交互效率。提升了文檔和知識管理的規(guī)范性，極大便利了各部門文檔發(fā)布與文檔審核，提升了各部門業(yè)務(wù)效率；實現(xiàn)了高效共享，極大提升了文件內(nèi)外部共享與協(xié)作辦公效率，文件交互效率提高了50%以上。 |
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
