金融科技是科技賦能金融，實現(xiàn)金融在創(chuàng)新科技驅(qū)動下的業(yè)務(wù)流程、模式、產(chǎn)品、風(fēng)控等方面的升級和變革，隨著金融科技的深入發(fā)展，人工智能、區(qū)塊鏈、云計算、大數(shù)據(jù)將逐步融入到企業(yè)信息化規(guī)劃的落地執(zhí)行當(dāng)中。其中，數(shù)據(jù)治理是其中的重要環(huán)節(jié)，數(shù)據(jù)治理是個復(fù)雜、艱巨而長期的過程，涉及到組織、制度、流程建設(shè)，數(shù)據(jù)存儲、處理、安全、交互、使用的流程和方法，以及相對應(yīng)的數(shù)據(jù)建模、系統(tǒng)架構(gòu)等，本篇主要圍繞資管數(shù)據(jù)治理的系統(tǒng)架構(gòu)規(guī)劃及其應(yīng)用場景探索。

企業(yè)級數(shù)據(jù)倉庫歷史與現(xiàn)狀

信息技術(shù)的每一次創(chuàng)新和突破都會給金融行業(yè)帶來重大的影響，企業(yè)級數(shù)據(jù)中心的系統(tǒng)架構(gòu)也逐漸從數(shù)據(jù)倉庫過渡到基于Hadoop生態(tài)圈的大數(shù)據(jù)時代。

數(shù)據(jù)倉庫概念從上個世紀(jì)90年代提出至今，已有30年的歷史，作為企業(yè)數(shù)據(jù)處理的主流技術(shù)架構(gòu)，在企業(yè)數(shù)據(jù)整合、業(yè)務(wù)規(guī)范統(tǒng)一化、報表輸出集中化等方面曾經(jīng)和正在發(fā)揮著巨大的作用。

隨著資管新規(guī)的貫徹執(zhí)行，以及資管產(chǎn)品、非標(biāo)業(yè)務(wù)、衍生品投資等新品種投資業(yè)務(wù)的發(fā)展，傳統(tǒng)數(shù)據(jù)倉庫技術(shù)發(fā)展已經(jīng)碰到一些瓶頸。傳統(tǒng)數(shù)據(jù)倉庫在企業(yè)級數(shù)據(jù)集中處理方面所發(fā)揮的作用，主要包括架構(gòu)擴(kuò)展性、業(yè)務(wù)操作規(guī)范、數(shù)據(jù)整合與共享等方面，但所能處理的數(shù)據(jù)類型僅限于結(jié)構(gòu)化的數(shù)據(jù)。而數(shù)據(jù)治理新架構(gòu)需要支持?jǐn)?shù)據(jù)資產(chǎn)（結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)）管理和價值分析，以及業(yè)務(wù)引擎、決策支持、智能應(yīng)用支持等擴(kuò)展應(yīng)用。傳統(tǒng)數(shù)據(jù)倉庫解決方案，無法解決以下問題：

● 非結(jié)構(gòu)化數(shù)據(jù)識別與處理：數(shù)據(jù)倉庫集中了結(jié)構(gòu)化數(shù)據(jù)，但對于企業(yè)的非結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)處理無能為力，有跡象表明，未來業(yè)務(wù)發(fā)展及企業(yè)競爭力的核心，將取決于企業(yè)對于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理和利用能力。

● 大數(shù)據(jù)存儲：現(xiàn)有的結(jié)構(gòu)化數(shù)據(jù)存儲一般以GB級，而非結(jié)構(gòu)化數(shù)據(jù)的容量將遠(yuǎn)超GB級，現(xiàn)有的數(shù)據(jù)存儲和處理能力將不能滿足未來PB甚至更大的數(shù)據(jù)存儲技術(shù)要求。

● 大數(shù)據(jù)分析與智能搜索：對于結(jié)構(gòu)化數(shù)據(jù)分析，一般采用范式數(shù)據(jù)庫設(shè)計及分析方法，而對于大數(shù)據(jù)處理，將更多采用數(shù)據(jù)建模的分析方法，實現(xiàn)智能搜索，支持業(yè)務(wù)的數(shù)據(jù)要求。

● 決策支持：傳統(tǒng)對于結(jié)構(gòu)化數(shù)據(jù)的利用，多是結(jié)果統(tǒng)計，根據(jù)現(xiàn)有的數(shù)據(jù)，通過人工決策，支撐企業(yè)的發(fā)展規(guī)劃。而大數(shù)據(jù)平臺可以從預(yù)測、選擇等多種方法，以較為準(zhǔn)確的數(shù)據(jù)推理，支持企業(yè)決策過程。

以上是未來一段時間資管行業(yè)企業(yè)數(shù)據(jù)處理方面所面臨的幾個棘手問題。因此，我們需要探索一種新的數(shù)據(jù)處理解決方案。隨著大數(shù)據(jù)技術(shù)的發(fā)展成熟，使得我們這種設(shè)想成為可能，也成為未來企業(yè)數(shù)據(jù)處理發(fā)展的必然方向。

大數(shù)據(jù)平臺建設(shè)探索

數(shù)據(jù)成為資產(chǎn)，已是行業(yè)共識，甚至有人建議將數(shù)據(jù)納入資產(chǎn)負(fù)債表，足可見數(shù)據(jù)在企業(yè)生產(chǎn)經(jīng)營活動中的重要性。資管行業(yè)是個高度信息化的行業(yè)，系統(tǒng)眾多，信息繁雜，包含辦公、投資、風(fēng)控、運營、資訊等多個維度，這些系統(tǒng)數(shù)據(jù)以及數(shù)據(jù)產(chǎn)生的信息目前已經(jīng)被公認(rèn)為是企業(yè)的資產(chǎn)。那么，這些資產(chǎn)是不是都是數(shù)據(jù)資產(chǎn)呢？顯然不是，資產(chǎn)是有價值的，沒有價值的信息集中只是堆砌，只有將信息融入特定業(yè)務(wù)應(yīng)用場景的使用過程，才能成為資產(chǎn)，所以，定義數(shù)據(jù)資產(chǎn)，必須是能帶來業(yè)務(wù)價值的所有信息。要讓數(shù)據(jù)發(fā)揮價值，成為數(shù)據(jù)資產(chǎn)，需要對數(shù)據(jù)資產(chǎn)加以管理，數(shù)據(jù)資產(chǎn)管理不只是IT的范疇，更是企業(yè)全員需要參與的一項系統(tǒng)工程，更需要引起企業(yè)管理者的高度重視。

基于數(shù)據(jù)資產(chǎn)的共識，對數(shù)據(jù)加工的復(fù)雜度和速度要求更高，數(shù)據(jù)資產(chǎn)的管理相比于傳統(tǒng)數(shù)據(jù)倉庫下的數(shù)據(jù)資產(chǎn)管理更加復(fù)雜，新的數(shù)據(jù)資產(chǎn)管理是對傳統(tǒng)數(shù)據(jù)管理的擴(kuò)充和升級，通過降低企業(yè)數(shù)據(jù)使用的成本，提高以數(shù)據(jù)指導(dǎo)管理決策的效率，數(shù)據(jù)資產(chǎn)管理的目的是發(fā)揮數(shù)據(jù)的價值，企業(yè)可以從數(shù)據(jù)中獲得“明顯”的收益。數(shù)據(jù)資產(chǎn)管理已然成為大數(shù)據(jù)時代中企業(yè)競爭力的重要來源，數(shù)據(jù)資產(chǎn)管理為大數(shù)據(jù)提供價值體現(xiàn)的前提。在企業(yè)內(nèi)外部數(shù)據(jù)整合過程中，涉及到異構(gòu)數(shù)據(jù)的定義、規(guī)范、融合等多個環(huán)節(jié)，包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)安全等數(shù)據(jù)全生命周期管理職能，數(shù)據(jù)資產(chǎn)的有效管理，尤為重要。

系統(tǒng)平臺技術(shù)架構(gòu)

一般理解大數(shù)據(jù)有四V特征，即Vo l u m e （ 大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度），所以大數(shù)據(jù)不僅僅是大，更重要的是復(fù)雜性，包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，既包括傳統(tǒng)交易系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)（主數(shù)據(jù)、參考數(shù)據(jù)、業(yè)務(wù)對象、業(yè)務(wù)事件、操作流水等），也包括企業(yè)現(xiàn)存的非結(jié)構(gòu)化或者半結(jié)構(gòu)化內(nèi)容數(shù)據(jù)（憑證、影像、語音、電子文檔、Email等），還應(yīng)該包括企業(yè)內(nèi)外部所有可以采集到的Weblog（操作日志、移動終端Log、瀏覽日志、行為日志等）和社交媒體數(shù)據(jù)（微信、社區(qū)、輿情等文本內(nèi)容和日志）等。大數(shù)據(jù)最早可追溯到上世紀(jì)八十年代，但一般認(rèn)為是本世紀(jì)在2011年麥肯錫公司的報告中正式提出。隨著近幾年大數(shù)據(jù)技術(shù)的快速發(fā)展，目前已基本形成大數(shù)據(jù)成熟架構(gòu)及處理技術(shù)，它可以解決以下三個主要方面的問題。

● 效率類：通過分布式處理、高速計算引擎Spark等技術(shù)，極大提高數(shù)據(jù)處理計算能力，尤其對非結(jié)構(gòu)化數(shù)據(jù)處理更具優(yōu)勢。

● 預(yù)測類：構(gòu)建數(shù)據(jù)模型，解析人/技術(shù)/事物的過去和現(xiàn)在的特質(zhì)，實現(xiàn)對未來的“預(yù)測”，以及商業(yè)“決策”。

● 選擇類：設(shè)定目標(biāo)，通過問題界定、規(guī)則制定、數(shù)據(jù)選擇、數(shù)據(jù)分析等步驟，找到最佳的匹配對象，大量應(yīng)用于精準(zhǔn)廣告應(yīng)用、智能投顧應(yīng)用等。

在企業(yè)級大數(shù)據(jù)平臺實際應(yīng)用中，可以根據(jù)不同的應(yīng)用場景，對不同組件進(jìn)行增刪改，并可進(jìn)一步集成開發(fā)監(jiān)控平臺、交互平臺、展示平臺等。

系統(tǒng)平臺業(yè)務(wù)架構(gòu)

資管行業(yè)業(yè)務(wù)覆蓋度廣泛且深入，涉及一級市場、二級市場，甚至有三級市場，投資品種包括債券、股票、期貨、衍生品等，所以企業(yè)的系統(tǒng)也是紛繁復(fù)雜，傳統(tǒng)數(shù)據(jù)倉庫，通常對接的系統(tǒng)包括估值系統(tǒng)、交易系統(tǒng)、另類系統(tǒng)、外部資訊數(shù)據(jù)、風(fēng)控系統(tǒng)、TA系統(tǒng)、信評系統(tǒng)、投研系統(tǒng)等多達(dá)二十個系統(tǒng)。傳統(tǒng)數(shù)據(jù)倉庫主要滿足業(yè)務(wù)需求，輸出統(tǒng)一API接口數(shù)據(jù)。

選用大數(shù)據(jù)平臺技術(shù)架構(gòu)，不僅可以替代傳統(tǒng)數(shù)據(jù)倉庫建立投資、市場與銷售、運營、風(fēng)控、辦公等業(yè)務(wù)支撐平臺的數(shù)據(jù)支持，也能實現(xiàn)人工智能、智能搜索，更進(jìn)一步推動和引領(lǐng)業(yè)務(wù)發(fā)展。從企業(yè)數(shù)據(jù)處理角度看，實現(xiàn)了從結(jié)構(gòu)化數(shù)據(jù)管理到全數(shù)據(jù)管理的巨大飛躍，對于企業(yè)的發(fā)展奠定了堅實的基礎(chǔ)，也會助推五大業(yè)務(wù)支持平臺，由基礎(chǔ)業(yè)務(wù)支持向智能化轉(zhuǎn)變。

● 數(shù)據(jù)采集

數(shù)據(jù)采集數(shù)據(jù)源來自于企業(yè)級數(shù)據(jù)中心的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)/半結(jié)構(gòu)化數(shù)據(jù)，而非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)來源于企業(yè)內(nèi)部和外部，外部數(shù)據(jù)主要采集來源包括金融類網(wǎng)站、微信群、金融終端、滬深二級市場公告、研報等數(shù)據(jù)，內(nèi)部數(shù)據(jù)源主要采集來源包括軟硬件系統(tǒng)運行日志、合同、制度、特定郵件、投資類過程文件等。

外部數(shù)據(jù)的采集一般通過互聯(lián)網(wǎng)爬蟲系統(tǒng)和外購數(shù)據(jù)源兩種方式獲取，網(wǎng)絡(luò)爬蟲通過動態(tài)IP管理，以及圖形圖像識別和正文抽取等算法技術(shù)，從各數(shù)據(jù)源抽取關(guān)鍵信息、去重去噪后入庫，主要功能包括支持：各類網(wǎng)頁、微信、第三方應(yīng)用等公開數(shù)據(jù)的獲取；各種樣式的報告、合同、票據(jù)等掃描件的解析識別；從PDF、Office文檔、圖片等多種格式文件文檔以及支持通過機(jī)器學(xué)習(xí)的算法，從非結(jié)構(gòu)化數(shù)據(jù)中獲取有價值的數(shù)據(jù)。而內(nèi)部數(shù)據(jù)的采集較為簡單，從各類系統(tǒng)中即可抽取。

● 數(shù)據(jù)清洗與處理

數(shù)據(jù)處理過程主要是將采集的源數(shù)據(jù)，通過文本分詞、圖表還原、OCR圖像識別、自然語言處理等技術(shù)，進(jìn)行結(jié)構(gòu)化和Key-Value映射的非結(jié)構(gòu)化轉(zhuǎn)換。處理路徑可分為離線數(shù)據(jù)和實時數(shù)據(jù)處理，其處理流程也不盡相同，比如對于投資引擎的數(shù)據(jù)分析，需要實時數(shù)據(jù)處理與計算，而對于風(fēng)險定價與預(yù)測，更多是離線數(shù)據(jù)分析。

在數(shù)據(jù)處理后，還需要對數(shù)據(jù)進(jìn)行錯誤校驗和清洗，類似于數(shù)據(jù)倉庫中結(jié)構(gòu)化數(shù)據(jù)處理，一般是基于某種方法的數(shù)據(jù)校驗，通過字段級別、表級別、庫級別的校驗規(guī)則，進(jìn)行合法性、一致性、標(biāo)準(zhǔn)化、去重等多級清洗和校驗，以保證入庫數(shù)據(jù)的質(zhì)量。

● 數(shù)據(jù)建模與知識圖譜

數(shù)據(jù)建模是數(shù)據(jù)抽象化形成可以理解和使用的概念模型的過程，一般分為定義、測試、評估、應(yīng)用、優(yōu)化等五個步驟來進(jìn)行建模，支持建模的基礎(chǔ)數(shù)據(jù)來源于各個方面，比如投資引擎所包含的結(jié)構(gòu)化數(shù)據(jù)有交易、投研、信評、估值、賬戶、資訊等，非結(jié)構(gòu)化數(shù)據(jù)有輿情、社交媒體消息和留言、稿件與圖片、語音等。這個環(huán)節(jié)是高度專業(yè)化的過程，涉及對業(yè)務(wù)需求的理解，對技術(shù)實現(xiàn)的把控，企業(yè)在人工智能技術(shù)應(yīng)用方面的競爭優(yōu)勢也在于此。

在眾多的數(shù)據(jù)模型中，通過實體識別 、概念識別、關(guān)系抽取、知識推理等方法，建立基于圖譜的傳導(dǎo)推理模型，稱之為知識圖譜。知識圖譜描述了真實世界中存在的各種實體和概念，采用數(shù)據(jù)擬合技術(shù)，自動構(gòu)建不同文件和數(shù)據(jù)之間的關(guān)聯(lián)，再基于關(guān)聯(lián)關(guān)系自動更新數(shù)據(jù)庫和數(shù)據(jù)圖表。知識圖譜是搜索引擎的基礎(chǔ)，是傳統(tǒng)搜索發(fā)展到智能搜索不可或缺的一項技術(shù)。

● 統(tǒng)一數(shù)據(jù)接口API

統(tǒng)一數(shù)據(jù)接口API是數(shù)據(jù)訪問的封裝，從而可以對內(nèi)、對外提供統(tǒng)一的各類數(shù)據(jù)訪問服務(wù)。API針對非知識圖譜類數(shù)據(jù)訪問服務(wù)，包括數(shù)據(jù)庫接口、應(yīng)用級接口和文件級接口：數(shù)據(jù)庫接口通過數(shù)據(jù)庫腳本實現(xiàn)在數(shù)據(jù)庫間的直接數(shù)據(jù)交互，一般用于結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)交互；應(yīng)用級接口通過應(yīng)用服務(wù)訪問，實現(xiàn)服務(wù)請求與應(yīng)答式的數(shù)據(jù)交互，一般用于數(shù)據(jù)安全級別較高的數(shù)據(jù)訪問；文件級接口通過文件導(dǎo)出的方式，實現(xiàn)不同系統(tǒng)間數(shù)據(jù)交互，主要用于第三方外部系統(tǒng)且安全級別較高的數(shù)據(jù)訪問。同時，還需要建立數(shù)據(jù)交互的訪問、授權(quán)、認(rèn)證等數(shù)據(jù)安全措施，以保證數(shù)據(jù)安全。

● 智能搜索支持

智能搜索是基于知識圖譜的延伸拓展，通過自然語言處理對數(shù)據(jù)進(jìn)行查詢、排序、篩選和運算，支持不需要技術(shù)人員干預(yù)，通過自然語言錄入，實現(xiàn)標(biāo)準(zhǔn)模板語言描述查詢語句映射成機(jī)器查詢條件（SQL語句），以圖表的方式直觀展示搜索結(jié)果。

智能搜索采用基于數(shù)據(jù)內(nèi)容及上下語義環(huán)境進(jìn)行的內(nèi)容檢索，突破了傳統(tǒng)的基于文本檢索技術(shù)的檢索，直接對圖像、視頻、音頻內(nèi)容進(jìn)行分析，抽取特征和語義，利用這些內(nèi)容特征建立索引并進(jìn)行快速檢索，并在此基礎(chǔ)上進(jìn)行自然語言處理、知識計算和知識存儲，形成知識圖譜。另一方面，根據(jù)掌握到的用戶信息對用戶的查詢計劃、興趣、意圖等進(jìn)行推理和預(yù)測，并根據(jù)搜索環(huán)境的變化及時調(diào)整搜索結(jié)果，滿足用戶多層次的需求。

大數(shù)據(jù)平臺應(yīng)用場景未來

未來，大數(shù)據(jù)平臺可以在智能搜索、金融科技以及決策支持等方面發(fā)揮作用。

智能搜索應(yīng)用：智能搜索將是大數(shù)據(jù)平臺未來一個重要的應(yīng)用場景，傳統(tǒng)的文本搜索將逐步發(fā)展到內(nèi)容搜索、交互搜索、垂直搜索等更高級更智能的層次，通過知識圖譜提高機(jī)器的認(rèn)知，讓機(jī)器理解這個世界，更好地實現(xiàn)人機(jī)交互。采集整合內(nèi)外部各類專業(yè)數(shù)據(jù)和專業(yè)知識資源，形成知識圖譜，及時查詢到圖譜數(shù)據(jù)及其關(guān)系，實現(xiàn)智能搜索。

金融科技應(yīng)用：系統(tǒng)基于大數(shù)據(jù)的計算能力、數(shù)據(jù)分析能力、統(tǒng)計推理能力，將可能在智能投資、智能投顧、智能風(fēng)控、智能運營等應(yīng)用場景下得到有效應(yīng)用。

決策支持應(yīng)用：傳統(tǒng)的非標(biāo)投資主要根據(jù)大類資產(chǎn)配置，對逐個項目進(jìn)行預(yù)審、評審、投決等過程后，進(jìn)行投前、投中和投后管理?；诖髷?shù)據(jù)決策支持技術(shù)，可以對宏觀數(shù)據(jù)、監(jiān)管政策、市場變化、存量項目、風(fēng)險評估等數(shù)據(jù)進(jìn)行建模和數(shù)據(jù)分析，設(shè)置預(yù)審、評審、投決等關(guān)鍵環(huán)節(jié)的通過率，結(jié)合企業(yè)考核指標(biāo)，可以預(yù)測未來可選擇項目的范圍、數(shù)量、質(zhì)量及風(fēng)險系數(shù)，并進(jìn)行實時的調(diào)整，形成良性的閉環(huán)效果，以支持非標(biāo)投資決策。

數(shù)據(jù)整合和系統(tǒng)建設(shè)只是數(shù)據(jù)治理的一個環(huán)節(jié)，但也是最重要的科技保障。數(shù)字化轉(zhuǎn)型，賦能業(yè)務(wù)發(fā)展，只有實現(xiàn)了數(shù)字化轉(zhuǎn)型，才能有智能化、智慧化應(yīng)用和綠色的未來。行業(yè)踐行之路和集團(tuán)信息化戰(zhàn)略的要求，決定了只有將數(shù)據(jù)資產(chǎn)管理上升到公司級管理高度，才能實現(xiàn)數(shù)字化轉(zhuǎn)型，“數(shù)據(jù)驅(qū)動業(yè)務(wù)，科技賦能業(yè)務(wù)”是新一代資管系統(tǒng)IT架構(gòu)規(guī)劃設(shè)計的重要目標(biāo)之一，也是推動企業(yè)落實其信息化規(guī)劃的必由之路。

金融科技作為以新技術(shù)為核心的創(chuàng)新，立足于新理念、新政策，三者匯聚成的澎湃合力將重塑中國金融產(chǎn)業(yè)新生態(tài)。屆時，億歐智庫研究院還將發(fā)布《2019開放銀行發(fā)展研究報告》，解讀金融科技賦能開放銀行的融合與落地應(yīng)用。

2019年6月14日，上?！ず鐦颉な蕾Q(mào)展館邀您見證！搶票鏈接：https://www.iyiou.com/post/ad/id/792

本文已標(biāo)注來源和出處，版權(quán)歸原作者所有，如有侵權(quán)，請聯(lián)系我們。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。