（魏德齡/文）從隨手滑動(dòng)網(wǎng)頁時(shí)的廣告，或是突然收到的銀行理財(cái)推薦，再到出門在外到處掃一掃的各種“碼”，生活中越發(fā)能夠感受到大數(shù)據(jù)所帶來的變化。企業(yè)正試圖通過大數(shù)據(jù)來拉近與消費(fèi)者間的距離，優(yōu)化自身生產(chǎn)效率。

據(jù)賽迪顧問預(yù)計(jì)，到2023年，大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將達(dá)到1萬億元，到2027年，將會(huì)達(dá)到1.8萬億元。隨著產(chǎn)業(yè)規(guī)模的持續(xù)增長，企業(yè)機(jī)構(gòu)對(duì)于大數(shù)據(jù)的業(yè)務(wù)需求也更加深化?！皼]有一套完整的系統(tǒng)保證這條鏈路高效運(yùn)轉(zhuǎn)的話，就很難保證從數(shù)據(jù)中提煉出有價(jià)值的信息和知識(shí)?！鼻嘣芉ingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風(fēng)表示“打通大數(shù)據(jù)全鏈路”已經(jīng)成為了客戶的重要訴求，而若想實(shí)現(xiàn)這種“打通”能力，自然需要在大數(shù)據(jù)領(lǐng)域的常年積累。

與大數(shù)據(jù)時(shí)代同頻共振

“與大數(shù)據(jù)時(shí)代同頻共振，青云大數(shù)據(jù)一直在行動(dòng)?！眲⑿埏L(fēng)介紹稱，從2014年到2018年，青云先從廣度上實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品和服務(wù)的全覆蓋。自2018年以來，又持續(xù)從深度入手，對(duì)各個(gè)產(chǎn)品性能、服務(wù)質(zhì)量、服務(wù)范圍等方面進(jìn)行全方位提升。

截至目前，青云已經(jīng)推出了近30款數(shù)據(jù)產(chǎn)品和服務(wù)，同時(shí)集成優(yōu)秀的合作伙伴應(yīng)用，形成了包括數(shù)據(jù)庫與緩存、消息隊(duì)列與中間件、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉庫與BI、對(duì)象存儲(chǔ)在內(nèi)的數(shù)據(jù)產(chǎn)品生態(tài)，從而讓青云具備了構(gòu)建一個(gè)完整的、可插拔的、全流程的大數(shù)據(jù)平臺(tái)的能力。

與此同時(shí)，大數(shù)據(jù)產(chǎn)業(yè)也迎來了快速增長。例如中小型互聯(lián)網(wǎng)或者移動(dòng)互聯(lián)網(wǎng)企業(yè)開始通過積累大量用戶數(shù)據(jù)，來進(jìn)行用戶畫像分析，從而提供匹配個(gè)性化需求的內(nèi)容、資訊、商品信息服務(wù)。智慧工廠通過對(duì)物聯(lián)網(wǎng)設(shè)備的實(shí)時(shí)數(shù)據(jù)分析來提升生產(chǎn)效率，通過實(shí)時(shí)風(fēng)控來提升安全性?？蒲袡C(jī)構(gòu)通過分工協(xié)作進(jìn)行多維度計(jì)算，實(shí)現(xiàn)挖掘?qū)崟r(shí)科研數(shù)據(jù)、數(shù)據(jù)處理，并輸出科研分析報(bào)告。

劉雄風(fēng)觀察到如今客戶的需求也從最初的“底層資源”問題逐步進(jìn)階到“數(shù)據(jù)層”問題，例如云平臺(tái)上已有的數(shù)據(jù)庫、數(shù)據(jù)倉庫、消息隊(duì)列等服務(wù)中的數(shù)據(jù)，需要數(shù)據(jù)同步服務(wù)來打通彼此之間孤立關(guān)系。數(shù)據(jù)計(jì)算的實(shí)時(shí)性也與企業(yè)的效率越來越呈現(xiàn)正相關(guān)，企業(yè)希望擁有獨(dú)立的實(shí)時(shí)計(jì)算平臺(tái)來加快數(shù)據(jù)上云后的實(shí)時(shí)計(jì)算速度，進(jìn)而發(fā)揮最大的數(shù)據(jù)價(jià)值。另外在數(shù)據(jù)開發(fā)和作業(yè)運(yùn)維調(diào)度層面上也呈現(xiàn)出新的需求。這種情況下，過往所提供的組件類產(chǎn)品和服務(wù)就難以充分滿足需求。

打通大數(shù)據(jù)全鏈路

基于客戶的多種真實(shí)需求反饋和實(shí)時(shí)數(shù)據(jù)處理的新挑戰(zhàn)，青云大數(shù)據(jù)工作臺(tái)應(yīng)運(yùn)而生。其初衷在于打通大數(shù)據(jù)全鏈路，整合青云完整的數(shù)據(jù)產(chǎn)品和服務(wù)，為客戶提供一個(gè)一站式智能大數(shù)據(jù)開發(fā)和治理平臺(tái)。

打通大數(shù)據(jù)全鏈路的意義在于，大數(shù)據(jù)技術(shù)可以形象的看作對(duì)最原始的數(shù)據(jù)進(jìn)行集成、處理、加工、提煉，由數(shù)據(jù)、信息、知識(shí)、智慧所構(gòu)成的金字塔，每上一層數(shù)據(jù)量就越小，對(duì)業(yè)務(wù)的影響價(jià)值卻更大更快。而要從海量“數(shù)據(jù)”中最終提煉出“智慧”，要經(jīng)過一條很長的數(shù)據(jù)流鏈路，這條鏈路的高效與否，將最終決定企業(yè)的數(shù)據(jù)掘金效率。

青云大數(shù)據(jù)工作臺(tái)包含了數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一存儲(chǔ)和服務(wù)這三個(gè)環(huán)節(jié)的鏈路流程，接駁了由數(shù)據(jù)到智慧的整個(gè)過程，為企業(yè)數(shù)據(jù)價(jià)值挖掘提供支持。該工作臺(tái)基于云原生架構(gòu)，以 Flink 流批一體的計(jì)算引擎為基礎(chǔ)，同時(shí)兼容多種計(jì)算引擎為一體的計(jì)算資源服務(wù)。提供全生命周期的數(shù)據(jù)開發(fā)服務(wù)與高效的數(shù)據(jù)同步服務(wù)，可幫助客戶應(yīng)對(duì)豐富的業(yè)務(wù)場景，包括BI商業(yè)智能分析、用戶畫像、增長分析和數(shù)據(jù)大屏等應(yīng)用，能夠支持精細(xì)化運(yùn)營分析場景、實(shí)時(shí)計(jì)算場景、可視化開發(fā)運(yùn)維場景、構(gòu)建數(shù)倉場景四大使用場景。

青云大數(shù)據(jù)工作臺(tái)所提供的完整功能模塊，可以幫助企業(yè)輕松完成大數(shù)據(jù)開發(fā)與治理全流程的部署、運(yùn)行和管理。數(shù)據(jù)上云模塊可將數(shù)據(jù)安全地同步到云端，支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數(shù)據(jù)源。數(shù)據(jù)上云完成后便可進(jìn)行數(shù)據(jù)開發(fā)，通過可視化的界面，可以讓客戶用拖拽的方式部署每一個(gè)工作節(jié)點(diǎn)，并直觀的了解其中的依賴關(guān)系。處理完的結(jié)果數(shù)據(jù)可以根據(jù)不同特性，存儲(chǔ)在不同的存儲(chǔ)介質(zhì)當(dāng)中，可通過向?qū)酵交蚰_本式同步兩種方式進(jìn)行。接下來的作業(yè)運(yùn)維調(diào)度工作中，通過青云自主研發(fā)的調(diào)度和任務(wù)管理模塊，可以同時(shí)根據(jù)任務(wù)維護(hù)和資源分配維度進(jìn)行分別監(jiān)控，實(shí)時(shí)跟蹤計(jì)算的飽和度，提醒企業(yè)根據(jù)需求調(diào)整計(jì)算資源。最后通過云端全托管Flink集群，幾分鐘即可完成計(jì)算集群的創(chuàng)建和部署。

在青云大數(shù)據(jù)工作臺(tái)未來規(guī)劃中，廣與深的升級(jí)理念還將進(jìn)一步延續(xù)，一方面將會(huì)加入數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)兩大功能模塊，完善大數(shù)據(jù)的全鏈路流程。另外還將優(yōu)化體驗(yàn)，針對(duì)不同的開發(fā)視角和操作，在客戶體驗(yàn)、數(shù)據(jù)運(yùn)行、穩(wěn)定性、容錯(cuò)性方面，進(jìn)行整體的優(yōu)化和提升。

提及大數(shù)據(jù)類產(chǎn)品的版本更迭，很多人都容易想到不少大數(shù)據(jù)公司在產(chǎn)品架構(gòu)上越發(fā)復(fù)雜化的升級(jí)，以及缺少一定自由度與彈性的問題。青云大數(shù)據(jù)工作臺(tái)則在面世之初，就已經(jīng)呈現(xiàn)出了明顯的比較優(yōu)勢。

高效自由的青云大數(shù)據(jù)工作臺(tái)

作為一家以“云之基石·自由計(jì)算”為初心的云計(jì)算企業(yè)所打造的大數(shù)據(jù)產(chǎn)品——青云大數(shù)據(jù)工作臺(tái)優(yōu)勢也充分體現(xiàn)在此，兼顧了云服務(wù)的輕松部署與彈性，同時(shí)又開放自由，具有極高的兼容性。

客戶一方面可以依托青云公有云提供的天然 Demo，實(shí)現(xiàn)開箱即用，幾分鐘即可完成環(huán)境的創(chuàng)建和部署，使用中還能快速進(jìn)行迭代升級(jí)，享受到云平臺(tái)本身的彈性計(jì)費(fèi)和靈活擴(kuò)縮容。而如果是使用大數(shù)據(jù)公司的產(chǎn)品，往往需要在搭建部署，以及后續(xù)升級(jí)上花費(fèi)較長的時(shí)間，并缺少在遇到增量波動(dòng)時(shí)的資源靈活性。

另一方面，客戶還能如同使用大數(shù)據(jù)公司的產(chǎn)品一樣，獲得良好的跨平臺(tái)兼容性。青云大數(shù)據(jù)工作臺(tái)依托 KubeSphere 云原生容器平臺(tái)能力，所提供的大數(shù)據(jù)服務(wù)更加自由，可以兼容不同容器平臺(tái)進(jìn)行獨(dú)立部署。通過擁抱開源，青云大數(shù)據(jù)工作臺(tái)還實(shí)現(xiàn)了百分百兼容Apache Flink，讓客戶輕松實(shí)現(xiàn)遷移。借助生態(tài)整合，又能使云平臺(tái)上的數(shù)據(jù)流轉(zhuǎn)更加便捷。

同時(shí)，面對(duì)目前很多大數(shù)據(jù)產(chǎn)品愈發(fā)功能復(fù)雜化的趨勢，以及一些產(chǎn)品體系中負(fù)載越來越重的歷史包袱，青云在需求方面，基于真實(shí)的客戶場景，抽取最大化的公共需求，聚焦業(yè)務(wù)問題，優(yōu)化產(chǎn)品使用體驗(yàn)，以極簡的操作步驟，解決用戶的核心業(yè)務(wù)問題。

青云大數(shù)據(jù)工作臺(tái)+KubeSphere+IoT “三位一體”技術(shù)方案

面向最終的場景落地，青云大數(shù)據(jù)工作臺(tái)能夠與青云的KubeSphere容器平臺(tái)和IoT平臺(tái)形成合力，構(gòu)建“三位一體”的技術(shù)方案。例如，在目前采用該方案的某中國環(huán)保行業(yè)領(lǐng)導(dǎo)者的實(shí)踐中，青云大數(shù)據(jù)工作臺(tái)能夠?qū)た財(cái)?shù)據(jù)實(shí)時(shí)處理、分發(fā)、脫敏，熱數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉庫，全量數(shù)據(jù)存儲(chǔ)在對(duì)象存儲(chǔ)，最后將數(shù)據(jù)進(jìn)行應(yīng)用和展示。

另一工業(yè)自動(dòng)化測試設(shè)備與整線系統(tǒng)解決方案廠商也通過與青云合作，建設(shè)統(tǒng)一的“物聯(lián)網(wǎng)+大數(shù)據(jù)”平臺(tái)。針對(duì)不同數(shù)據(jù)源，由IoT平臺(tái)進(jìn)行“云、網(wǎng)、邊、端”的統(tǒng)一控制，客戶可以將數(shù)據(jù)通過消息中間件統(tǒng)一傳輸?shù)酱髷?shù)據(jù)工作臺(tái)上，再做原始庫數(shù)據(jù)集成的操作。原始庫可單獨(dú)對(duì)外提供數(shù)據(jù)權(quán)限、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)查詢的服務(wù)，或進(jìn)行二次加工，形成最終結(jié)果庫。

據(jù)悉，通過深耕工業(yè)、交通等細(xì)分領(lǐng)域，目前青云已經(jīng)形成了一整套相對(duì)標(biāo)準(zhǔn)的體系和方案，未來將會(huì)覆蓋智慧工業(yè)、智慧零售、智慧政務(wù)和智慧校園四個(gè)“數(shù)智”化場景。

青云大數(shù)據(jù)工作臺(tái)無疑是青云在與行業(yè)“同頻共振”的新節(jié)點(diǎn)，秉承打通大數(shù)據(jù)全鏈路的理念，與行業(yè)場景深入適配，展現(xiàn)出不同于以往大數(shù)據(jù)產(chǎn)品比較優(yōu)勢的全新突破成果。劉雄風(fēng)最后這樣表示：“我們所追求的是幫助企業(yè)激活數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價(jià)值，加速更多企業(yè)數(shù)智化進(jìn)程的青云大數(shù)據(jù)正在路上。”

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。