導(dǎo)語:

產(chǎn)業(yè)數(shù)字化升級(jí),數(shù)據(jù)由幕后走到臺(tái)前,“數(shù)據(jù)湖”與“數(shù)據(jù)倉”逐漸形成目前“湖倉一體”的數(shù)據(jù)體系進(jìn)化趨勢(shì)。這股風(fēng)潮不僅僅席卷數(shù)據(jù)圈,更影響了一系列下游產(chǎn)業(yè),對(duì)數(shù)據(jù)的場景落地構(gòu)成最為直接的影響,尤其是IT運(yùn)維。

“湖倉一體”是目前大數(shù)據(jù)繞不開的一個(gè)坎兒

當(dāng)數(shù)據(jù)真正成為一種生產(chǎn)資料,我們才切實(shí)進(jìn)入大數(shù)據(jù)時(shí)代。筆者以為,當(dāng)數(shù)據(jù)被主動(dòng)沉淀下來并進(jìn)行復(fù)用的行為出現(xiàn),才意味著一個(gè)企業(yè)確實(shí)將數(shù)據(jù)變?yōu)橐环N生產(chǎn)資料。

這種沉淀,必然涉及數(shù)據(jù)的存儲(chǔ)。隨著數(shù)據(jù)存儲(chǔ)技術(shù)和應(yīng)用場景快速豐富的同時(shí),關(guān)于數(shù)據(jù)湖、數(shù)據(jù)倉的爭論也日趨白熱化。數(shù)據(jù)湖和數(shù)據(jù)倉用于描述數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),但它們的優(yōu)勢(shì)卻各有不同。

簡單理解,數(shù)據(jù)倉就像一個(gè)大型圖書館,數(shù)據(jù)根據(jù)類別等統(tǒng)一的規(guī)范分類放好,雖然存取手續(xù)較為復(fù)雜,但確保能方便找到,且找到即可直接使用。數(shù)據(jù)倉一般面向主題設(shè)計(jì),提升了數(shù)據(jù)的結(jié)構(gòu)程度,可存儲(chǔ)大量的結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)量和數(shù)據(jù)類型尚且不豐富的時(shí)代,數(shù)據(jù)倉并沒有遇到太大的瓶頸。2011年之前,數(shù)據(jù)倉還占據(jù)著主流市場,當(dāng)數(shù)據(jù)上云等趨勢(shì)出現(xiàn)后,數(shù)據(jù)倉得以依靠云端降低成本,滿足日益擴(kuò)大的數(shù)據(jù)量。

數(shù)據(jù)湖則面向更廣泛的數(shù)據(jù)源,并大大提升了信息密度,可以容納結(jié)構(gòu)化、半結(jié)構(gòu)化甚至是非結(jié)構(gòu)化的數(shù)據(jù);數(shù)據(jù)可以是各種格式,比如文本、音頻、視頻。

如一汪湖泊就是一個(gè)生態(tài)。數(shù)據(jù)湖的優(yōu)勢(shì)在于其對(duì)數(shù)據(jù)的范式?jīng)]有太嚴(yán)苛的要求,可以保留大量的原始數(shù)據(jù),對(duì)于真正“跑”在數(shù)據(jù)上的企業(yè)來說做到了“高保真”。同時(shí),數(shù)據(jù)湖存儲(chǔ)、處理、分析數(shù)據(jù)的基礎(chǔ)設(shè)施是可以不斷拓展的,這也極大降低了存儲(chǔ)成本。數(shù)據(jù)湖對(duì)數(shù)據(jù)不加嚴(yán)格規(guī)范,也造成了數(shù)據(jù)質(zhì)量、可用性等問題較為突出,這一點(diǎn)又將人們的目光轉(zhuǎn)向了數(shù)據(jù)倉。

在21世紀(jì)的第二個(gè)十年,數(shù)據(jù)湖和數(shù)據(jù)倉的爭議一直未停止。短期看來,數(shù)據(jù)湖的可擴(kuò)展性,適合目前業(yè)務(wù)端突飛猛進(jìn)的數(shù)據(jù)環(huán)境;長期看來,數(shù)據(jù)倉的規(guī)范性利于后端數(shù)據(jù)運(yùn)維,實(shí)現(xiàn)企業(yè)價(jià)值的沉淀。數(shù)據(jù)湖和數(shù)據(jù)倉的爭議,可大致視為數(shù)據(jù)擴(kuò)展性和可用性之爭。

近年來,產(chǎn)業(yè)數(shù)字化進(jìn)程帶來了數(shù)據(jù)場景大爆發(fā),使得湖倉之爭最終走向統(tǒng)一:既然數(shù)據(jù)湖和數(shù)據(jù)倉都有各自的優(yōu)點(diǎn),那么取長補(bǔ)短就是了?？梢栽O(shè)計(jì)一種范式,擁有數(shù)據(jù)湖的低成本存儲(chǔ)和可擴(kuò)展優(yōu)點(diǎn),又有數(shù)據(jù)倉的規(guī)范性,就像在湖邊建水產(chǎn)倉庫,需要的時(shí)候從湖里提取、就地分類加工。湖倉一體,正是客觀環(huán)境催生的產(chǎn)物。

IT分布式運(yùn)維是大數(shù)據(jù)“湖倉一體”最直接的著陸點(diǎn)

湖倉一體的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)思路,引發(fā)了數(shù)據(jù)存儲(chǔ)革命的浪潮,IT運(yùn)維首當(dāng)其沖。

IT運(yùn)維的數(shù)字化升級(jí),標(biāo)志著對(duì)數(shù)據(jù)劃時(shí)代的運(yùn)用,讓數(shù)據(jù)“從幕后走到臺(tái)前”。在運(yùn)維過程中,數(shù)據(jù)源變得多樣化、巨量化。企業(yè)需要邁入大數(shù)據(jù)門檻,優(yōu)先要考慮的,就是數(shù)據(jù)對(duì)IT運(yùn)維的劃時(shí)代影響。對(duì)于企業(yè)來說,數(shù)據(jù)的可擴(kuò)展性、可用性要求雙雙提升,數(shù)據(jù)將成為直接的生產(chǎn)資料,而非評(píng)估生產(chǎn)的輔助標(biāo)準(zhǔn)。

數(shù)據(jù)源的豐富,帶來數(shù)據(jù)量和數(shù)據(jù)場景的雙重爆發(fā)。數(shù)據(jù)產(chǎn)生于基礎(chǔ)設(shè)施,伴生而來的IT運(yùn)維面臨兩個(gè)顯著問題:

1、數(shù)據(jù)直接反映系統(tǒng)的健康狀況,成為決策者的直接參考,其類型和范式都面臨巨大增長;

2、數(shù)據(jù)采集由離散變?yōu)檫B續(xù),由被動(dòng)采集變成了主動(dòng)采集、留存、分析,數(shù)據(jù)量產(chǎn)生了指數(shù)級(jí)飛躍。

對(duì)于企業(yè)來說,下一個(gè)時(shí)代的IT運(yùn)維,是在深入與數(shù)據(jù)打交道。數(shù)據(jù)成為了名副其實(shí)的生產(chǎn)資料,運(yùn)維標(biāo)準(zhǔn)、運(yùn)維思路足以決定企業(yè)在數(shù)字化的路上是原地踏步,還是大踏步前進(jìn)。

相較于之前流于數(shù)據(jù)湖、數(shù)據(jù)倉的爭議,IT運(yùn)維遇到的數(shù)據(jù)問題則現(xiàn)實(shí)得多:IOT時(shí)代企業(yè)的IT環(huán)境,要求既要擁有數(shù)據(jù)湖的兼容和可擴(kuò)展性,又要具備數(shù)據(jù)倉的可用性。湖倉一體的架構(gòu)思路,自然成為了企業(yè)構(gòu)建IT運(yùn)維大數(shù)據(jù)棧的必選項(xiàng)。

目前市面提供的IT運(yùn)維基礎(chǔ)設(shè)施方案,普遍落后于生產(chǎn)力需求,難以促成真正的數(shù)據(jù)化布局。市面上對(duì)IT運(yùn)維解決方案的升級(jí),僅僅限于部署單機(jī)、局域網(wǎng)式、小規(guī)模的監(jiān)控運(yùn)維產(chǎn)品,盡管多有推陳出新,卻同樣是“數(shù)據(jù)倉”思維的延續(xù),畢竟過去面向主營業(yè)務(wù)這一主題設(shè)計(jì)數(shù)據(jù)倉,數(shù)據(jù)類型和數(shù)據(jù)數(shù)量都在可控范圍。

如今,隨著數(shù)據(jù)來源復(fù)雜化,企業(yè)若想沿襲數(shù)據(jù)倉的形式,數(shù)據(jù)倉就只能設(shè)計(jì)得更加臃腫,數(shù)據(jù)孤島更加嚴(yán)重,企業(yè)將不得不以擴(kuò)大運(yùn)維投入的手法來收獲增長。

另一方面,產(chǎn)業(yè)升級(jí)的趨勢(shì)、產(chǎn)能擴(kuò)大的客觀需求,讓企業(yè)的IT基礎(chǔ)設(shè)施高度離散;在生產(chǎn)效率、多端業(yè)務(wù)協(xié)同、一體化管理上卻產(chǎn)生了更高的要求。這些要求,僅能通過IT基礎(chǔ)設(shè)施分布式運(yùn)維解決。在數(shù)據(jù)結(jié)構(gòu)層面,“湖倉一體”思路自然成為IT分布式運(yùn)維的必答題。

監(jiān)控易IT基礎(chǔ)設(shè)施分布式運(yùn)維,為“湖倉一體”寫下注腳

企業(yè)應(yīng)用傳統(tǒng)的單機(jī)式、局域網(wǎng)式的運(yùn)維產(chǎn)品,投入巨大、管理混亂尚在其次;開拓新業(yè)務(wù)即搭建新的數(shù)據(jù)體系的做法,只會(huì)讓企業(yè)陷入數(shù)據(jù)倉的無窮增補(bǔ)中,在數(shù)字化的大門面前舉步維艱。

美信時(shí)代的監(jiān)控易,準(zhǔn)確切入了大數(shù)據(jù)時(shí)代企業(yè)構(gòu)建“湖倉一體”IT運(yùn)維體系的客觀需求,對(duì)IT基礎(chǔ)設(shè)施實(shí)現(xiàn)分布式運(yùn)維。

首先,監(jiān)控易內(nèi)置了自研的BigRiver四合一超融合數(shù)據(jù)庫。

BigRiver四合一超融合數(shù)據(jù)庫最初專為網(wǎng)管數(shù)據(jù)研發(fā)而成,采用超融合策略,為用戶提供集成“消息隊(duì)列”、“Key-Value樹狀數(shù)據(jù)庫”、“關(guān)系型表狀數(shù)據(jù)庫”、“內(nèi)存數(shù)據(jù)庫”和“高性能時(shí)序數(shù)據(jù)庫”為一體的超融合數(shù)據(jù)庫存儲(chǔ)。這讓BigRiver數(shù)據(jù)庫具備了數(shù)據(jù)湖的一些基本特征,囊括主流數(shù)據(jù)類型的特性讓數(shù)據(jù)庫具備相當(dāng)?shù)募嫒菪?消除數(shù)據(jù)孤島。輔以高壓縮算法,顯著提升數(shù)據(jù)庫的泛用性和讀寫效率,夯實(shí)IT分布式運(yùn)維基礎(chǔ)。BigRiver數(shù)據(jù)庫還具備出色的事務(wù)管理機(jī)制,保證數(shù)據(jù)的一致性和完整性,對(duì)數(shù)據(jù)質(zhì)量的重視,也具備數(shù)據(jù)倉的嚴(yán)謹(jǐn)。

除了對(duì)基礎(chǔ)設(shè)施友好,BigRiver數(shù)據(jù)庫還提供了豐富多元的操作接口,包括“標(biāo)準(zhǔn)SQL接口”、“自有BSAPI接口”和“Grafana展示接口”,便于用戶的使用、查詢和展示,賦予數(shù)據(jù)可視化屬性,更便于運(yùn)維人員介入。

其次,監(jiān)控易的中央控制臺(tái)可以輕易實(shí)現(xiàn)一體化資源配置。

消除數(shù)據(jù)孤島、洞察一切分布式IT基礎(chǔ)設(shè)施,對(duì)于監(jiān)控易僅僅是“基本操作”。監(jiān)控易采用“云邊端一體化”架構(gòu),可通過架構(gòu)的核心——中央控制臺(tái)進(jìn)行協(xié)調(diào)、管理、分配眾多的任務(wù)管理器和實(shí)時(shí)數(shù)據(jù)庫,調(diào)動(dòng)云管理中的各項(xiàng)功能模塊,實(shí)現(xiàn)一體化資源調(diào)配。

做到這些尚且不能算完全實(shí)現(xiàn)了IT分布式運(yùn)維。

第三,監(jiān)控易還擁有具體到監(jiān)控終端(TS)的長臂管轄能力。監(jiān)控易系統(tǒng)采用底層分布式架構(gòu),各地?cái)?shù)據(jù)中心或機(jī)房皆可實(shí)現(xiàn)一體化運(yùn)維。終端自帶高性能數(shù)據(jù)庫,設(shè)備指標(biāo)的采集在監(jiān)控終端完成,僅將監(jiān)控?cái)?shù)據(jù)和告警信息上傳中央控制臺(tái),節(jié)省了帶寬,在集中管理平臺(tái)上呈現(xiàn)關(guān)鍵信息。如監(jiān)測(cè)任務(wù)負(fù)載過高,TS監(jiān)測(cè)服務(wù)器還會(huì)自動(dòng)調(diào)節(jié)監(jiān)測(cè)任務(wù)量,實(shí)現(xiàn)監(jiān)控終端分布式管理、一體化運(yùn)維的“壯舉”。

通過三大核心組件,監(jiān)控易在IT基礎(chǔ)設(shè)施領(lǐng)域,實(shí)現(xiàn)了分布式運(yùn)維,打破了傳統(tǒng)依賴單機(jī)版進(jìn)行局域網(wǎng)、小規(guī)模網(wǎng)絡(luò)運(yùn)維的模式,構(gòu)建了為TOP3000規(guī)模級(jí)別的頭部企業(yè)打造分布式一體化運(yùn)維平臺(tái)的實(shí)力,也徹底貫徹了數(shù)據(jù)庫的湖倉一體。目前,監(jiān)控易已應(yīng)用于政府、軍工、金融、電力、石油石化、交通、醫(yī)療等多個(gè)領(lǐng)域,納管設(shè)備超百萬臺(tái)。

數(shù)據(jù)領(lǐng)域?qū)?shù)據(jù)井噴時(shí)代的探索,挖掘出“湖倉一體”這個(gè)成果,將會(huì)極大影響未來的數(shù)字世界。“湖倉一體”今后將在各個(gè)領(lǐng)域得到印證;在IT運(yùn)維領(lǐng)域,監(jiān)控易實(shí)現(xiàn)IT分布式運(yùn)維,就是對(duì)湖倉一體最有力的注腳。它成功證明了在科學(xué)合理的架構(gòu)下,龐大的、分布式的IT基礎(chǔ)設(shè)施,可以實(shí)現(xiàn)數(shù)據(jù)的“生產(chǎn)資料化”,賦能企業(yè)數(shù)字化進(jìn)程。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）