隨著智能時代的到來,全球在線數(shù)據(jù)量快速增長,企業(yè)希望從海量數(shù)據(jù)中獲得有價值的信息,使得數(shù)據(jù)分析需求日益增長。然而,傳統(tǒng)數(shù)據(jù)庫,以及基于Hadoop架構(gòu)的數(shù)據(jù)庫產(chǎn)品難以滿足企業(yè)快速增長的需求,業(yè)界急需一款在性能、經(jīng)濟(jì)、安全可靠性方面都表現(xiàn)優(yōu)秀的分析型數(shù)據(jù)庫(數(shù)據(jù)倉庫)。
針對市場需求,天翼云推出了新一代云原生分析型數(shù)據(jù)庫TeleDB for AnalyticDB(簡稱TeleDB-ADB),為國內(nèi)數(shù)據(jù)分析市場提供了一款新的解決方案。目前,TeleDB-ADB已經(jīng)在中國電信內(nèi)部的數(shù)據(jù)分析、清單查詢等生產(chǎn)場景實(shí)踐應(yīng)用,助力用戶高效組織、存儲和管理數(shù)據(jù)。
TeleDB-ADB自上而下由三層獨(dú)立的可擴(kuò)展組件組成:元數(shù)據(jù)、計算集群和存儲層,基于獨(dú)立的可擴(kuò)展組件設(shè)計,TeleDB-ADB可處理超大規(guī)模數(shù)據(jù)的存儲、管理和高并發(fā)、高性能的數(shù)據(jù)查詢需求,各組件的功能如下:
元數(shù)據(jù):基于分布式KV設(shè)計,負(fù)責(zé)處理和保存系統(tǒng)元數(shù)據(jù),如表結(jié)構(gòu)、索引、分區(qū)信息、數(shù)據(jù)類型等,可管理億級以上數(shù)據(jù)庫對象;
計算集群:采用MPP Shared-Nothing架構(gòu),允許多個用戶通過不同的計算集群訪問存儲層的公共數(shù)據(jù),并執(zhí)行高性能的加載、查詢等工作。因?yàn)橛嬎銓硬淮鎯τ脩魯?shù)據(jù)和元數(shù)據(jù),所以該組件是無狀態(tài)的、可按需調(diào)配的;
存儲層:基于云架構(gòu)的對象存儲系統(tǒng),可存取大量各種結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)對全局計算集群共享,以及在不同集群的寫入數(shù)據(jù)在其他集群立即可見,有效避免了多集群數(shù)據(jù)冗余存儲、數(shù)據(jù)遷移帶來的額外影響和資源消耗。
除上述組件外,TeleDB-ADB還配有高效的集群管控,管控集群采用圖形化配置,管理數(shù)據(jù)庫提供包括運(yùn)維管理、權(quán)限管理、監(jiān)控告警、參數(shù)配置等能力,并通過ETCD提供的Raft一致性算法處理,解決了整個數(shù)據(jù)庫分布式系統(tǒng)中關(guān)鍵配置的一致性問題。依托該設(shè)計方式,TeleDB-ADB能夠更好地支持復(fù)雜的數(shù)據(jù)分析任務(wù),提高數(shù)據(jù)處理效率和準(zhǔn)確性,以及可擴(kuò)展性,使能用戶按需創(chuàng)建、刪除、伸縮計算集群。同時,集群間資源完全隔離,用戶可采用不同配置、不同品牌、不同架構(gòu)的硬件混合部署在私有云平臺或物理服務(wù)器上。
TeleDB-ADB聚焦“性能、成本、彈性、安全”四大核心要素,為用戶提供海量數(shù)據(jù)分析以及處理復(fù)雜計算任務(wù)等服務(wù)。
性能卓越,業(yè)內(nèi)領(lǐng)先
TeleDB-ADB采用先進(jìn)的分布式架構(gòu),能夠輕松應(yīng)對PB級海量數(shù)據(jù),擁有近乎GB/s的數(shù)據(jù)導(dǎo)入速率。無論是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù),TeleDB-ADB都能實(shí)現(xiàn)高效存儲和查詢。
在TPC-DS(分析型數(shù)據(jù)庫性能測試基準(zhǔn))的標(biāo)準(zhǔn)測試數(shù)據(jù)集下的1~99個查詢SQL集中,TeleDB-ADB比某知名數(shù)據(jù)庫平均性能優(yōu)秀約5%(如下圖)。
在某個混合數(shù)據(jù)倉庫(后稱數(shù)倉)大數(shù)據(jù)能力開放平臺CDAP項(xiàng)目中,TeleDB-ADB解決了用戶在數(shù)據(jù)在線應(yīng)用時遇到的復(fù)雜分析和高并發(fā)問題。該企業(yè)原有系統(tǒng)在面對復(fù)雜數(shù)據(jù)分析時,難以在合理的時間內(nèi)給出結(jié)果,業(yè)務(wù)方不得不將一張大表拆分成數(shù)張小表,再進(jìn)行數(shù)據(jù)分析、結(jié)果匯總和檢查,而TeleDB-ADB則可在分鐘級時間內(nèi)產(chǎn)出正確結(jié)果。
比如,在該企業(yè)的多表關(guān)聯(lián)查詢的業(yè)務(wù)場景中,需要進(jìn)行42張表的聯(lián)接操作,其中主表包含2400萬條數(shù)據(jù),關(guān)聯(lián)表數(shù)據(jù)量在1000萬~4000萬之間,分析需求需要通過左連接方式進(jìn)行關(guān)聯(lián),TeleDB-ADB在2分鐘左右就獲取了正確結(jié)果,幫助用戶迅速解決業(yè)務(wù)中各類復(fù)雜分析需求。
自動調(diào)配資源,實(shí)現(xiàn)降本增效
據(jù)多個用戶的最佳實(shí)踐顯示,TeleDB-ADB的投入比傳統(tǒng)數(shù)倉節(jié)省約1/3,給予用戶極致的TCO(總體擁有成本)。這是由于傳統(tǒng)數(shù)倉需要基于計算和存儲峰值準(zhǔn)備資源,而企業(yè)的實(shí)際分析需求是波動的(如下圖灰線所示),這意味著在某些時刻,這些數(shù)倉的計算和存儲資源有可能被浪費(fèi)。TeleDB-ADB采用計算與存儲完全解耦的優(yōu)秀架構(gòu),在基于對象存儲提供近乎無限的延展性和高彈性的同時,可自動擴(kuò)縮容計算資源,在業(yè)務(wù)不需要的時候釋放計算資源,需要的時候再添加,其TCO在不同時期是波動的(如下圖紅色模塊所示)。
另外,TeleDB-ADB的元數(shù)據(jù)系統(tǒng),可保障數(shù)據(jù)全局可見,從而支持多個計算需求使用同一份數(shù)據(jù)進(jìn)行計算,而不需要額外的副本。例如在大數(shù)據(jù)分析、多年歷史分析和海量日志分析等需要存儲和使用大量歷史數(shù)據(jù)的場景中,元數(shù)據(jù)系統(tǒng)大大了提高存儲資源利用率,以及數(shù)據(jù)的治理效率。
此外,TeleDB-ADB基于SQL:2003標(biāo)準(zhǔn),可提供完整的事務(wù)能力,兼容PostgreSQL和Greenplum協(xié)議語法,支持標(biāo)準(zhǔn)的JDBC和ODBC接口。這意味著TeleDB-ADB可與市場上大多數(shù)成熟的BI或ETL工具兼容,由此企業(yè)幾乎可以無縫遷移到TeleDB-ADB。
無限彈性,輕松應(yīng)對海量數(shù)據(jù)
在面對企業(yè)打通部門數(shù)據(jù)墻、構(gòu)建統(tǒng)一數(shù)據(jù)中臺的需求時,TeleDB-ADB可同時為眾多部門和分支機(jī)構(gòu)提供訪問,讓不同應(yīng)用需求共享一個數(shù)據(jù)倉庫系統(tǒng)。相對于傳統(tǒng)數(shù)倉,TeleDB-ADB具有更優(yōu)秀的并發(fā)能力、擴(kuò)展性能,以及更高的容量。
相較來說,傳統(tǒng)數(shù)倉雖彈性可擴(kuò)展,但其架構(gòu)中的計算和存儲是緊耦合的。在擴(kuò)容涉及到數(shù)據(jù)的重分布時,數(shù)倉通常存儲的數(shù)據(jù)量達(dá)TB或PB級別,完成一次數(shù)據(jù)重分布需要花費(fèi)至少幾個小時甚至更長時間。有些傳統(tǒng)數(shù)倉在重分布期間也無法正常寫入數(shù)據(jù),這將對部分業(yè)務(wù)的正常運(yùn)行造成影響。這也意味著大多數(shù)傳統(tǒng)數(shù)倉仍然需要基于峰值準(zhǔn)備資源。
而TeleDB-ADB可對計算和存儲資源進(jìn)行單獨(dú)的擴(kuò)縮容,使得數(shù)據(jù)庫在擴(kuò)展過程中仍能提供服務(wù)。它能夠根據(jù)存儲和計算資源的不足進(jìn)行擴(kuò)展,在實(shí)現(xiàn)分鐘級擴(kuò)展的同時保證二者互不影響。當(dāng)沒有計算任務(wù)時,TeleDB-ADB還可在不影響數(shù)據(jù)持久性和可訪問性的情況下釋放計算資源,極大地提高了公司計算資源的使用效率。
安全為先,守護(hù)數(shù)據(jù)寶藏
TeleDB-ADB作為分析型數(shù)據(jù)庫,高度重視數(shù)據(jù)安全能力打造,通過了國家等保三級備案和密評檢查,提供多重身份認(rèn)證、強(qiáng)制訪問控制、數(shù)據(jù)加密、安全審計等多種安全特性,以及精確到行、列級的權(quán)限,有效保障用戶的安全和隱私。
TeleDB-ADB具備高可用性和容災(zāi)備份能力,支持跨地域的多地多中心部署架構(gòu),即使在極端情況下,依托故障自愈能力和數(shù)據(jù)強(qiáng)一致性,也能保障用戶數(shù)據(jù)的完整性和數(shù)據(jù)安全。
總體來說,TeleDB-ADB依托先進(jìn)的架構(gòu),具備強(qiáng)大的數(shù)據(jù)處理能力、靈活的可擴(kuò)展性、可靠的安全性以及完善的用戶服務(wù)體系,并在實(shí)踐中積累了豐富的落地經(jīng)驗(yàn)。對于希望提升數(shù)據(jù)處理效率、降低成本并獲得更多商業(yè)洞察的企業(yè)來說,通過TeleDB-ADB,企業(yè)可以更好地挖掘數(shù)據(jù)價值,為業(yè)務(wù)決策提供有力支持。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )