?9月18日,2020云棲大會上,阿里云正式推出大數(shù)據(jù)平臺的下一代架構(gòu)——“湖倉一體”,打通數(shù)據(jù)倉庫和數(shù)據(jù)湖兩套體系,讓數(shù)據(jù)和計算在湖與倉之間自由流動,從而構(gòu)建一個完整的有機的大數(shù)據(jù)技術(shù)生態(tài)體系。為企業(yè)提供兼具數(shù)據(jù)湖的靈活性和數(shù)據(jù)倉庫的成長性的新一代大數(shù)據(jù)平臺,降低企業(yè)構(gòu)建大數(shù)據(jù)平臺的整體成本。

大數(shù)據(jù)技術(shù)從本世紀初發(fā)展至今演進出了數(shù)據(jù)倉庫和數(shù)據(jù)湖兩種趨勢,前者通常指云廠商提供的基于大數(shù)據(jù)技術(shù)的一體化服務(wù),后者通常是由一系列云產(chǎn)品或開源組件共同構(gòu)成的大數(shù)據(jù)解決方案。

當企業(yè)處在初創(chuàng)階段,靈活性就非常重要,數(shù)據(jù)湖的架構(gòu)更適用。當企業(yè)逐漸成熟,成長性成為最關(guān)鍵因素,數(shù)據(jù)倉庫的架構(gòu)就再適合不過了。那么,數(shù)據(jù)倉庫和數(shù)據(jù)湖是否只能是一道單選題?能否有一種方案同時兼顧數(shù)據(jù)湖的靈活性和云數(shù)據(jù)倉庫的成長性?

阿里巴巴集團副總裁、阿里云計算平臺負責人賈揚清表示,MaxCompute湖倉一體方案打破了數(shù)據(jù)湖與數(shù)據(jù)倉庫割裂的體系,在架構(gòu)上將數(shù)據(jù)湖的靈活性、生態(tài)豐富與數(shù)據(jù)倉庫的企業(yè)級能力進行融合,從而構(gòu)建數(shù)據(jù)湖和數(shù)據(jù)倉庫融合的湖倉一體的全新計算平臺。MaxCompute湖倉一體方案不僅可廣泛用于支持超大規(guī)模的機器學習和深度學習,還能幫助企業(yè)高效提升自身大數(shù)據(jù)能力,實現(xiàn)敏捷運營,降本增效。

據(jù)悉,MaxCompute在原有的數(shù)據(jù)倉庫架構(gòu)上,融合了存儲計算一體化數(shù)據(jù)倉庫和云上存儲計算分離的數(shù)據(jù)湖,最終實現(xiàn)了湖倉一體化的整體架構(gòu)。在該架構(gòu)中,盡管底層多套存儲系統(tǒng)并存,但通過統(tǒng)一的存儲訪問層和統(tǒng)一的元數(shù)據(jù)管理,向上層引擎提供一體的封裝接口,用戶可以Join數(shù)據(jù)倉庫和數(shù)據(jù)湖中的兩張表,同時整體架構(gòu)還具備統(tǒng)一的數(shù)據(jù)安全、管理和治理等中臺能力。

在技術(shù)融合過程中,MaxCompute不僅實現(xiàn)了快速接入、統(tǒng)一數(shù)據(jù)/元數(shù)據(jù)管理、統(tǒng)一開發(fā)體驗、自動數(shù)倉四個關(guān)鍵技術(shù)點,更持續(xù)提升了核心性能,在2020 TPCx-BigBench中,MaxCompute基于英特爾至強可擴展處理器在100TB規(guī)模保持性能不變的情況下,成本較去年下降了40%;30TB規(guī)模下,性能提升50%以上,成本下降了30%以上。

微博是“湖倉一體”的嘗鮮者。此前微博擁有Hadoop數(shù)據(jù)湖和阿里云大數(shù)據(jù)及AI兩套異構(gòu)的大數(shù)據(jù)平臺,且兩套平臺在集群層面完全割裂,數(shù)據(jù)和計算無法自由流動。為了解決這些難題,微博基于阿里云構(gòu)建了湖倉一體化的AI計算中臺,擺脫了繁重的數(shù)據(jù)搬遷,使得微博的數(shù)據(jù)工程師和算法工程師輕松無縫的借助阿里巴巴成熟的超大規(guī)模算力和算法賦能業(yè)務(wù)提效。同時,將MaxCompute云數(shù)據(jù)倉庫(結(jié)構(gòu)化數(shù)據(jù))與數(shù)據(jù)湖(非結(jié)構(gòu)化數(shù)據(jù))構(gòu)成閉環(huán),極大提升了AI類作業(yè)效率,產(chǎn)生巨大的業(yè)務(wù)價值。

阿里云自研云數(shù)據(jù)倉庫MaxCompute歷經(jīng)近10年技術(shù)沉淀,不僅穩(wěn)定支撐阿里巴巴集團的數(shù)據(jù)存儲和數(shù)據(jù)計算業(yè)務(wù),更是云上客戶大數(shù)據(jù)平臺的重要組成部分。此次湖倉一體發(fā)布,為企業(yè)提供了一種更靈活更高效更經(jīng)濟的數(shù)據(jù)平臺解決方案,既適用于全新構(gòu)建大數(shù)據(jù)平臺的企業(yè),也適合已有大數(shù)據(jù)平臺的企業(yè)進行架構(gòu)升級,切實以技術(shù)加速了企業(yè)的數(shù)字化重構(gòu)。

據(jù)了解,本次云棲大會上,賈揚清還首次發(fā)布阿里云云原生數(shù)據(jù)湖體系,基于對象存儲OSS、數(shù)據(jù)湖構(gòu)建Data Lake Formation和云原生開源大數(shù)據(jù)產(chǎn)品E-MapReduce的強強組合,提供存儲與計算分離架構(gòu)下,涵蓋湖存儲、湖加速、湖管理和湖計算的企業(yè)級數(shù)據(jù)湖解決方案。以及宣布MaxCompute和Hologres產(chǎn)品融合升級,提供離線、實時、分析、服務(wù)一體的數(shù)據(jù)倉庫。

（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）