1、概述

阿里云原生數(shù)倉 AnalyticDB for PostgreSQL 與 AMD 新一代硬件深度優(yōu)化,結合全自研計算引擎及行列混合存儲實現(xiàn)性能升級,綜合性能提升30%。結合豐富的企業(yè)級能力幫助企業(yè)構建離在線一體、流批一體綜合數(shù)據(jù)分析平臺,采用同一引擎即可滿足離線批處理、流式加工,交互式分析三種場景,在開發(fā)運維、時效性及成本上具備更高的性價比。

2、性能優(yōu)化路徑

2.1 硬件架構優(yōu)化

2.1.1 芯片性能提升

AMD 和阿里云聯(lián)合打造的新一代硬件采用全新 CIPU 架構,處理器采用 AMD EPYC Genoa 處理器,可提供穩(wěn)定的算力輸出、更強勁的I/O引擎以及芯片級安全加固。

第四代 EPYC 較第三代 EPYC 性能提升顯著,針對分析型數(shù)據(jù)庫產(chǎn)品痛點在高算力、高內存帶寬、低延遲等特點進行優(yōu)化,可幫助企業(yè)用戶在數(shù)據(jù)倉庫、在線分析場景中具備更好的性能。

2.1.2 計算能效提升

在性能功耗比方面,新一代服務器在相同核心數(shù)量下(對比搭載兩個64核AMD EPYC 9534和兩個64核的AMD EPYC 7763的服務器)整數(shù)性能提升約24%,浮點性提升約52%?？梢杂酶俚姆掌鱽硗瓿赏瑯拥墓ぷ?或者用同樣數(shù)量的服務器在相同的時間內完成更多的工作。

2.1.3 安全性和隔離性提升

第四代 AMD EPYC 支持安全內存加密(SME)和安全加密虛擬化(SEV),將內存與擁有他的線程相關聯(lián),從而幫助擊退旁路攻擊;增加了SEV中加密上下文的數(shù)量,可以容納更多的安全虛擬機。

通過 AMD 安全加密狀態(tài)(SEV-ES)幫助保護虛擬機狀態(tài)不受惡意或受損管理程序影響;還增加AMD安全嵌套分頁(SEV-SNP)功能,以防止數(shù)據(jù)重放、內存重映射等攻擊。

2.2 數(shù)據(jù)庫內核優(yōu)化

2.2.1 全自研計算引擎

AnalyticDB for PostgreSQL 全自研計算引擎為數(shù)據(jù)處理和交互式分析加速。它通過以下技術實現(xiàn)性能提速:

● 應用芯片向量化技術如 SIMD 指令集等把芯片的并行化計算能力利用到極致。

● 采用 LLVM JIT 即動態(tài)編譯優(yōu)化,加速計算以提高數(shù)據(jù)處理效率。

● 自適應內存模型,根據(jù)計算模式動態(tài)選擇行存/列存內存模型。

● 針對典型場景提供加速方案,比如針對 Runtime Filter 加速Join分析,字典特性加速低基數(shù)字段計算場景等。

2.2.2 全自研行列混存

一份存儲下即可支持實時高吞吐寫入/更新和實時高聚合分析兩種場景。

寫入方面利用 Write Optimized Part 高效承接批量/流式數(shù)據(jù)并通過內部 Optimize 優(yōu)化,將數(shù)據(jù)轉化為更利于查詢的 Read Optimized Part,從而實現(xiàn)高效的查詢性能。利用 Metadata 實現(xiàn)高并發(fā) Update/Delete。

支持基于 Btree 索引的強主鍵模型,在寫入數(shù)據(jù)時實現(xiàn)高效精準去重。在實時寫入場景中單 CPU Core 可達到10萬行/秒的寫入性能。

支持 Upsert 功能在產(chǎn)生主鍵沖突時用戶可根據(jù)實際業(yè)務需要靈活地選擇忽略更新、覆蓋更新或是條件更新模式。

在查詢方面存儲引擎無縫兼容多種索引類型如 Btree , GIN , GIST 和 自研向量檢索索引,可以實現(xiàn)任意維度的高性能點查,全文檢索和向量檢索。

2.2.3 資源隔離增強

支持混合負載實現(xiàn)資源*大化利用,可同時承載流式寫入,數(shù)據(jù)加工,交互式分析三類任務。

引擎通過資源組實現(xiàn)資源管理,相對使用資源隊列更精細化、管理資源類別更全面。

它支持對CPU、內存按照業(yè)務優(yōu)先級設置資源隔離策略,支持動態(tài)配置,配置即生效不需要重啟引擎,大大減輕運維壓力。

2.2.4 安全能力增強

完善和增強安全能力:

● 網(wǎng)絡連接安全,支持 SSL TLS 1.1/1.2/1.3 加密算法,滿足*新的網(wǎng)絡安全要求。

● 存儲安全,支持云盤加密實現(xiàn)數(shù)據(jù)加密存儲。

● 加密算法,支持非對稱加密和對稱加密算法如 SM4。

● 支持行級和列級權限管控,做到*細權限粒度控制和*小化敏感數(shù)據(jù)訪問。

● 動態(tài)數(shù)據(jù)脫敏,引擎級支持對敏感字段設置脫敏規(guī)則,實現(xiàn)敏感信息過濾和保護。

● 支持 SQL 審計可對 SQL 操作明細進行審核。支持事件審計可實現(xiàn)對異常行為追溯。

3、測試結果

性能測試采用國際標準 TPC-H 測試集進行,實驗組搭載 AMD EPYC Genoa 服務器 ,對照組集群搭載同等規(guī)格下的其它主流硬件。

3.1 測試資源

3.2 測試過程

3.3 測試總結

采用國際標準 TPC-H 測試集以及在同等運行環(huán)境下,AnalyticDB for PostgreSQL 采用 AMD EPY 服務器較比常規(guī)主流服務器平均性能提升 32.7%。

4、優(yōu)勢及應用場景

4.1 離在線一體分析

AnalyticDB for PostgreSQL 在 AMD 硬件加持和全自研計算引擎及存儲助力下,可同時提供穩(wěn)定高效的離線批處理和高性能在線報表分析能力,具備高性價比:

● 數(shù)據(jù)加工后即可為下游報表工具或系統(tǒng)提供在線數(shù)據(jù)分析服務,避免在多引擎中同步數(shù)據(jù)造成數(shù)據(jù)不一致和時效性低的問題。

● 全自研引擎實現(xiàn)高性能交互式分析,行列混合存儲可實現(xiàn)高效的IO裁剪,加速多維組合分析。

● 支持實時物化視圖實現(xiàn)高并發(fā)報表查詢。

4.2 海外數(shù)倉平滑遷移

SQL語法全覆蓋并且支持自定義函數(shù)和存儲過程。高度兼容 Greenplum/Redshift/Synapse/Snowflake 語法。

可覆蓋海外云數(shù)倉產(chǎn)品企業(yè)級能力,在安全能力、資源隔離、容災等方面實現(xiàn)加強。在實時分析、交互式分析能力上較比海外數(shù)倉功能及性能更好,更具性價比。

4.3 流批一體實時數(shù)倉

自研業(yè)界*流批一體引擎讓用戶在數(shù)倉內即可開發(fā)流式任務,支持對批和流任務進行細粒度的資源隔離。

● 可消費 Kafka/Flink/DTS 實時數(shù)據(jù)源,支持高吞吐流式數(shù)據(jù)寫入。

● 支持增量實時物化視圖同步和異步刷新,可實現(xiàn)實時多表關聯(lián)(支持左連接和右連接)、全量歷史數(shù)據(jù)回溯、流和批表關聯(lián)。

● 可支持實時 Ad-hoc 查詢,滿足實時報表分析和下游應用系統(tǒng)高時效性數(shù)據(jù)需求。

5、開啟方式

新購實例優(yōu)先開啟AMD形態(tài)。在選擇地域時,建議用戶勾選“北京、上海、杭州、深圳”地域開啟實例。

（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）