ClickHouse 的發(fā)展

近十年以來(lái)，交互式分析領(lǐng)域百花齊放，大量解決方案隨著大數(shù)據(jù)技術(shù)升級(jí)而涌現(xiàn)，但尚未有產(chǎn)品達(dá)到類(lèi)似 Oracle 和 MySQL 一樣在 OLTP(Online Transaction Processing)領(lǐng)域中領(lǐng)先的地位。其中，ClickHouse 作為一款 PB 量級(jí)的交互式分析數(shù)據(jù)庫(kù)，最早是由號(hào)稱(chēng)“俄羅斯 Google ”的 Yandex 公司開(kāi)發(fā)，并很快作為世界第二大網(wǎng)絡(luò)引擎的流量分析平臺(tái) Yandex.Metrica(同類(lèi)產(chǎn)品包括 Google Analytics、友盟統(tǒng)計(jì))的核心查詢(xún)引擎。

綜合來(lái)說(shuō)，ClickHouse 作為交互式分析數(shù)據(jù)庫(kù)，有幾大明顯優(yōu)勢(shì)：

多：大規(guī)模并行計(jì)算框架，超高吞吐的實(shí)時(shí)寫(xiě)入能力;

快：極致的查詢(xún)性能，尤其是在大寬表為主體的數(shù)據(jù)模型中;

好：無(wú)侵入式架構(gòu)，輕松集成到現(xiàn)有系統(tǒng)，可復(fù)用上下游數(shù)據(jù)開(kāi)發(fā)工具;

?。撼浞掷糜布Y源，以極低的成本分析海量數(shù)據(jù);

DB-Engine 上 ClickHouse 的排名趨勢(shì)圖

自 2016 年開(kāi)源以來(lái)，ClickHouse 憑借其數(shù)倍于其他頂尖交互式分析數(shù)據(jù)庫(kù)的極致性能，成為該領(lǐng)域的后起之秀，發(fā)展速度非常迅猛。截止 2021 年 8 月份，ClickHouse 已在 Github 上獲得 18.2K Star，DB-Engines 排名近一年上升 16 位，并在國(guó)內(nèi)獲得字節(jié)跳動(dòng)、快手、京東等互聯(lián)網(wǎng)企業(yè)的生產(chǎn)級(jí)使用。

ClickHouse與字節(jié)跳動(dòng)的故事

近年來(lái)，字節(jié)跳動(dòng)旗下抖音、今日頭條等產(chǎn)品的成長(zhǎng)速度之快引人注目。事實(shí)上，承載著這些產(chǎn)品持續(xù)高速增長(zhǎng)的關(guān)鍵所在，是背后的中臺(tái)化技術(shù)底座。無(wú)論是在算法、AI 還是數(shù)據(jù)分析等核心技術(shù)上，字節(jié)跳動(dòng)在相關(guān)領(lǐng)域中一直保持著領(lǐng)先水平。

字節(jié)跳動(dòng)：中臺(tái)化的技術(shù)底座

其中字節(jié)跳動(dòng)對(duì) ClickHouse 的選型和使用也是如此，從 2017 年最早的用戶(hù)行為分析場(chǎng)景開(kāi)始，逐漸開(kāi)始支持廣告業(yè)務(wù)、用戶(hù)增長(zhǎng)、A/B測(cè)試、算法模型優(yōu)化等大量?jī)?nèi)部場(chǎng)景，并演化成國(guó)內(nèi)最大規(guī)模的ClickHouse使用者。

目前字節(jié)內(nèi)部的 ClickHouse 節(jié)點(diǎn)總數(shù)超過(guò)1萬(wàn)5千個(gè)，管理總數(shù)據(jù)量超過(guò)600PB，最大的集群規(guī)模在 2400 余個(gè)節(jié)點(diǎn)。字節(jié)跳動(dòng)內(nèi)部廣泛的業(yè)務(wù)增長(zhǎng)分析很多都建立在ClickHouse為基礎(chǔ)的查詢(xún)引擎上。

在從 0 到 15000 節(jié)點(diǎn)的過(guò)程中，字節(jié)跳動(dòng)的技術(shù)團(tuán)隊(duì)也遇到了很多開(kāi)源 ClickHouse 的運(yùn)維痛點(diǎn)和技術(shù)挑戰(zhàn)。如多表關(guān)聯(lián)查詢(xún)、復(fù)雜嵌套子查詢(xún)等復(fù)雜場(chǎng)景下，仍有性能不足、無(wú)法支持?jǐn)?shù)據(jù)按條更新、實(shí)時(shí)數(shù)據(jù)寫(xiě)入的性能有限、集群擴(kuò)展難度較高、運(yùn)維復(fù)雜度高等問(wèn)題。

對(duì)此，隨著業(yè)務(wù)場(chǎng)景持續(xù)增多，字節(jié) ClickHouse 技術(shù)團(tuán)隊(duì)通過(guò)自研的方式極大地豐富了 ClickHouse 可使用的場(chǎng)景，提高運(yùn)維的人效，不僅解決了開(kāi)源技術(shù)上手難和試錯(cuò)成本高的痛點(diǎn)，同時(shí)已經(jīng)有足夠能力來(lái)提供商業(yè)產(chǎn)品和企業(yè)級(jí)技術(shù)支持服務(wù)。

火山引擎正式發(fā)布ByteHouse

過(guò)去，與開(kāi)源社區(qū)用戶(hù)的交流中，經(jīng)常聽(tīng)到的反饋是 ClickHouse “上手容易，用好很難”，或由于沒(méi)有經(jīng)驗(yàn)而“想用不敢用”，這對(duì)于性能如此出眾的存儲(chǔ)引擎來(lái)說(shuō)，不免遺憾。

現(xiàn)在，字節(jié)跳動(dòng)旗下企業(yè)級(jí)技術(shù)服務(wù)平臺(tái)火山引擎正式對(duì)外發(fā)布「ByteHouse」，為大家提供企業(yè)級(jí)技術(shù)支持服務(wù)。作為 ClickHouse企業(yè)版，ByteHouse經(jīng)過(guò)了字節(jié)跳動(dòng)內(nèi)部海量數(shù)據(jù)場(chǎng)景的打磨和極限的業(yè)務(wù)要求，更加符合企業(yè)高速增長(zhǎng)訴求，其主要亮點(diǎn)如下：

分布式查詢(xún)?cè)鰪?qiáng)：支持星型模型等復(fù)雜的多表關(guān)聯(lián)場(chǎng)景，進(jìn)一步去除數(shù)據(jù)冗余和數(shù)據(jù)準(zhǔn)備成本;

支持Upsert 語(yǔ)義：既保留了ClickHouse高效的數(shù)據(jù)寫(xiě)入性能、又支持 Upsert(update or insert) 寫(xiě)入方式，幫助業(yè)務(wù)更簡(jiǎn)單地開(kāi)發(fā)實(shí)時(shí)分析應(yīng)用;

實(shí)時(shí)數(shù)據(jù)引擎：支持實(shí)時(shí)數(shù)據(jù)高效寫(xiě)入，支持 exactly once 語(yǔ)義，寫(xiě)入性能遠(yuǎn)超原生架構(gòu);

數(shù)據(jù)分級(jí)存儲(chǔ)：冷熱數(shù)據(jù)分級(jí)存儲(chǔ)在HDFS和本地存儲(chǔ)，自動(dòng)化管理數(shù)據(jù)熱度，自動(dòng)轉(zhuǎn)存不同存儲(chǔ)，有效緩解業(yè)務(wù)存儲(chǔ)空間持續(xù)增長(zhǎng)的問(wèn)題;

企業(yè)級(jí)運(yùn)維工具：自助運(yùn)維能力，包括配置下發(fā)、指標(biāo)告警、集群健康度監(jiān)控、查詢(xún)?nèi)蝿?wù)診斷、集群負(fù)載管理等功能，極大提高了運(yùn)維人效。

作為國(guó)內(nèi) ClickHouse 技術(shù)的多年深度實(shí)踐者，ByteHouse 現(xiàn)基于自研技術(shù)能力和超大規(guī)模使用經(jīng)驗(yàn)，為更多的企業(yè)大數(shù)據(jù)團(tuán)隊(duì)帶來(lái)新的選擇和支持，以應(yīng)對(duì)復(fù)雜多變的業(yè)務(wù)需求，高速增長(zhǎng)的數(shù)據(jù)場(chǎng)景。未來(lái)，ByteHouse 將不斷以字節(jié)跳動(dòng)和外部最佳實(shí)踐輸出給行業(yè)用戶(hù)，幫助企業(yè)更好地構(gòu)建交互式大數(shù)據(jù)分析平臺(tái)，并更廣泛的與 ClickHouse 研發(fā)者社群共享經(jīng)驗(yàn)，共同推動(dòng) ClickHouse 社區(qū)的發(fā)展。

ByteHouse中文產(chǎn)品官網(wǎng)：https://bytehouse.cn/product/enterprise-clickhouse

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）