云原生正在重新定義大數(shù)據(jù)平臺？

目前看的確如此。從2021年Apache Spark和Confluent Kafka宣布支持Kubernetes，到騰訊云等云服務商積極推出多款云原生大數(shù)據(jù)產(chǎn)品，產(chǎn)業(yè)界近年來都在積極探索：如何利用高速發(fā)展的云原生技術去解決傳統(tǒng)大數(shù)據(jù)平臺的諸多問題，從而進一步降低大數(shù)據(jù)技術、產(chǎn)品和服務的使用門檻，幫助用戶更好地釋放數(shù)據(jù)價值。

如今，云原生大數(shù)據(jù)平臺成為大勢所趨。作為國內(nèi)最早布局云原生大數(shù)據(jù)領域的廠商，騰訊云在2018就發(fā)布初具云原生能力的彈性MapReduce（EMR），到2021年流計算產(chǎn)品Oceanus Serverless版，再到2022年上線EMR容器版……

在2023騰訊全球數(shù)字生態(tài)大會上，騰訊云并未停下腳步，又密集發(fā)布Elasticsearch serverless版、數(shù)據(jù)湖計算DLC、TCHouse-C云原生彈性版等多款產(chǎn)品，其兼具廣度與深度的云原生大數(shù)據(jù)產(chǎn)品完整版圖日漸清晰。

傳統(tǒng)大數(shù)據(jù)平臺亟待突破

大數(shù)據(jù)發(fā)展初期，多數(shù)企業(yè)數(shù)據(jù)規(guī)模不大、業(yè)務響應速度要求不高，以Hadoop為代表的傳統(tǒng)大數(shù)據(jù)技術體系對于釋放數(shù)據(jù)價值發(fā)揮了關鍵作用。

但隨著數(shù)字經(jīng)濟持續(xù)發(fā)展，數(shù)據(jù)驅(qū)動型業(yè)務場景加速涌現(xiàn)，用戶們對于大數(shù)據(jù)開發(fā)需求產(chǎn)生了根本性變化，多租戶環(huán)境下的大數(shù)據(jù)開發(fā)、大數(shù)據(jù)資源高效利用、新技術快速集成等一系列全新需求。

而傳統(tǒng)大數(shù)據(jù)生態(tài)復雜，松耦合的開發(fā)方式雖然有靈活、適應面廣等優(yōu)勢，但也不可避免的會遇到組件之間匹配成熟度、版本沖突、集成測試困難等挑戰(zhàn)，用戶在使用時需要耗費大量精力在部署、組件配置等工作上；另外，像一些大數(shù)據(jù)平臺的商業(yè)發(fā)行版復雜度極高，太多組件不僅缺乏靈活性，還容易帶來使用和運維上的額外工作。

Gartner在技術成熟度曲線報告中也指出Hadoop發(fā)行版諸多問題近年來處于愈演愈烈的趨勢。目前看，云原生技術恰是突破的那味“良藥”。眾所周知，云原生是最近十年數(shù)據(jù)中心領域最重要的技術趨勢之一，正在對傳統(tǒng)技術棧產(chǎn)生顛覆性的影響。在大數(shù)據(jù)領域，容器、K8S等云原生技術對于大數(shù)據(jù)產(chǎn)品影響巨大。Gartner就預測，到2025年，部署在云原生平臺上的數(shù)據(jù)應用將增長到95%，這意味著云原生大數(shù)據(jù)平臺未來將勢不可擋 。

不過，云原生大數(shù)據(jù)平臺的落地絕非一蹴而就，依然面臨著眾多技術難題和產(chǎn)品挑戰(zhàn)。目前看，在眾多大數(shù)據(jù)廠商中，以騰訊云為代表的云服務商憑借諸多優(yōu)勢，正成為云原生大數(shù)據(jù)平臺領域的引領者。

因為，云服務商并非簡單地從單個產(chǎn)品或者單點技術的思維角度來解決傳統(tǒng)大數(shù)據(jù)平臺的問題，而是以系統(tǒng)性的整體思維推動云原生大數(shù)據(jù)的高效落地。

云服務商的這種整體性思維不僅可以讓大數(shù)據(jù)應用的開發(fā)、部署和運維更加簡單，還能充分發(fā)揮公有云分布式架構彈性、靈活、高效等諸多優(yōu)勢；更加重要的是，如今的云不僅僅是一個IT資源的集中地，更像是云、數(shù)、智的融合體，云服務商可以推動云原生大數(shù)據(jù)與AI等新技術、服務進行融合，從而幫助用戶更加高效地釋放數(shù)據(jù)價值。

深度與廣度并舉：騰訊云構建完整云原生大數(shù)據(jù)版圖

就像石油需要經(jīng)過提煉才能被廣泛使用一樣，數(shù)據(jù)也需要經(jīng)過采集整合、拉通共享和分析應用等才能充分釋放價值。因此，數(shù)據(jù)價值的釋放需要經(jīng)過數(shù)據(jù)生命周期的完整鏈路，絕非單個產(chǎn)品或者技術就能完成。

過去十年，移動化、社交化帶來了數(shù)據(jù)指數(shù)級增長、數(shù)據(jù)來源廣泛化、數(shù)據(jù)類型多元化，而像5G、物聯(lián)網(wǎng)、邊緣計算的興起，讓現(xiàn)代數(shù)據(jù)應用的復雜性進一步提升。而云原生大數(shù)據(jù)平臺最大的價值就是讓數(shù)據(jù)價值釋放過程更加簡單和方便，幫助用戶利用好數(shù)據(jù)和聚焦應用創(chuàng)新。

一直以來，騰訊云都致力于構建完整的云原生大數(shù)據(jù)版圖，從數(shù)據(jù)湖計算DLC、云數(shù)據(jù)倉庫TChouse、檢索分析引擎Elasticsearch Service等數(shù)據(jù)基礎設施，到涵蓋數(shù)據(jù)開發(fā)治理的DataOps數(shù)據(jù)工具Wedata，再到騰訊云BI等的數(shù)據(jù)應用分析服務，以層層遞進來幫助用戶降低數(shù)據(jù)使用難度和形成數(shù)據(jù)資產(chǎn)體系。

在2023騰訊全球數(shù)字生態(tài)大會上，騰訊云又發(fā)布了ES-Serverless版、數(shù)據(jù)湖計算DLC、TCHouse-C云原生彈性版等多款極富競爭力的產(chǎn)品，進一步擴大和完善了云原生大數(shù)據(jù)的產(chǎn)品版圖。

例如，騰訊云此次對云數(shù)據(jù)倉庫TCHouse進行了品牌全面升級，TCHouse劃分為TCHouse-C、TCHouse-D和TCHouse-P三大產(chǎn)品系列，共同構成性能與易用性兼具的企業(yè)級云數(shù)倉體系，有效滿足用戶在不同業(yè)務場景中的選擇。

這其中，針對數(shù)據(jù)來源廣泛、數(shù)據(jù)價值潛力巨大的半結(jié)構化數(shù)據(jù)為主的業(yè)務場景，騰訊云發(fā)布了TCHouse-C云原生彈性版本。該版本基于ClickHouse 內(nèi)核，采用存算分離的全新架構，分布式大規(guī)模并行處理 MPP 框架可充分利用硬件，Schema-less無需預先定義數(shù)據(jù)結(jié)構和模式，帶來巨大的靈活性與擴展性，實現(xiàn)日志檢索、APM等場景下非結(jié)構化數(shù)據(jù)實時分析性能20倍提升；另外，通過控制臺分鐘級構建 ClickHouse 分析集群，簡單操作即可快速實現(xiàn)集群擴、縮容和節(jié)點變配等；支持獨立部署和VPC私有網(wǎng)絡隔離，數(shù)據(jù)訪問安全和集群高可用有保障的同時，實現(xiàn)使用成本的大幅下降。

又如，騰訊云還發(fā)布了基于自研云原生 Serverless 技術架構打造的云端一站式全托管 Elasticsearch 服務：ES-Serverless版本。開源Elasticsearch存在彈性能力較弱、穩(wěn)定性不足、資源成本與運維管理成本高等顯著缺陷，ES-Serverless版本則支持自動彈性、完全免運維、按需付費，提供從數(shù)據(jù)接入到索引存儲、檢索分析的端到端一站式體驗，有效解決日志分析、指標監(jiān)控等業(yè)務場景下波峰波谷導致的資源成本高等問題。

再如，騰訊云大數(shù)據(jù)發(fā)布了基于Spark、Presto、Iceberg構建的云原生Serverless湖倉分析服務：數(shù)據(jù)湖計算DLC。騰訊云數(shù)據(jù)湖計算DLC覆蓋湖場景和倉應用場景，兼具數(shù)據(jù)湖與數(shù)據(jù)倉庫的優(yōu)勢，采用為降本而設計的云原生存算分離架構，計算和存儲均按需使用，并提供高效率實時急速分析能力，內(nèi)業(yè)首個支持百萬級/秒 QPS實時入湖以及端到端分鐘級時延，廣泛適應于BI、交互式分析，AI、科學計算等多種大數(shù)據(jù)應用場景分析；并且作為云原生Serverless產(chǎn)品形態(tài)，數(shù)據(jù)湖計算DLC實現(xiàn)開箱即用，免底層運維，大幅降低使用門檻和成本。

如今，隨著數(shù)據(jù)應用的豐富性和復雜性持續(xù)提升，云原生大數(shù)據(jù)平臺的演進路徑也已愈發(fā)清晰，即像騰訊云大數(shù)據(jù)那樣，在產(chǎn)品層面實現(xiàn)深度與廣度并舉的策略，通過構建完整、領先的云原生大數(shù)據(jù)產(chǎn)品與服務，來幫助用戶解決復雜數(shù)據(jù)問題、充分釋放數(shù)據(jù)價值。

AI融合，讓數(shù)據(jù)價值釋放更從容

從技術層面來看，云計算、大數(shù)據(jù)以及AI具備天然融合的特性。過去十年，云計算的快速發(fā)展和普及，為大數(shù)據(jù)帶來彈性、靈活、高效以及堅實的基礎設施保障；未來十年，AI是大數(shù)據(jù)發(fā)展的最大驅(qū)動力，大數(shù)據(jù)與AI的融合有望讓數(shù)據(jù)價值釋放更加從容。

尤其是AI大模型的興起，所展示的強大能力和較強的泛用性，正在全球范圍內(nèi)引爆新一輪的數(shù)據(jù)變革，基于大模型的應用在辦公、會議、對話、搜索、廣告等領域嶄露頭角，將極大地推動了大數(shù)據(jù)與AI的融合。因為，大模型應用的核心是高質(zhì)量數(shù)據(jù)，數(shù)據(jù)的質(zhì)量又決定著算法的性能、泛化能力和應用效果，而高質(zhì)量的數(shù)據(jù)又十分依賴大數(shù)據(jù)平臺來解決與數(shù)據(jù)相關的“清洗、治理、傳輸”等環(huán)節(jié)。

事實上，騰訊云是最早探索與布局大數(shù)據(jù)與AI融合的廠商之一。騰訊云Elasticsearch serverless 8.8.1版本具備云端AI增強與向量檢索能力，將檢索能力與大語言模型的自然語言理解能力結(jié)合，提供與大模型集成的端到端的搜索與分析體驗，實現(xiàn)大數(shù)據(jù)與AI的協(xié)同與融合。

例如，大語言模型應用當前存在知識停滯和缺乏特定領域?qū)I(yè)知識的兩個典型挑戰(zhàn)。為此，Elasticsearch serverless 8.8.1充分利用向量檢索和大模型結(jié)合，把問題和通過向量檢索得到的結(jié)果集發(fā)送給大模型，大模型可以對私域知識進行語言組織，給出一個人性化的高質(zhì)量回答。

另外，針對大模型場景，騰訊云還強化了DLC ，依托其Serverless形態(tài)下免運維、輕量化、低門檻的特性，以及內(nèi)置對Pyspark支持與優(yōu)化、對Jupyter良好集成性，可以高效、穩(wěn)定地支持大規(guī)模的數(shù)據(jù)預處理，大幅降低大模型對于底層數(shù)據(jù)基礎設施的投入成本，成為AIGC場景首選的大數(shù)據(jù)底座。

綜合觀察，騰訊云大數(shù)據(jù)產(chǎn)品近年來獲得了市場的廣泛認可，多次入圍Forrester、沙利文、賽迪等國內(nèi)外研究機構的大數(shù)據(jù)權威報告，其背后離不開騰訊云對于大數(shù)據(jù)產(chǎn)業(yè)發(fā)展痛點的洞察、用戶行業(yè)場景的實踐以及新技術的持續(xù)探索。面向未來，騰訊云已經(jīng)構建起深度與廣度并舉的云原生大數(shù)據(jù)產(chǎn)品版圖，并且加速推動大數(shù)據(jù)與AI的融合，未來有望為用戶的數(shù)據(jù)價值釋放帶來最優(yōu)解。

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。