11月5日,在2022云棲大會(huì)一體化大數(shù)據(jù)智能峰會(huì)上,由開(kāi)放原子開(kāi)源基金會(huì)、X-lab開(kāi)放實(shí)驗(yàn)室和阿里巴巴開(kāi)源委員會(huì)聯(lián)合出品的《2022年開(kāi)源大數(shù)據(jù)熱力報(bào)告》重磅發(fā)布。其中,阿里巴巴推動(dòng)的Apache Flink在流處理領(lǐng)域熱力值排名第一,DataX、Flink CDC、Apache Celeborn入圍熱力榜單。
據(jù)悉,報(bào)告基于公開(kāi)數(shù)據(jù)研究最活躍的102個(gè)開(kāi)源大數(shù)據(jù)項(xiàng)目,探尋出開(kāi)源大數(shù)據(jù)技術(shù)發(fā)展背后的“摩爾定律”,每隔40個(gè)月,開(kāi)源項(xiàng)目熱力值就會(huì)翻一倍,技術(shù)完成一輪更新迭代。開(kāi)放原子開(kāi)源基金會(huì)副秘書(shū)長(zhǎng)劉京娟表示,在過(guò)去8年里,發(fā)生了5次較大規(guī)模的技術(shù)熱力躍遷,多元化、一體化、云原生成為當(dāng)前開(kāi)源大數(shù)據(jù)發(fā)展趨勢(shì)的最顯著特征。
早在2009年,阿里巴巴就開(kāi)始大規(guī)模使用Hadoop等開(kāi)源大數(shù)據(jù)技術(shù),在經(jīng)歷雙11等內(nèi)部核心業(yè)務(wù)錘煉之后,于2015年啟動(dòng)開(kāi)源大數(shù)據(jù)技術(shù)實(shí)時(shí)化,并實(shí)現(xiàn)全面上云,以開(kāi)源大數(shù)據(jù)平臺(tái)E-MapReduce和實(shí)時(shí)計(jì)算Flink版來(lái)對(duì)外提供公共云服務(wù)。阿里巴巴也積極參與開(kāi)源社區(qū)以及合作伙伴的開(kāi)源共建,貢獻(xiàn)了開(kāi)源數(shù)據(jù)Shuffle服務(wù)Celeborn到Apache孵化器,推動(dòng)Flink成為實(shí)時(shí)計(jì)算領(lǐng)域的事實(shí)標(biāo)準(zhǔn),最終形成了開(kāi)放、多元、現(xiàn)代、智能的開(kāi)源大數(shù)據(jù)技術(shù)生態(tài)。
阿里巴巴一直本著開(kāi)放、創(chuàng)新、貢獻(xiàn)的初心積極推動(dòng)開(kāi)源大數(shù)據(jù)技術(shù)的演進(jìn),截止到今年,貢獻(xiàn)了10余個(gè)頂級(jí)開(kāi)源項(xiàng)目,培養(yǎng)50余位頂級(jí)開(kāi)源項(xiàng)目Committer、PMC,代碼貢獻(xiàn)量超過(guò)150萬(wàn),開(kāi)源文化氛圍濃厚,構(gòu)建了圍繞數(shù)據(jù)集成Flink CDC、數(shù)據(jù)分析Flink SQL、機(jī)器學(xué)習(xí)Flink ML、規(guī)則引擎Flink CEP、動(dòng)態(tài)表存儲(chǔ)Flink Table Store的Apache Flink生態(tài)項(xiàng)目群,推動(dòng)Flink茁壯成長(zhǎng)為Apache的頭部項(xiàng)目之一。同時(shí),生長(zhǎng)于阿里巴巴的 Celeborn 項(xiàng)目-大數(shù)據(jù)計(jì)算引擎通用Shuffle服務(wù)成功進(jìn)入Apache孵化器,為開(kāi)源大數(shù)據(jù)技術(shù)更添一份力量。
從共建到引領(lǐng),阿里云開(kāi)源大數(shù)據(jù)產(chǎn)品矩陣升級(jí)
云棲大會(huì)上,阿里云開(kāi)源大數(shù)據(jù)產(chǎn)品矩陣再次升級(jí),開(kāi)源大數(shù)據(jù)平臺(tái)E-MapReduce將技術(shù)引領(lǐng)優(yōu)勢(shì)轉(zhuǎn)化為云上產(chǎn)品服務(wù)能力,重磅發(fā)布E-MapReduce 2.0,面向未來(lái)構(gòu)建下一代開(kāi)源大數(shù)據(jù)基礎(chǔ)設(shè)施,彈性?xún)?yōu)化能力提升3倍,伸縮規(guī)模達(dá)千臺(tái),3分鐘即可創(chuàng)建100節(jié)點(diǎn)的數(shù)據(jù)湖集群。
依托于EMR、OSS、DataWorks產(chǎn)品組合的數(shù)據(jù)湖,滿分通過(guò)了信通院云原生數(shù)據(jù)湖評(píng)測(cè),全面兼容HDFS,湖權(quán)限和生命周期管理能力升級(jí)。實(shí)時(shí)計(jì)算Flink增強(qiáng)了復(fù)雜事件處理功能,可應(yīng)用于實(shí)時(shí)風(fēng)控、實(shí)時(shí)營(yíng)銷(xiāo)場(chǎng)景,分鐘級(jí)作業(yè)診斷,幫助用戶資源效率提升30%。
阿里云還聯(lián)合Elastic 公司推出云原生 Serverless Elasticsearch,為用戶帶來(lái)SaaS化產(chǎn)品體驗(yàn),同時(shí),使用成本下降53%。與Cloudera公司戰(zhàn)略合作的數(shù)據(jù)混合云 Cloudera CDP公共云正式商用,為CDP用戶帶來(lái)統(tǒng)一的云上云下使用體驗(yàn)。
(圖說(shuō):阿里云開(kāi)源大數(shù)據(jù)負(fù)責(zé)人王峰)
阿里巴巴開(kāi)源委員會(huì)大數(shù)據(jù)領(lǐng)域副主席、阿里云開(kāi)源大數(shù)據(jù)負(fù)責(zé)人王峰在會(huì)上表示,開(kāi)源大數(shù)據(jù)技術(shù)已經(jīng)進(jìn)入了全面云原生的時(shí)代,依托全面云原生架構(gòu),為用戶提供極致彈性伸縮,按需使用的服務(wù);同時(shí),在實(shí)時(shí)計(jì)算技術(shù)領(lǐng)域持續(xù)創(chuàng)新,提出Flink SQL + Table Store的使用方式,實(shí)現(xiàn)端到端的數(shù)倉(cāng)鏈路實(shí)時(shí)流動(dòng),提供全增量數(shù)據(jù)鏈路一致性體驗(yàn);構(gòu)建統(tǒng)一架構(gòu)的云原生數(shù)據(jù)湖,架構(gòu)從存算一體到存算分離,融合多元化計(jì)算模式,實(shí)現(xiàn)智能安全的數(shù)據(jù)湖管理。在此基礎(chǔ)之上,持續(xù)優(yōu)化“智能運(yùn)維大腦”,推出如Flink作業(yè)自動(dòng)調(diào)優(yōu),EMR Doctor智能運(yùn)維診斷系統(tǒng)等,全面加深開(kāi)源大數(shù)據(jù)平臺(tái)的增值能力,幫助用戶更高效地使用。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )