在過去的 6 年里，本文的作者一直在關(guān)注 Data Eng Weekly（前身是 Hadoop Weekly），它是與大數(shù)據(jù)和數(shù)據(jù)工程相關(guān)內(nèi)容的重要來源，涵蓋了非常廣泛的技術(shù)文章、產(chǎn)品公告和行業(yè)新聞。
今年，作者打算將分析 Data Eng 的歸檔內(nèi)容（這些歸檔可追溯到 2013 年 1 月）作為其個(gè)人項(xiàng)目，來析過去 6 年中的大數(shù)據(jù)的趨勢(shì)和變化。
為此，作者抓取并清理了 290 多期內(nèi)容（使用了 Python 爬蟲），保留了與技術(shù)、新聞和發(fā)布公告相關(guān)的文章片段。接下來，他對(duì)文章片段進(jìn)行了一些基本的自然語(yǔ)言處理并應(yīng)用了一些基本的過濾，最后生成關(guān)鍵字和下下列表。
過去七年的主要趨勢(shì)
作者繪制了特定關(guān)鍵詞被提及次數(shù)的月滾動(dòng)平均值，并將它們繪制在同一個(gè)圖表上。下面的圖表說明了這些技術(shù)大約在什么時(shí)間點(diǎn)變得越來越流行。
Hadoop 與 Spark
從 2013 年 Spark 開始接管 Hadoop 的那一刻起，Hadoop 就開始穩(wěn)步下滑。
Hadoop 與 Kafka
Kafka 成為所有大數(shù)據(jù)技術(shù)棧的主要構(gòu)建塊。
Hadoop 與 Kubernetes
Kubernestes 的崛起，盡管 Data Eng Weekly 并不十分關(guān)注 DevOps，但卻也見證了從 2017 年開始圍繞 Kubernetes 在各個(gè)領(lǐng)域的全面炒作。
年度熱門關(guān)鍵詞
我只是簡(jiǎn)單地畫出在給定年份中被提及次數(shù)最多的 10 個(gè)關(guān)鍵詞。
?2013 年：Hadoop 的黃金時(shí)期！
所有原始的 Hadoop 項(xiàng)目都在這里：HDFS、YARN、MR、PIG……以及兩大主流發(fā)行版 CDH 和 HDP，除此之外別無其他！
?2014 年：Spark 的崛起！
Hadoop 總體上延續(xù)了它的統(tǒng)治地位，但 Spark 在這一年推出的第一個(gè)版本成為 2014 年最熱門的話題！
?2015 年：Kafka 來了！
Spark 取代 Hadoop 的一名位的置，Kafka 進(jìn)入前三。大多數(shù)舊項(xiàng)目（HDFS、YARN、MR、PIG……）都沒有進(jìn)入前十。
?2016 年：流式處理火熱！
2016 年是流式處理年，Kafka 取代了 Hadoop 第二名的位置，Spark（流式處理）繼續(xù)占據(jù)主導(dǎo)地位。
?2017：一切向流式處理看齊！
與 2016 年的陣容相同，只是加入了 Flink。
?2018 年：回到基礎(chǔ)！
Kubernetes 首次亮相，我們回到了基礎(chǔ)，試圖找出如何管理（K8S）、調(diào)度（airflow）和運(yùn)行（Spark、Kafka、存儲(chǔ)……）我們的流。
?2019 年：…
現(xiàn)在對(duì) 2019 年給出任何結(jié)論還為時(shí)過早，但看起來 K8s 將在 2019 年成為主流！
?英文原文：https://blog.marouni.fr/bidata-trends-analysis/
作者 | Abbass Marouni
譯者 | 無明
來自：?InfoQ
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 從量子威脅到人工智能防御：2025年網(wǎng)絡(luò)安全將如何發(fā)展
- 后人工智能時(shí)代：2025年，在紛擾中重塑數(shù)據(jù)、洞察和行動(dòng)
- 2025年展望：人工智能推動(dòng)IT整合
- 量子計(jì)算：商業(yè)世界的新前沿與設(shè)計(jì)思維的融合
- IDC：三季度全球以太網(wǎng)交換機(jī)收入同比下降7.9%、環(huán)比增長(zhǎng)6.6%
- Fortinet李宏凱：2025年在中國(guó)大陸啟動(dòng)SASE PoP節(jié)點(diǎn)部署 助力企業(yè)出海
- Fortinet李宏凱：2024年Fortinet全球客戶已超80萬(wàn)
- 央國(guó)企采購(gòu)管理升級(jí)，合合信息旗下啟信慧眼以科技破局難點(diǎn)
- Apache Struts重大漏洞被黑客利用，遠(yuǎn)程代碼執(zhí)行風(fēng)險(xiǎn)加劇
- Crunchbase：2024年AI網(wǎng)絡(luò)安全行業(yè)風(fēng)險(xiǎn)投資超過26億美元
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
