作者:Sundara Raghavan Sankaran
對(duì)于任何一個(gè)進(jìn)入大數(shù)據(jù)世界的人來講,大數(shù)據(jù)和Hadoop 就成了同義詞。隨著人們學(xué)習(xí)了大數(shù)據(jù)生態(tài)系統(tǒng)及其工具和運(yùn)作原理,他們更能理解大數(shù)據(jù)的實(shí)際意義以及Hadoop 在生態(tài)系統(tǒng)中所扮演的角色。
維基百科對(duì)大數(shù)據(jù)這樣解釋:大數(shù)據(jù)是一個(gè)寬泛的術(shù)語(yǔ),它指?jìng)鹘y(tǒng)數(shù)據(jù)處理應(yīng)用程序無法處理的巨大而復(fù)雜的數(shù)據(jù)集。
簡(jiǎn)單來講,隨著數(shù)據(jù)量的增加,采用常規(guī)處理方法需要花費(fèi)大量時(shí)間且價(jià)格不菲。
Doug Cutting受谷歌GFS及MapReduce白皮書的啟發(fā),在 2005年創(chuàng)辦了Hadoop 。Hadoop 采用開源軟件框架對(duì)超大數(shù)據(jù)集進(jìn)行分布式存儲(chǔ)技術(shù)及分布式處理。換句話說,設(shè)計(jì)這一產(chǎn)品的目的在于縮減處理大數(shù)據(jù)集的時(shí)間和成本。
Hadoop,其分布式文件系統(tǒng)(HDFS)和分布式處理模塊(MapReduce)成為大數(shù)據(jù)計(jì)算的實(shí)際標(biāo)準(zhǔn)。Hadoop 這一術(shù)語(yǔ)不僅可以與基礎(chǔ)模塊相關(guān),也與可兼容Hadoop的其他軟件包生態(tài)系統(tǒng)息息相關(guān)。
隨著時(shí)間的推移,生成的數(shù)據(jù)量猛增,處理大量數(shù)據(jù)的需求也隨之猛增。這最終使大數(shù)據(jù)計(jì)算需要滿足各種不同需求,而這些需求并非都可以全部由Hadoop 完成。
大多數(shù)數(shù)據(jù)分析本質(zhì)上是迭代處理。盡管迭代處理可以由MapReduce完成,但數(shù)據(jù)讀取應(yīng)該在每次迭代中進(jìn)行。通常情況下,這并沒有問題。但如果讀取100GB的數(shù)據(jù)或幾個(gè)TB的數(shù)據(jù)時(shí),就會(huì)費(fèi)時(shí),而人們會(huì)不耐煩
許多人認(rèn)為數(shù)據(jù)分析是一門藝術(shù)而非一門科學(xué)。在任何藝術(shù)領(lǐng)域,藝術(shù)家創(chuàng)造一小塊部分拼圖,又將小拼圖將放到更大的拼圖上,見證它的生長(zhǎng)。可以粗略的翻譯為:數(shù)據(jù)分析師想在下一個(gè)處理開始之前得到前一個(gè)處理的結(jié)果。換句話說,許多數(shù)據(jù)分析學(xué)在本質(zhì)上都是交互式的。在傳統(tǒng)意義上,交互式分析習(xí)慣上受結(jié)構(gòu)化查詢語(yǔ)言(SQL)的影響。分析師在數(shù)據(jù)庫(kù)中撰寫可在數(shù)據(jù)中運(yùn)行的查詢條件。盡管Hadoop 也有同類產(chǎn)品(Hive和Pig),這原本也耗時(shí),因?yàn)槊總€(gè)查詢條件需要大量時(shí)間處理數(shù)據(jù)。
這些障礙促使了Spark的誕生,這種新型處理模塊能促進(jìn)迭代編程和交互式分析。Spark裝備了一個(gè)將數(shù)據(jù)載入存儲(chǔ)器并反復(fù)查詢的內(nèi)存原始模型。這使Spark非常適合大量數(shù)據(jù)分析及機(jī)器學(xué)習(xí)算法。
注意,Spark僅僅規(guī)定了分布式處理模塊。存儲(chǔ)數(shù)據(jù)部分仍然依賴Hadoop(分布式文件系統(tǒng)HDFS)采用分布存儲(chǔ)方式高效存儲(chǔ)數(shù)據(jù),而不由Spark完成
Spark 將大數(shù)據(jù)生態(tài)系統(tǒng)設(shè)置在超光速磁盤上,確保比MapReduce快10-100倍。許多人認(rèn)為這可能是MapReduce的終結(jié)。
操作簡(jiǎn)單
相比MapReduce來講,Spark操作簡(jiǎn)單,甚至可以說非常便捷。即使對(duì)于一個(gè)簡(jiǎn)單邏輯或算法,MapReduce也需要100行代碼;但使用Spark,一個(gè)簡(jiǎn)單邏輯,幾行代碼就可以完成。這就引出了一個(gè)關(guān)鍵因素,叫做用途廣泛。許多對(duì)于MapReduce來講不可能完成的機(jī)器學(xué)習(xí)或圖表問題的高級(jí)算法,都可以由Spark完成。這讓Spark的采用率相當(dāng)高。
MapReduce沒有交互模塊。盡管Hive和Pig包含命令行接口,這些系統(tǒng)的性能仍然依賴MapReduce。MapReduce對(duì)于批處理仍然十分受用。
Spark 在內(nèi)存中處理數(shù)據(jù),而MapReduce卻將處理后的數(shù)據(jù)傳送回磁盤。所以Spark將優(yōu)于MapReduce。
在2014年,Spark晉級(jí)Daytona GraySort測(cè)試并拔得頭籌。對(duì)于門外漢來說,DaytonaGraySort是測(cè)試系統(tǒng)檢索100TB(一萬億條記錄)數(shù)據(jù)速度的第三方評(píng)判基準(zhǔn)。
Spark使用206個(gè)AWS EC2 設(shè)備,在23分鐘內(nèi)將100TB的數(shù)據(jù)存儲(chǔ)到磁盤上。此前的最高記錄保持者是MapReduce,它使用了2100臺(tái)設(shè)備,總共花費(fèi)了72分鐘。Spark在相同的條件下卻比MapReduce快了3倍,使用的設(shè)備總數(shù)也少了10倍。
Spark占用大量?jī)?nèi)存。如果我們運(yùn)行Spark的同時(shí)運(yùn)行其他占用內(nèi)存的服務(wù),其性能可能大打折扣。但是,我們可以有把握地說,Spark在迭代處理方面占上風(fēng)(需要多次傳遞同一數(shù)據(jù))。
成本
這兩者在計(jì)算能力、磁盤和網(wǎng)絡(luò)環(huán)境方面的硬件要求都十分相似。內(nèi)存越大,Spark表現(xiàn)越好。這兩者都使用商品服務(wù)器。
MapReduce編程費(fèi)力,市場(chǎng)上這方面的專家并不多。即便有為數(shù)不多的Spark專家,但這也僅僅是因?yàn)镾park是初創(chuàng)產(chǎn)品。所以學(xué)習(xí)Spark編程比MapReduce要容易的多。
脫離了Hadoop 的Spark
運(yùn)行Spark其實(shí)并不需要Hadoop的支持。如果我們沒有從分布式文件系統(tǒng)(HDFS)中讀取數(shù)據(jù),Spark也可以自行運(yùn)行。Spark也可以從諸如S3, Cassandra等其他存儲(chǔ)中讀寫數(shù)據(jù)。在這種架構(gòu)下,Spark可在獨(dú)立模式下運(yùn)行,并不需要Hadoop 組件的支持。
產(chǎn)品使用
近期研究表明在產(chǎn)品中使用Spark的用戶激增。許多用戶同時(shí)運(yùn)行Spark和Cassandra, 或者Spark和Hadoop ,又或者在Apche Mesos上運(yùn)行Spark. 盡管Spark用戶數(shù)量有所增長(zhǎng),但并沒有在大數(shù)據(jù)社區(qū)造成恐慌。MapReduce使用率可能會(huì)下降,但具體降幅未知。
許多人預(yù)測(cè)Spark會(huì)促使另一種更優(yōu)質(zhì)堆棧的發(fā)展。但這種新型堆??赡軙?huì)與Hadoop 及其軟件包生態(tài)系統(tǒng)非常相似。
Spark的最大優(yōu)點(diǎn)是簡(jiǎn)潔。但它并不會(huì)徹底消滅MapReduce,因?yàn)槭褂肕apReduce依然大有人在。即便Spark成為大贏家,除非研發(fā)新分布式文件系統(tǒng),我們將同時(shí)使用Hadoop 和Spark處理數(shù)據(jù)。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 長(zhǎng)江存儲(chǔ)發(fā)布聲明:從無“借殼上市”意愿
- 泛微·數(shù)智大腦Xiaoe.AI正式發(fā)布,千人現(xiàn)場(chǎng)體驗(yàn)數(shù)智化運(yùn)營(yíng)場(chǎng)景
- IDC:2024年第三季度北美IT分銷商收入增長(zhǎng)至202億美元
- AI成為雙刃劍!凱捷調(diào)查:97%組織遭遇過GenAI漏洞攻擊
- openEuler開源五年樹立新里程碑,累計(jì)裝機(jī)量突破1000萬
- 創(chuàng)想 華彩新程!2024柯尼卡美能達(dá)媒體溝通會(huì)煥新增長(zhǎng)之道
- 操作系統(tǒng)大會(huì)2024即將在京召開,見證openEuler發(fā)展新里程
- Gartner:AI引領(lǐng)歐洲IT支出激增,2025年將支出1.28萬億美元
- IDC:中國(guó)數(shù)字化轉(zhuǎn)型支出五年復(fù)合增長(zhǎng)率約為15.6% 高于全球整體增速
- 2028年中國(guó)數(shù)字化轉(zhuǎn)型總體市場(chǎng)規(guī)模將超7300億美元
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。