近日，華為云OBS對象存儲服務(wù)OBSA-HDFS組件代碼完成了開源社區(qū)同行評審，已經(jīng)正式合入Apache Hadoop社區(qū)，標(biāo)志華為云存算分離大數(shù)據(jù)方案正式獲得社區(qū)認(rèn)可，客戶可以通過社區(qū)獲取最新的OBSA-HDFS組件版本，快速在華為云完成大數(shù)據(jù)平臺部署和使用。

Hadoop是Apache基金會的頂級項目，也是業(yè)界領(lǐng)先且使用最廣泛的分布式系統(tǒng)框架，用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。HDFS是Hadoop實(shí)現(xiàn)的分布式文件系統(tǒng)(Hadoop Distributed File System)，為海量數(shù)據(jù)提供高吞吐量、高擴(kuò)展、高可靠和高容錯性的存儲。華為云承諾，未來將會繼續(xù)為Hadoop在公有云場景下的效率提升而努力，并持續(xù)貢獻(xiàn)社區(qū)。

OBSA-HDFS組件全稱為HuaweiCloud OBS Adapter for Hadoop Support，利用OBSA-HDFS，客戶可以在華為云上快速部署存算分離的Hadoop大數(shù)據(jù)平臺，無需修改代碼即可完成Spark、MapReduce、Hive、HBase等組件與華為云OBS對象存儲服務(wù)的對接，并獲得高性能的HDFS存儲。

當(dāng)然，除了客戶端組件外，華為云OBS在服務(wù)端的Data Multi-Protocol功能為達(dá)成存算分離提供了技術(shù)保證。傳統(tǒng)的對象存儲服務(wù)不支持原生的文件協(xié)議，導(dǎo)致大數(shù)據(jù)場景下的rename需要通過拷貝和刪除兩個操作組合來完成，更無法對文件目錄進(jìn)行修改，而拷貝操作會消耗寶貴的IO資源且時延較高。華為云OBS的Data Multi-Protocol支持POSIX文件語義，通過對元數(shù)據(jù)結(jié)構(gòu)和操作的雙重優(yōu)化，可快速完成文件的rename。經(jīng)過測試，在大數(shù)據(jù)場景下，對100MB文件的進(jìn)行rename操作，華為云OBS比傳統(tǒng)對象存儲性能提升10倍以上。

憑借著數(shù)量級的性能提升，華為云BigData Pro存算分離大數(shù)據(jù)解決方案使用OBS替代Hadoop的本地HDFS存儲，讓計算資源和存儲資源完全解耦、獨(dú)立擴(kuò)容，大數(shù)據(jù)分析的性價比平均提升35%以上。更可以構(gòu)建云上統(tǒng)一數(shù)據(jù)湖，消除數(shù)據(jù)孤島、降低數(shù)據(jù)共享難度、減少數(shù)據(jù)冗余、提升存儲資源使用效率。

當(dāng)前，華為云BigData Pro解決方案已經(jīng)服務(wù)于斗魚、美圖、蘑菇街、貨拉拉和長虹等行業(yè)知名客戶。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）