導讀：盡管還存在安全等問題，但Hadoop已經為部署在大企業(yè)中的大型項目做好準備。Hadoop作為Apache的頂級開源項目，主要被應用于分析大數(shù)據(jù)集，現(xiàn)今已被包括eBay、Facebook、Yahoo、AOL和Twitter等互聯(lián)網公司廣泛采用。而就在上個月微軟、IBM和甲骨文也都紛紛擁抱Hadoop。

越來越多的企業(yè)已經開始摸索Hadoop技術，目的就是為處理博客、點擊所帶來的數(shù)據(jù)流和社交媒體所帶來的數(shù)據(jù)。Hadoop可以供存儲和分析的能力，以便在大數(shù)據(jù)中為客戶提升業(yè)務洞察力。

大數(shù)據(jù)在企業(yè)中迅速擴張 相關人才短缺

目前相關人才短缺的問題相當嚴重。來自JP摩根大通公司以及eBay的IT高管們在本月于紐約舉行的Hadoop全球大會都表達了同樣的觀點。eBay公司搜索與平臺部門副總裁Hugh Williams就在大會上表示目前他們正在誠招Hadoop專業(yè)人員。而JP摩根大通公司總經理Larry Feinsmith則半開玩笑的表示，他們不僅愿意聘用合格的專業(yè)人士，還會提供比eBay高出10%的優(yōu)厚待遇。

Larry Feinsmith表示現(xiàn)今JP摩根大通仍然嚴重的依賴傳統(tǒng)的關系數(shù)據(jù)庫系統(tǒng)進行事務處理。但隨著越來越多的欺詐檢測以及IT風險管理和自我服務等，過去的系統(tǒng)已經不能滿足現(xiàn)有的需求，而Hadoop技術的特性恰好能夠適應當今企業(yè)的業(yè)務。

JP摩根大通現(xiàn)在擁有150PB在線存儲的數(shù)據(jù)，30000個數(shù)據(jù)庫。用戶帳戶記錄的總金額達到350億美元。這些數(shù)據(jù)充分說明了數(shù)據(jù)是JP摩根大通的命脈。Hadoop的優(yōu)勢就是適合存儲海量的非結構數(shù)據(jù)，這使得企業(yè)能夠有效收集和存儲網絡日志，以及交易數(shù)據(jù)和社交媒體的數(shù)據(jù)。Larry Feinsmith說到。

而eBay搜索和平臺副總裁Hugh Williams表示eBay現(xiàn)在正在使用Hadoop技術和HBase數(shù)據(jù)庫。以便進行實時的數(shù)據(jù)分析。同時還利用Hadoop技術為其網站構建了新的搜索引擎。據(jù)他透露eBay活躍買家和賣家超過了9700萬，網站每天有接近20億次的頁面瀏覽量，同時帶來每天2.5億次的搜索或查詢和數(shù)百億的數(shù)據(jù)庫調用。他還表示eBay現(xiàn)在有9PB的數(shù)據(jù)存儲在Hadoop和Teradata集群之中，并且數(shù)據(jù)量還在迅速的增長。

Hadoop存在硬性標準 數(shù)據(jù)挖掘等領域人才為潛在對象

Forrester研究公司分析師James Kobielus認為在當今的企業(yè)中，Hadoop就是新一代的數(shù)據(jù)倉庫，并應被看作是新的數(shù)據(jù)源。比起當今傳統(tǒng)關系數(shù)據(jù)庫管理系統(tǒng)，Hadoop使企業(yè)具有存儲、管理海量結構化數(shù)據(jù)和非結構化數(shù)據(jù)卷的能力。

James Kobielus表示越來越多的企業(yè)對諸如Hadoop分析技術需求的增加導致Hadoop相關從業(yè)人員炙手可熱。能夠駕馭Hadoop的人對企業(yè)貢獻極大，他們理應獲取相應的薪酬。Hadoop需要從業(yè)者具備高級分析領域的相關工作經驗，例如像具備使用MapReduce及R語言等新一代技術解決方案處理預測及統(tǒng)計建模的能力。而具備多元統(tǒng)計分析、數(shù)據(jù)挖掘、預測建模、自然語言處理、內容分析、文本分析及社交領域分析等領域技術背景的相關人員都是從事Hadoop的潛在對象。

Hadoop受到企業(yè)廣泛關注的同時也帶來了對Hadoop平臺專業(yè)管理人員的硬性需求。他們的工作職責包括Hadoop集群、安全及管理，并對其進行優(yōu)化以確保集群對企業(yè)的可用性。之前負責管理Teradata及Oracle Exadata的數(shù)據(jù)庫管理員現(xiàn)在正試圖向Hadoop集群管理的角色轉變。他們會意識到這是一個全新的天地。同時，存儲管理專業(yè)人員也是不可或缺，他們現(xiàn)在要做的就是幫助Hadoop環(huán)境與現(xiàn)有傳統(tǒng)數(shù)據(jù)庫技術相結合。

Hadoop專業(yè)人員主要分三類

Karmasphere公司總裁 Martin Hall表示目前對Hadoop專業(yè)人員的需求主要分三大類：數(shù)據(jù)分析師（又稱數(shù)據(jù)科學家）、數(shù)據(jù)工程師以及IT數(shù)據(jù)管理專家。Karmasphere現(xiàn)主要經營項目正是為Hadoop環(huán)境開發(fā)軟件產品。

Martin Hall認為，數(shù)據(jù)管理專家的職責在于選擇、安裝、管理、規(guī)范以及擴展大規(guī)模的Hadoop集群。這些專業(yè)人員決定了Hadoop是否應立足于云還是采取預置模式，包括供應商該如何選擇以及使用那款Hadoop分布方案、集群規(guī)模以及被用于運行生產應用程序還是用于進行質量測試等。此職位應具備的技能與以往負責傳統(tǒng)關系數(shù)據(jù)庫與數(shù)據(jù)庫環(huán)境類的任務頗為相似。

同時，Hadoop數(shù)據(jù)工程師還要負責創(chuàng)建數(shù)據(jù)處理工作以及建立分布式MapReduce算法，以便數(shù)據(jù)分析師使用。從事Java和C++等領域技能水平能力較為突出的專業(yè)人士更便于在企業(yè)大規(guī)模部署Hadoop的浪潮中得到更多的機會。

而第三類專業(yè)需求則是在SAS、SPSS以及以R語言為代表的編程語言等方面具備豐富經驗的數(shù)據(jù)科學家。這些專業(yè)人士能夠將建立、分析、共享以及智能整合加以集中，并存儲于Hadoop環(huán)境中。

就目前來看，Hadoop領域的人才短缺意味著企業(yè)會更加依賴于服務供應商提供的部署技術。支撐這一論點的一大跡象是在專業(yè)的咨詢及系統(tǒng)集成行業(yè)內，專攻Hadoop實際應用帶來的收入要遠遠大于Hadoop產品銷售所帶來的收入。

如今Cloudera、MapR、Hortonworks以及IBM這樣的企業(yè)如今已經在提供Hadoop的相關培訓課程，人們應該充分利用這些資源，通過建立Hadoop卓越中心使自己的企業(yè)獲得最大收益。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。