最近,由Platform Computing和SAS研究所共同贊助的一項(xiàng)華爾街科技調(diào)查顯示,各種規(guī)模和類型的企業(yè),無論其是買方還是賣方,都認(rèn)為不斷增加的數(shù)據(jù)量是進(jìn)行業(yè)務(wù)分析時(shí)面臨的最大挑戰(zhàn),因此,在未來的一年里,它們將優(yōu)先投資于能敏捷分析和強(qiáng)有力的處理技術(shù)。對(duì)內(nèi)部和外部數(shù)據(jù)進(jìn)行預(yù)測(cè)分析將使得金融服務(wù)企業(yè)可以更好、更主動(dòng)地管理和解決各種可能遇到的信貸和經(jīng)營(yíng)風(fēng)險(xiǎn)、欺詐和聲譽(yù)風(fēng)險(xiǎn)、客戶忠誠度和盈利能力等問題。
數(shù)據(jù)的增長(zhǎng),尤其是諸如電子郵件這樣的非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)為企業(yè)帶來了特殊的挑戰(zhàn),數(shù)據(jù)類型的多樣化和數(shù)據(jù)量的急劇增長(zhǎng)使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫難以應(yīng)對(duì),因此,金融服務(wù)企業(yè)正在針對(duì)數(shù)據(jù)分析研究下一代數(shù)據(jù)處理技術(shù)。
對(duì)于處理“大數(shù)據(jù)”來說,最有發(fā)展前景的技術(shù)之一是Apache Hadoop軟件和MapReduce框架。然而,現(xiàn)有的Hadoop軟件還缺少金融服務(wù)企業(yè)大規(guī)模部署MapReduce應(yīng)用時(shí)所需的企業(yè)級(jí)魯棒性。
在現(xiàn)有的MapReduce解決方案中,Platform公司的Platform Symphony MapReduce是最適合于投入生產(chǎn)環(huán)境中的產(chǎn)品,也是同類產(chǎn)品中的佼佼者。Platform Symphony MapReduce是一種面向MapReduce應(yīng)用的企業(yè)級(jí)分布式運(yùn)行時(shí)引擎,旨在為MapReduce應(yīng)用提供可隨時(shí)應(yīng)用到生產(chǎn)環(huán)境中的各種功能,諸如很高的資源可用性和可預(yù)測(cè)性、支持多種應(yīng)用和文件系統(tǒng)、操作成熟度、SLA策略控制以及極高的資源利用率。Platform Symphony MapReduce以Platform Computing公司多年來在分布式工作負(fù)載調(diào)度和管理領(lǐng)域的豐富經(jīng)驗(yàn)為基礎(chǔ),其成熟的技術(shù)支持著《財(cái)富》500強(qiáng)中眾多公司要求極為苛刻的關(guān)鍵型任務(wù)的運(yùn)行,為企業(yè)級(jí)的MapReduce應(yīng)用提供了前所未有的分布式工作負(fù)載運(yùn)行時(shí)服務(wù)。
Platform Symphony MapReduce是一款擁有增強(qiáng)版MapReduce框架的企業(yè)級(jí)產(chǎn)品,其功能與Apache Hadoop的功能完全兼容,解決了組織機(jī)構(gòu)在目前可用的ApacheHadoop環(huán)境里部署MapReduce應(yīng)用所面臨的主要運(yùn)行風(fēng)險(xiǎn)。
Platform Symphony MapReduce為企業(yè)級(jí)MapReduce應(yīng)用提供了以下主要功能:
·策略驅(qū)動(dòng)型工作負(fù)載調(diào)度器
Platform Symphony MapReduce策略驅(qū)動(dòng)型工作負(fù)載調(diào)度器提供了10,000個(gè)優(yōu)先級(jí),支持多個(gè)MapReduce作業(yè)并行運(yùn)行。這種策略驅(qū)動(dòng)型調(diào)度器的功能包括為搶先式作業(yè)提供資源優(yōu)先級(jí),并對(duì)Map作業(yè)和Reducer作業(yè)進(jìn)行公平調(diào)度,這一切都在作業(yè)層進(jìn)行,以提供更好的細(xì)粒度和控制度。
·極高的資源可用性
Platform Symphony MapReduce在分布式運(yùn)行時(shí)引擎中確保了正常運(yùn)行時(shí)間——因?yàn)闆]有單一故障點(diǎn)。它提供了作業(yè)跟蹤器/任務(wù)跟蹤器自動(dòng)實(shí)現(xiàn)故障切換和作業(yè)恢復(fù),無需重新啟動(dòng)作業(yè)。Platform Symphony MapReduce為Hadoop文件系統(tǒng)提供了在Hadoop分布式文件系統(tǒng)里自動(dòng)實(shí)現(xiàn)故障切換的功能,并提供了文件系統(tǒng)恢復(fù)和相關(guān)作業(yè)恢復(fù)功能。
·為應(yīng)用開發(fā)和文件系統(tǒng)的選擇提供了開放式架構(gòu)
Platform Symphony MapReduce采用開放式架構(gòu),支持多種MapReduce應(yīng)用,確保Hadoop應(yīng)用與基于Java的MapReduce作業(yè)之間百分之百的兼容性。內(nèi)置在產(chǎn)品中的應(yīng)用適配器(Application Adapter)技術(shù)提供了與Platform MapReduce無縫的應(yīng)用集成,如此一來,采用Hadoop MapReduce技術(shù)(Java、Pig、Hive及其他技術(shù))構(gòu)建的作業(yè)無需改動(dòng)編程邏輯,即可在Platform Symphony MapReduce上執(zhí)行。這種開放式架構(gòu)還提供了一種方法,可充分利用多種類型的文件系統(tǒng)和數(shù)據(jù)庫架構(gòu)。PlatformSymphonyMapReduce全面支持HDFS、GPFS及其他分布式文件系統(tǒng)類型和數(shù)據(jù)類型。此外,就MapReduce進(jìn)程而言,輸入數(shù)據(jù)源文件系統(tǒng)的類型可以不同于輸出數(shù)據(jù)源文件系統(tǒng)。這便于支持許多應(yīng)用,包括抽取、轉(zhuǎn)換和加載(ETL)工作流邏輯。
·支持同一集群上運(yùn)行的多種MapReduce應(yīng)用和混合類型的工作負(fù)載
Platform Symphony MapReduce為MapReduce工作負(fù)載支持多達(dá)300種不同的應(yīng)用(作業(yè)跟蹤器),以及其他類型的分布式應(yīng)用。這讓客戶可以充分利用現(xiàn)有資源和新資源,最大限度地利用IT基礎(chǔ)架構(gòu),同時(shí)只需使用單一管理界面。
·支持滾動(dòng)升級(jí)
Platform Symphony MapReduce支持在同一集群上運(yùn)行的多個(gè)版本的MapReduce應(yīng)用,無需停止運(yùn)行整個(gè)集群,就可以升級(jí)軟件。運(yùn)行升級(jí)后應(yīng)用的服務(wù)器可與其他節(jié)點(diǎn)上前一個(gè)版本的軟件產(chǎn)品共存,因而可以在一組服務(wù)器上逐步進(jìn)行升級(jí),無需讓整個(gè)集群停止運(yùn)行。
·更出色的監(jiān)控和故障排除功能
Platform Symphony MapReduce可監(jiān)控處理器和內(nèi)存的使用量,并相應(yīng)分配資源。它提供了從單臺(tái)服務(wù)器獲取日志數(shù)據(jù),并從單一界面來管理這些數(shù)據(jù)的功能。
·極強(qiáng)的數(shù)據(jù)親和力
Platform Symphony MapReduce擁有強(qiáng)大的數(shù)據(jù)親和力(data affinity)功能,通過在調(diào)度管理MapReduce工作負(fù)載時(shí)充分考慮數(shù)據(jù)位置,大幅提升應(yīng)用性能和資源利用率。其數(shù)據(jù)親和力功能節(jié)省了MapReduce應(yīng)用訪問大量數(shù)據(jù)所需的時(shí)間。通過加快文件訪問速度,它可以將總的應(yīng)用性能提升400%。
Platform Symphony MapReduce目前已經(jīng)在多個(gè)關(guān)鍵的市場(chǎng)廣泛采用,其中包括金融服務(wù)、政府機(jī)構(gòu)、零售業(yè)和生命科學(xué)等行業(yè),為遍及各大行業(yè)的全球財(cái)富500強(qiáng)企業(yè)中要求最為苛刻、關(guān)鍵任務(wù)的分布式計(jì)算工作負(fù)載提供支持。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 馬斯克腦機(jī)接口公司Neuralink再陷調(diào)查風(fēng)波:SEC‘重新啟動(dòng)’調(diào)查,科技巨頭面臨新挑戰(zhàn)
- 工信部成立新標(biāo)準(zhǔn)化技術(shù)委員會(huì),揭開人工智能標(biāo)準(zhǔn)化新篇章:未來已來,智標(biāo)引領(lǐng)未來發(fā)展
- 深圳龍崗粵科人工智能創(chuàng)投基金成立:10億大手筆揭開人工智能新篇章!
- 極米科技子公司喜獲汽車主機(jī)廠開發(fā)定點(diǎn),嶄新篇章開啟,未來市場(chǎng)潛力無限!
- 未來之源:清潔氫引領(lǐng)全球電力行業(yè)綠色轉(zhuǎn)型至2035年
- 溫寧克接棒:ASML前CEO出任喜力新篇章監(jiān)事會(huì)主席,釀造啤酒業(yè)的未來新視角
- 國(guó)芯科技在汽車電子MCU領(lǐng)域掀起芯片革命:系列化產(chǎn)品引領(lǐng)創(chuàng)新潮流
- 生益科技:全球第二,引領(lǐng)柔性電子產(chǎn)業(yè)的新篇章
- 馬斯克宣布SpaceX總部遷至得州“星際基地市”:揭秘火星計(jì)劃新篇章,創(chuàng)新之翼飛向未來!
- 科創(chuàng)板收盤:科創(chuàng)50指數(shù)跌破1000點(diǎn),存儲(chǔ)芯片板塊逆勢(shì)領(lǐng)漲,市場(chǎng)暗藏新機(jī)遇!
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。