IBM的InfoSphere大數(shù)據(jù)分析平臺(tái)

基于Hadoop的BigInsights

IBM 對(duì) Hadoop 的研究開始于 2~3 年前。截止到目前，研究成果涉及作業(yè)調(diào)度、查詢語(yǔ)言等多個(gè)方面。2011年5月，IBM正式推出InfoSphere大數(shù)據(jù)分析平臺(tái)。“這也是目前業(yè)界唯一的專門針對(duì)大數(shù)據(jù)分析的平臺(tái)產(chǎn)品。”盧偉權(quán)說(shuō)。目前業(yè)內(nèi)主流的做法是在已有產(chǎn)品中嵌入一些大數(shù)據(jù)功能。

InfoSphere大數(shù)據(jù)分析平臺(tái)包括 BigInsights和Streams,二者互補(bǔ)，Biglnsights對(duì)大規(guī)模的靜態(tài)數(shù)據(jù)進(jìn)行分析，它提供多節(jié)點(diǎn)的分布式計(jì)算，可以隨時(shí)增加節(jié)點(diǎn)，提升數(shù)據(jù)處理能力。Streams采用內(nèi)存計(jì)算方式分析實(shí)時(shí)數(shù)據(jù)。InfoSphere大數(shù)據(jù)分析平臺(tái)還集成了數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)庫(kù)、數(shù)據(jù)集成、業(yè)務(wù)流程管理等組件。

BigInsights基于Hadoop,增加了文本分析、統(tǒng)計(jì)決策工具，同時(shí)在可靠性、安全性、易用性、管理性方面提供了工具，并且可與DB2、Netezza等集成，這使大數(shù)據(jù)平臺(tái)更適合企業(yè)級(jí)的應(yīng)用。“作為一個(gè)優(yōu)秀的并行計(jì)算平臺(tái)，Hadoop 雖然已經(jīng)被廣泛驗(yàn)證，但是在 Hadoop 上開發(fā) MapReduce 程序需要較長(zhǎng)的開發(fā)周期，開發(fā)人員需要充分理解 MapReduce 計(jì)算框架和 HDFS 文件系統(tǒng)的原理和實(shí)現(xiàn)才能編寫出性能較好的 MapReduce 程序。” 陳奇解釋說(shuō)，“此前一些基于Hadoop的大數(shù)據(jù)分析平臺(tái)都是出于科研項(xiàng)目的需要，而今要把大數(shù)據(jù)平臺(tái)變成企業(yè)級(jí)分析產(chǎn)品，對(duì)大數(shù)據(jù)平臺(tái)的要求就更高了。光有Hadoop這個(gè)架構(gòu)是遠(yuǎn)遠(yuǎn)不夠的，所以IBM對(duì)基于Hadoop的BigInsights做了很多改進(jìn)。”

比如，BigInsights提供了一種類似SQL的更高級(jí)的查詢語(yǔ)言。再如，除了支持 Hadoop 的 HDFS 存儲(chǔ)系統(tǒng)外，BigInsights還對(duì) IBM 最新推出的 GPFS SNC平臺(tái)進(jìn)行支持，以更好地利用其強(qiáng)大的災(zāi)難恢復(fù)、高可靠性、高擴(kuò)展性的優(yōu)勢(shì)。“企業(yè)級(jí)產(chǎn)品更重要的是沒(méi)有單點(diǎn)故障，GPFS讓整個(gè)分布式系統(tǒng)更可靠。”陳奇指出。

Hadoop本身不提供分析的功能，因此BigInsights平臺(tái)增加了文本分析、統(tǒng)計(jì)分析工具。目前，丹麥能源企業(yè)維斯塔斯（Vestas）通過(guò)使用 BigInsights大數(shù)據(jù)軟件分析P字節(jié)級(jí)別的天氣數(shù)據(jù)，改善風(fēng)力渦輪機(jī)的放置位置，從而獲得最佳能量輸出效果--以前需要數(shù)周方可完成的分析現(xiàn)在僅需不到一個(gè)小時(shí)。

Streams監(jiān)控嬰兒ICU感染

InfoSphere Streams是一款滿足即時(shí)處理、過(guò)濾和分析流數(shù)據(jù)需要的應(yīng)用程序。流數(shù)據(jù)包括傳感器數(shù)據(jù)（環(huán)保以及工業(yè)生產(chǎn)傳感器產(chǎn)生的數(shù)據(jù)、監(jiān)控視頻、GPS產(chǎn)生的數(shù)據(jù)等）、“數(shù)據(jù)廢氣”（如網(wǎng)絡(luò)/系統(tǒng)/Web服務(wù)器/應(yīng)用程序服務(wù)器日志文件）、高速交易數(shù)據(jù)（如金融交易和呼叫詳細(xì)記錄）等。

Streams最早是美國(guó)國(guó)土安全部和IBM合作的項(xiàng)目，國(guó)土安全部出于反恐目的，需要實(shí)時(shí)分析電話語(yǔ)音信息，這個(gè)項(xiàng)目最終發(fā)展成為一個(gè)商用的項(xiàng)目。

目前，安大略理工大學(xué)正在使用Streams監(jiān)控新生嬰兒，提前24小時(shí)預(yù)測(cè)ICU感染。“數(shù)據(jù)到來(lái)時(shí)，你只想看一眼，然后就可以讓它走。”陳奇說(shuō)，Streams提供了一種操作系統(tǒng)實(shí)現(xiàn)這個(gè)功能，在多臺(tái)計(jì)算機(jī)之間共享一個(gè)特定程序，這樣系統(tǒng)作為一個(gè)整體就可以在不把數(shù)據(jù)提交到硬盤的情況下生成答案。

對(duì)于企業(yè)來(lái)說(shuō)，有了大數(shù)據(jù)分析平臺(tái)，是否就意味著廢棄此前的數(shù)據(jù)倉(cāng)庫(kù)呢？陳奇表示，大數(shù)據(jù)分析平臺(tái)并不能取代傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，一方面是因?yàn)榧夹g(shù)成熟度，比如Hadoop的技術(shù)還不夠成熟，另一方面是具體的業(yè)務(wù)需求問(wèn)題，所以BigInsights和Streams是數(shù)據(jù)倉(cāng)庫(kù)的補(bǔ)充，而不是代替數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)品。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。