一提到大數(shù)據(jù)，人們首先會想到在互聯(lián)網(wǎng)和商業(yè)等環(huán)境中，利用大量的行為數(shù)據(jù)來分析用戶行為和預(yù)測市場趨勢等應(yīng)用。但是對工業(yè)大數(shù)據(jù)的定義和應(yīng)用卻很難直觀地理解和想象。工業(yè)大數(shù)據(jù)的挑戰(zhàn)和目的則要通過“3B” 和 “3C” 來理解。
工業(yè)大數(shù)據(jù)應(yīng)用的“3B”挑戰(zhàn)：
· Bad Quality——在工業(yè)大數(shù)據(jù)中，數(shù)據(jù)質(zhì)量問題一直是許多企業(yè)所面臨的挑戰(zhàn)。
· Broken——工業(yè)對于數(shù)據(jù)的要求并不僅在于量的大小，更在于數(shù)據(jù)的全面性。
· Below the Surface——除了對數(shù)據(jù)所反映出來的表面統(tǒng)計(jì)特征進(jìn)行分析以外，還應(yīng)該關(guān)注數(shù)據(jù)中所隱藏的相關(guān)性。
工業(yè)大數(shù)據(jù)分析的“3C”目的：
· Comparison（比較性）——從比較過程中獲取洞察，既包括比較相似性，也包括比較差異性。
· Correlation （相關(guān)性）——如果說物聯(lián)網(wǎng)是可見世界的連接，那么所連接對象之間的相關(guān)性就是不可見世界的連接。
· Consequence （因果性）——數(shù)據(jù)分析的重要目的是進(jìn)行決策支持，在制定一個特定的決策時，其所帶來的結(jié)果和影響應(yīng)該被同等地分析和預(yù)測。
為此，我們發(fā)現(xiàn)Spark MLlib是一款非常優(yōu)秀的工業(yè)大數(shù)據(jù)挖掘工具，擁有頂尖的數(shù)據(jù)處理、數(shù)據(jù)挖掘課數(shù)據(jù)可視化，是數(shù)據(jù)從業(yè)者必備的一把利器。Spark是一個開源集群運(yùn)算框架，擅長迭代計(jì)算。最初是由加州大學(xué)柏克利分校AMPLab所開發(fā)。Spark使用了內(nèi)存內(nèi)運(yùn)算技術(shù)，在內(nèi)存上的運(yùn)算速度比Hadoop MapReduce的運(yùn)算速度快上100倍，即便是在磁盤上運(yùn)行也能快10倍。Spark允許將數(shù)據(jù)加載至集群內(nèi)存，并多次對其進(jìn)行查詢，非常適合用于機(jī)器學(xué)習(xí)算法。
Spark MLlib 主要包括以下幾方面的內(nèi)容：
學(xué)習(xí)算法：分類、回歸、聚類和協(xié)同過濾；
特征處理：特征提取、變換、降維和選擇；
管道（Pipeline）：用于構(gòu)建、評估和調(diào)整機(jī)器學(xué)習(xí)管道的工具；
持久性：保存和加載算法，模型和管道；
實(shí)用工具：線性代數(shù)，統(tǒng)計(jì)，最優(yōu)化，調(diào)參等工具。
上表總結(jié)了 Spark MLlib 支持的功能結(jié)構(gòu)，可以看出Spark MLlib是一種高效、快速、可擴(kuò)展的分布式計(jì)算框架；實(shí)現(xiàn)了常用的機(jī)器學(xué)習(xí)，如：聚類、分類、回歸等算法。
大數(shù)據(jù)能夠帶來巨大的商業(yè)價值已經(jīng)毋庸置疑，各行各業(yè)均已開展了一場無形的較量，數(shù)據(jù)提供商、服務(wù)提供商都想在這片藍(lán)海強(qiáng)占先機(jī)。而目前，Spark已經(jīng)成為了現(xiàn)在大數(shù)據(jù)領(lǐng)域最火的開源軟件，Spark也被許多企業(yè)尤其是互聯(lián)網(wǎng)企業(yè)廣泛應(yīng)用到商業(yè)項(xiàng)目中，在國內(nèi)包括阿里、百度、騰訊、網(wǎng)易、搜狐等。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
