作者:dantezhao?|?簡(jiǎn)書?|?CSDN?|?GITHUB
文章推薦:http://dantezhao.com/readme
個(gè)人主頁:http://dantezhao.com
本篇總結(jié)一下自己對(duì)大數(shù)據(jù)算法認(rèn)知的過程。正文包含兩部分:自己對(duì)算法的認(rèn)知過程和對(duì)大數(shù)據(jù)算法的理解。
寫這篇博客的原因有很多,總的來講有下面幾點(diǎn):
自己在算法的路上一直懵懵懂懂,現(xiàn)在剛剛有了一點(diǎn)點(diǎn)頭緒,趕快做個(gè)記錄。梳理清楚自己的思路,后續(xù)會(huì)有一個(gè)算法學(xué)習(xí)的一到兩年的計(jì)劃,這算是個(gè)引子。談起算法大家都只會(huì)想到經(jīng)典算法和機(jī)器算法,除此之外還有很多有意思的算法,特別是為了解決大數(shù)據(jù)量問題的算法,這些很容易被忽略掉,但是我認(rèn)為這才算是大數(shù)據(jù)算法。0x01 認(rèn)知過程
1. 算法沒什么用
剛?cè)肟拥臅r(shí)候,一直以為大數(shù)據(jù)工程師就是安裝一下 Hadoop,寫寫 MR 程序,運(yùn)維一下集群就夠了,雖說算法很重要,但是工作中沒有什么感覺。
我在很長一段時(shí)間也抱著一種算法只是起到在面試中起到區(qū)分度作用的知識(shí)點(diǎn)而已。(現(xiàn)在想來,其實(shí)這個(gè)觀點(diǎn)也沒什么錯(cuò),大部分的開發(fā)工作的確用不到自己寫的算法。)
2. 經(jīng)典算法的魅力
做了一段時(shí)間大數(shù)據(jù)運(yùn)維后,接到了一個(gè)優(yōu)化調(diào)度系統(tǒng)的任務(wù),就和 Gim 老司機(jī)在一起設(shè)計(jì)重構(gòu)調(diào)度系統(tǒng)的方案,在這個(gè)過程中復(fù)習(xí)了很多圖論相關(guān)的知識(shí)點(diǎn),從此開始對(duì)算法產(chǎn)生了極大的興趣并一發(fā)不可收拾,隨后重新學(xué)習(xí)了一遍樹相關(guān)的內(nèi)容,自己動(dòng)手實(shí)現(xiàn)了什么2-3樹、avl樹、紅黑樹這些數(shù)據(jù)結(jié)構(gòu)。
其實(shí),感興趣的一個(gè)主要原因就是發(fā)現(xiàn),這些東西基本構(gòu)建了我們整個(gè)的計(jì)算機(jī)體系。比如文件系統(tǒng)、數(shù)據(jù)庫的索引,學(xué)會(huì)這些總感覺以后就不會(huì)丟飯碗了。
3. 機(jī)器學(xué)習(xí)代表了一切
再接著,機(jī)器學(xué)習(xí)一下子就火了起來,世界上只剩下了兩種算法:機(jī)器學(xué)習(xí)算法和非機(jī)器學(xué)習(xí)算法。身邊的朋友和同學(xué),凡是和數(shù)據(jù)開發(fā)相關(guān)的,都稱自己想轉(zhuǎn)做機(jī)器學(xué)習(xí)。筆者也不能免俗,開始準(zhǔn)備跟著浪潮走一波。但是一沒場(chǎng)景,二是興趣不大,當(dāng)有一天我突然意識(shí)到自己在學(xué)機(jī)器學(xué)習(xí)累的時(shí)候居然想玩玩 Linux 放松心情的時(shí)候,就暫時(shí)放棄了轉(zhuǎn)向機(jī)器學(xué)習(xí)的這個(gè)想法。以后我會(huì)用到它,可能還會(huì)用的很深,但是現(xiàn)在不會(huì)全身心地轉(zhuǎn)向它。
機(jī)器學(xué)習(xí)過后,17年又迎來了深度學(xué)習(xí)的浪潮。
4. 深度學(xué)習(xí)又是一波浪潮
感觸最深的是在 17 年 5 月份,看到了一份招聘要求,招的 title 是人工智能平臺(tái)架構(gòu)師,具體的要求是除了數(shù)據(jù)平臺(tái)要求的東西外加了一些深度學(xué)習(xí)平臺(tái)的東西。
這時(shí)候就感到,當(dāng)浪潮到來的時(shí)候,你可以不轉(zhuǎn)向它,但是要包容它。所以,順便學(xué)了一波深度的東西,入了個(gè)門,大概知道我以后需要做些什么。(半年后的今天基本已經(jīng)忘完了)
5. 還有很多有趣的算法
隨著工作的深入,系統(tǒng)在性能上遇到了很多了瓶頸,我們要做一系列的調(diào)整來應(yīng)對(duì),比如敏感信息的加密、集群文件的壓縮、負(fù)載均衡策略的選擇,這時(shí)候就不得不深入學(xué)習(xí)一下加密算法、壓縮算法、負(fù)載均衡算法的原理。
這些算法一直都在,但是仍然可以在現(xiàn)在的大數(shù)據(jù)場(chǎng)景下發(fā)揮極大的作用。
6. 分布式算法
在這之前,我對(duì)自己從事的工作一直有一點(diǎn)心虛,感覺除了寫寫 MR,管一下集群貌似沒什么技術(shù)含量太深的東西,能拿得出手的也就是各個(gè)系統(tǒng)的架構(gòu)和對(duì)他們的熟悉程度。 后來無意間在 Mooc 發(fā)現(xiàn)了一門云計(jì)算原理的課,然后就對(duì)這一塊產(chǎn)生了極大的興趣。
隨著學(xué)習(xí)的深入,發(fā)現(xiàn)這塊的水還是相當(dāng)深的,我們稱這些為分布式算法,它包含了這么一大堆內(nèi)容:
2PC、Gossip 這一大堆協(xié)議;DHT、Paxo、Raft 這一大堆算法、還有一些亂七八糟的原理。
這塊學(xué)的還是很皮毛,后面會(huì)有詳細(xì)的學(xué)習(xí)計(jì)劃。
7. 大數(shù)據(jù)算法到底是什么?
在工作和學(xué)習(xí)中遇到了這么多算法,再加上一段時(shí)間的思考,我會(huì)在想,大數(shù)據(jù)的算法到底是什么樣子的?
經(jīng)典算法暫且不論,壓縮和加密算法也一直都有。
那么機(jī)器學(xué)習(xí)呢?總感覺有些地方不對(duì)勁,應(yīng)該說是機(jī)器學(xué)習(xí)是使用了大數(shù)據(jù),但是他不是為了解決大數(shù)據(jù)的各種問題的,真正的大數(shù)據(jù)問題還要有大數(shù)據(jù)的算法來解決。
分布式算法也不完全算是,雖說大數(shù)據(jù)工程師都要用到分布式系統(tǒng),但是他們解決的問題場(chǎng)景不太一樣的。分布式算法要解決時(shí)鐘、一致性問題這些問題。大數(shù)據(jù)場(chǎng)景的算法不太一樣。
然后我們要想一下大數(shù)據(jù)場(chǎng)景有什么問題?
大數(shù)據(jù)場(chǎng)景的問題
數(shù)據(jù)量大,這是一個(gè)最明顯的特點(diǎn),它帶來的問題就是處理這些數(shù)據(jù)成了很大的麻煩。Hadoop 是一個(gè)突破性的項(xiàng)目,然后在這之外我們還會(huì)有一些場(chǎng)景要解決。
集合中不同元素的個(gè)數(shù), 比如獨(dú)立訪客(Unique Visitor,簡(jiǎn)稱UV)統(tǒng)計(jì),換成 Sql 來寫的話就是 count(distinct user_id),假設(shè)有 1000 億的數(shù)據(jù)放在這里,需要極快地算出來,可以允許一點(diǎn)點(diǎn)不精確,我們?cè)撛趺醋觯?/p>
也就是,我們?cè)诤芏鄨?chǎng)景下,會(huì)在允許一定犧牲一定的準(zhǔn)確度地情況下來快速地算出結(jié)果。這一些算法有極大的應(yīng)用場(chǎng)景。比如 Redis 會(huì)用到 Hyperloglog 來做基數(shù)統(tǒng)計(jì)。
這樣的一批算法,我認(rèn)為算是大數(shù)據(jù)算法中的一部分,內(nèi)容比較多,有專門的博客展開來專門講,比如 Bitmap、Roaring Bitmap、Hyperloglog等。
0x02 算法技能一覽
在這里做一個(gè)小總結(jié),畫一下我認(rèn)為大數(shù)據(jù)工程師需要掌握、熟悉和了解的算法。很多其實(shí)在工作中都會(huì)經(jīng)常遇到。
學(xué)習(xí)優(yōu)先級(jí)?
關(guān)于這些算法學(xué)習(xí)的優(yōu)先級(jí)該怎么判定?這個(gè)就不裝x了,居士自己其實(shí)也會(huì)有不少迷茫,沒辦法說哪個(gè)更重要,不過如果真是要學(xué)的話可以大致有一些參考。
基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)和算法沒什么好說的,屬于基本功,理應(yīng)具備。其它算法里面的加密、壓縮、調(diào)度這些算法,如果不是需要深入搞得話,不必急著深入學(xué),用到了就了解一些。分布式算法和大數(shù)據(jù)算法建議偏工程的童鞋盡早學(xué)一下,工作中寫程序用不到也無所謂,早學(xué)沒壞處。很多大數(shù)據(jù)組件的核心位置都有這些算法的身影。數(shù)據(jù)挖掘相關(guān)算法,對(duì)于數(shù)據(jù)挖掘的童鞋來講肯定是必學(xué)的,對(duì)于數(shù)據(jù)開發(fā)轉(zhuǎn)到數(shù)據(jù)挖掘的童鞋來講,如果有了比較明確的轉(zhuǎn)行計(jì)劃,就開始深入地學(xué),如果是觀望狀態(tài),可以先搞一些和工作相關(guān)度比較高的算法玩一玩,有項(xiàng)目機(jī)會(huì)也能快速上手。0XFF 總結(jié)
有時(shí)候感覺自己寫程序可能永遠(yuǎn)也不需要寫什么算法,但是不得不承認(rèn),算法的思維能讓自己受益無窮。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 后人工智能時(shí)代:2025年,在紛擾中重塑數(shù)據(jù)、洞察和行動(dòng)
- 2025年展望:人工智能推動(dòng)IT整合
- 量子計(jì)算:商業(yè)世界的新前沿與設(shè)計(jì)思維的融合
- IDC:三季度全球以太網(wǎng)交換機(jī)收入同比下降7.9%、環(huán)比增長6.6%
- Fortinet李宏凱:2025年在中國大陸啟動(dòng)SASE PoP節(jié)點(diǎn)部署 助力企業(yè)出海
- Fortinet李宏凱:2024年Fortinet全球客戶已超80萬
- 央國企采購管理升級(jí),合合信息旗下啟信慧眼以科技破局難點(diǎn)
- Apache Struts重大漏洞被黑客利用,遠(yuǎn)程代碼執(zhí)行風(fēng)險(xiǎn)加劇
- Crunchbase:2024年AI網(wǎng)絡(luò)安全行業(yè)風(fēng)險(xiǎn)投資超過26億美元
- 調(diào)查報(bào)告:AI與云重塑IT格局,77%的IT領(lǐng)導(dǎo)者視網(wǎng)絡(luò)安全為首要挑戰(zhàn)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。