什么是網(wǎng)絡(luò)爬蟲(chóng)
網(wǎng)絡(luò)爬蟲(chóng)（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁(yè)追逐者），是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲(chóng)。
——來(lái)源：百度百科
網(wǎng)絡(luò)爬蟲(chóng)是通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)，它通過(guò)特定的搜索算法來(lái)確定路線，通常從網(wǎng)站的某一個(gè)頁(yè)面開(kāi)始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，根據(jù)深度優(yōu)先算法或者廣度優(yōu)先算法一直循環(huán)下去，直到把這個(gè)網(wǎng)站滿足條件的所有網(wǎng)頁(yè)都抓取完為止。
網(wǎng)絡(luò)爬蟲(chóng)的工作原理
在網(wǎng)絡(luò)爬蟲(chóng)的系統(tǒng)框架中，主過(guò)程由控制器，解析器，資源庫(kù)三部分組成?？刂破鞯闹饕ぷ魇秦?fù)責(zé)給多線程中的各個(gè)爬蟲(chóng)線程分配工作任務(wù)。解析器的主要工作是下載網(wǎng)頁(yè)，進(jìn)行頁(yè)面的處理，主要是將一些JS腳本標(biāo)簽、CSS代碼內(nèi)容、空格字符、HTML標(biāo)簽等內(nèi)容處理掉，爬蟲(chóng)的基本工作是由解析器完成。資源庫(kù)是用來(lái)存放下載到的網(wǎng)頁(yè)資源，一般都采用大型的數(shù)據(jù)庫(kù)存儲(chǔ)，如Oracle數(shù)據(jù)庫(kù)，并對(duì)其建立索引。
控制器：控制器是網(wǎng)絡(luò)爬蟲(chóng)的中央控制器，它主要是負(fù)責(zé)根據(jù)系統(tǒng)傳過(guò)來(lái)的URL鏈接，從線程池中分配一個(gè)線程，然后啟動(dòng)該線程調(diào)用爬蟲(chóng)爬取網(wǎng)頁(yè)的過(guò)程。
解析器：解析器是負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)的主要部分，其負(fù)責(zé)的工作主要有：下載網(wǎng)頁(yè)的內(nèi)容，對(duì)網(wǎng)頁(yè)的文本進(jìn)行處理，如過(guò)濾功能，抽取特殊HTML標(biāo)簽的功能，分析數(shù)據(jù)功能。
資源庫(kù)：主要是用來(lái)存儲(chǔ)網(wǎng)頁(yè)中下載下來(lái)的數(shù)據(jù)記錄的容器，并提供生成索引的目標(biāo)源。
網(wǎng)絡(luò)爬蟲(chóng)的流程
圖1：網(wǎng)絡(luò)爬蟲(chóng)的流程
1． 發(fā)起請(qǐng)求：向目標(biāo)URL站點(diǎn)發(fā)起HTTP請(qǐng)求報(bào)文（請(qǐng)求頭，請(qǐng)求體等），等待服務(wù)器響應(yīng)。請(qǐng)求可根據(jù)需要來(lái)設(shè)定是否需要包含額外的請(qǐng)求頭或者請(qǐng)求體內(nèi)容。
2． 獲取響應(yīng)內(nèi)容：如果服務(wù)器能正常響應(yīng)，此時(shí)會(huì)得到一個(gè)Response，Response的內(nèi)容即是所要獲取的頁(yè)面內(nèi)容，類型可能有HTML，Json字符串，二進(jìn)制數(shù)據(jù)（如圖片視頻）等類型。
3． 解析內(nèi)容：解析得到的請(qǐng)求響應(yīng)內(nèi)容，然后對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步加工處理。對(duì)請(qǐng)求響應(yīng)內(nèi)容如是HTML，可以用正則表達(dá)式、網(wǎng)頁(yè)解析庫(kù)進(jìn)行解析；如是Json，可以直接轉(zhuǎn)為Json對(duì)象解析等；如是URL且滿足條件則繼續(xù)發(fā)起新的HTTP請(qǐng)求。
4． 保存數(shù)據(jù)：將解析加工后的數(shù)據(jù)進(jìn)行保存處理?？梢员４鏋槲谋荆翑?shù)據(jù)庫(kù)，或保存特定格式的文件（圖片視頻等）。
網(wǎng)絡(luò)爬蟲(chóng)技術(shù)Crawl4J應(yīng)用
1． 技術(shù)介紹
Crawl4J：是一個(gè)輕量級(jí)且支持多線程網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，開(kāi)發(fā)者可以調(diào)用相應(yīng)的接口和設(shè)定響應(yīng)的參數(shù)配置在短時(shí)間內(nèi)創(chuàng)建一個(gè)網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用。
Jsoup：jsoup 是一款HTML解析器，可直接解析某個(gè)URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API，可通過(guò)DOM，CSS以及類似于JavaScript的操作方法來(lái)取出和操作數(shù)據(jù)。適用于單網(wǎng)頁(yè)數(shù)據(jù)抓取或靜態(tài)HTML內(nèi)容解析。
因此在項(xiàng)目中我們可以通過(guò)網(wǎng)絡(luò)爬蟲(chóng)Crawl4J技術(shù)進(jìn)行爬取網(wǎng)頁(yè)內(nèi)容，然后通過(guò)Jsoup技術(shù)對(duì)響應(yīng)結(jié)果進(jìn)行解析，并提取滿足條件的內(nèi)容。
2． 項(xiàng)目示例
接下來(lái)我們以抓取CSDN博客首頁(yè)被推薦文章的為例子，定向采集每篇博客的標(biāo)題，時(shí)間，閱讀量。
具體實(shí)現(xiàn)步驟如下：
Maven依賴Jar包：
＜dependency＞
＜groupId＞edu．uci．ics＜／groupId＞
＜artifactId＞crawler4j＜／artifactId＞
＜version＞4．3＜／version＞
＜／dependency＞
控制器：
12下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
