21世紀(jì)以來(lái),在互聯(lián)網(wǎng)高速發(fā)展的背景下,互聯(lián)網(wǎng)上的信息呈現(xiàn)暴發(fā)式的增加,對(duì)應(yīng)的提供人們檢索信息功能的搜索引擎也在飛速發(fā)展、更新和迭代。但現(xiàn)有的知名搜索引擎能夠觸及的互聯(lián)網(wǎng)內(nèi)容用九牛一毛來(lái)形容也毫不為過(guò)。為了給細(xì)分領(lǐng)域的客戶提供更優(yōu)質(zhì)的搜索體驗(yàn),建立一套自己的搜索引擎就十分重要了。建立一個(gè)搜索引擎一般來(lái)說(shuō)需要做這樣幾件事:

1、利用網(wǎng)絡(luò)爬蟲(chóng)自動(dòng)下載網(wǎng)絡(luò)頁(yè)面;

2、對(duì)爬取結(jié)果建立高效快速的索引;

3、根據(jù)相關(guān)性對(duì)網(wǎng)絡(luò)進(jìn)行準(zhǔn)確的排序。

目前的爬蟲(chóng)技術(shù)一般分為兩種:通用網(wǎng)絡(luò)爬蟲(chóng)和主題網(wǎng)絡(luò)爬蟲(chóng)。通用網(wǎng)絡(luò)爬蟲(chóng)一般盡可能多的采集頁(yè)面,而一般不關(guān)心被采集頁(yè)面的順序與頁(yè)面主題的相關(guān)性。Google和百度等具有大型搜索引擎的公司均采用通用網(wǎng)絡(luò)爬蟲(chóng)。主題網(wǎng)絡(luò)爬蟲(chóng)則根據(jù)一個(gè)已經(jīng)預(yù)定好的主題進(jìn)行爬取采集,最終對(duì)采集結(jié)果進(jìn)行匯總,其爬取頁(yè)面具有大量相關(guān)性。相對(duì)通用網(wǎng)絡(luò)爬蟲(chóng),主題網(wǎng)絡(luò)爬蟲(chóng)所消耗的資源和網(wǎng)絡(luò)帶寬更少,所采集的主題相關(guān)性更強(qiáng),頁(yè)面的利用率更高。

本期“安仔課堂”,ISEC實(shí)驗(yàn)室的葉老師為大家詳細(xì)剖析下主題網(wǎng)絡(luò)爬蟲(chóng)的幾個(gè)主要技術(shù)點(diǎn)。

一、遍歷算法

1738年,瑞典數(shù)學(xué)家歐拉( Leornhard Euler)解決了柯尼斯堡問(wèn)題,由此,圖論誕生,歐拉也成為了圖論的創(chuàng)始人。圖由一些節(jié)點(diǎn)與連接這些節(jié)點(diǎn)的弧組成。我們可以把互聯(lián)網(wǎng)看成一張具有指向無(wú)數(shù)方向的浩瀚無(wú)邊的圖,每一張網(wǎng)頁(yè)為圖的一個(gè)節(jié)點(diǎn),每個(gè)網(wǎng)頁(yè)中的超鏈接為圖中的弧。有了超鏈接,我們可以從任何一個(gè)網(wǎng)頁(yè)出發(fā),用圖的遍歷算法,自動(dòng)訪問(wèn)到每一個(gè)頁(yè)面,然后存儲(chǔ)所需要的信息。

圖的遍歷算法可以分為深度優(yōu)先搜索(Depth-First Search 簡(jiǎn)稱DFS)和廣度優(yōu)先搜索(Breadth–First Search 簡(jiǎn)稱BFS)。

由于深度優(yōu)先搜索的遍歷方式,在很多情況下會(huì)導(dǎo)致爬蟲(chóng)在深度上過(guò)“深”地遍歷或者陷入黑洞,大多數(shù)爬蟲(chóng)不采用深度優(yōu)先搜索,目前主題爬蟲(chóng)比較常見(jiàn)的是廣度優(yōu)先搜索方式。

廣度優(yōu)先搜索遍歷URL策略的基本思路是:將新下載網(wǎng)頁(yè)中發(fā)現(xiàn)的鏈接直接插入待抓取URL隊(duì)列的末尾。也就是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè),然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè),繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。

 圖1

如圖1,廣度優(yōu)先遍歷搜索(BFS)的訪問(wèn)順序?yàn)?A->B->C->D->E->F->H->G->I 深度優(yōu)先搜索策略從起始網(wǎng)頁(yè)開(kāi)始,選擇一個(gè)URL進(jìn)入,分析這個(gè)網(wǎng)頁(yè)中的URL,選擇其中一個(gè)再進(jìn)入。如此一個(gè)鏈接接著一個(gè)鏈接地抓取下去,一路走到黑,直到處理完一條路線之后再處理下一條路線。如圖1,深度優(yōu)先遍歷(DFS)的訪問(wèn)順序?yàn)?A->B   C   D   E->H->I   F->G

不管是哪種方式,理論上都可以保證訪問(wèn)到所有的節(jié)點(diǎn)。但是工程上基于穩(wěn)定性等要求一般采用的都是BFS方式。

二、網(wǎng)絡(luò)爬蟲(chóng)

本文使用Python語(yǔ)言作為主開(kāi)發(fā)語(yǔ)言。在Python中使用urllib.urlopen(url[, data[, proxies]]) :創(chuàng)建一個(gè)表示遠(yuǎn)程url的類文件對(duì)象,然后像本地文件一樣操作這個(gè)類文件對(duì)象來(lái)獲取遠(yuǎn)程數(shù)據(jù)。

Python可以使用urllib請(qǐng)求頁(yè)面獲取網(wǎng)頁(yè)HTML信息,實(shí)現(xiàn)如下:

from    urllib.request   import  urlopen

html = urlopen(‘http: www.baidu.com’)

得到源代碼后即可使用Xpath或者BeautifulSoup4解析HTML元素,提取所需要數(shù)據(jù)。以上,即完成一個(gè)簡(jiǎn)單的Web數(shù)據(jù)采集流程。

但是具體的業(yè)務(wù)工程往往不是一個(gè)簡(jiǎn)單的流程而已,有時(shí)候會(huì)采集非結(jié)構(gòu)化數(shù)據(jù),需要再由工程人員寫(xiě)下載器,進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的提取;有時(shí)候結(jié)構(gòu)化數(shù)據(jù)是異步加載,需要我們模擬加載的JavaScript代碼,再對(duì)服務(wù)器進(jìn)行一次請(qǐng)求;對(duì)于需要代理才能訪問(wèn)的網(wǎng)站,需要再添加代理IP;還有采集的效率等等一系列問(wèn)題。

三、HTTP請(qǐng)求頭的設(shè)計(jì)

瀏覽器與服務(wù)器交互是基于超文本傳輸協(xié)議(HTTP,HyperText Transfer Protocol),HTTP是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。HTTP是一個(gè)基于TCP/IP通信協(xié)議來(lái)傳遞數(shù)據(jù)(HTML 文件, 圖片文件, 查詢結(jié)果等)。

在爬取網(wǎng)站內(nèi)容時(shí),HTTP協(xié)議中請(qǐng)求頭的模擬至關(guān)重要,請(qǐng)求頭不正確將會(huì)導(dǎo)致目標(biāo)站點(diǎn)返回錯(cuò)誤的狀態(tài)碼和無(wú)效的字符;例如在對(duì)某同城租房模塊的數(shù)據(jù)采集中,先是使用chrome瀏覽器請(qǐng)求租房頁(yè)面,查找到瀏覽器請(qǐng)求目標(biāo)站點(diǎn)的數(shù)據(jù)包,分析請(qǐng)求頭,然后模擬了一個(gè)類似的請(qǐng)求頭,代碼如下:

headers = [

{

 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',

      'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',

      'Cache-Control': 'max-age=0',

      'Connection': 'keep-alive',

       'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',

           }, # 請(qǐng)求頭1

{

 'Accept':  'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',

 'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',

   'Cache-Control': 'max-age=0',

   'Connection': 'keep-alive',

 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2',

           }, # 請(qǐng)求頭2

]

header = random.choice(headers)  # 隨機(jī)選取請(qǐng)求頭

其中  'Connection': 'keep-alive', 建議保持打開(kāi)狀態(tài)。

我們知道HTTP協(xié)議采用“請(qǐng)求-應(yīng)答”模式,當(dāng)使用普通模式,即非KeepAlive模式時(shí),每個(gè)請(qǐng)求—應(yīng)答客戶端和服務(wù)器都要新建一個(gè)連接,完成之后立即斷開(kāi)連接(HTTP協(xié)議為無(wú)連接的協(xié)議);當(dāng)使用Keep-Alive模式(又稱持久連接、連接重用)時(shí),Keep-Alive功能使客戶端到服務(wù)器端的連接持續(xù)有效,當(dāng)出現(xiàn)對(duì)服務(wù)器的后繼請(qǐng)求時(shí),Keep-Alive功能避免了建立或者重新建立連接。

http 1.0協(xié)議中默認(rèn)是關(guān)閉的,需要在http頭加入"Connection: Keep-Alive",才能啟用Keep-Alive;http 1.1協(xié)議中默認(rèn)啟用Keep-Alive,如果加入"Connection: close ",才關(guān)閉。目前大部分瀏覽器都是用http1.1協(xié)議,也就是說(shuō)默認(rèn)都會(huì)發(fā)起Keep-Alive的連接請(qǐng)求了,所以是否能完成一個(gè)完整的Keep- Alive連接就看服務(wù)器設(shè)置情況。

從上面的分析來(lái)看,啟用Keep-Alive模式肯定更高效,性能更高。因?yàn)楸苊饬私⒓搬尫胚B接的開(kāi)銷。

以上兩個(gè)HTTP請(qǐng)求頭分別來(lái)自不同的瀏覽器,用這種方式請(qǐng)求,在一定概率上,每次請(qǐng)求都會(huì)讓服務(wù)器以為是來(lái)自不同的瀏覽器發(fā)出的,使得服務(wù)器會(huì)返回完整的HTML頁(yè)面給爬蟲(chóng)端,爬蟲(chóng)端就可以做出相應(yīng)的解析,若是返回錯(cuò)誤頁(yè)面、存在頁(yè)面、或者直接返回一串爬蟲(chóng)無(wú)法解析的無(wú)效信息,那么提取數(shù)據(jù)從何談起。使用測(cè)試請(qǐng)求頭對(duì)爬取數(shù)據(jù)進(jìn)行請(qǐng)求測(cè)試,若連接爬取多個(gè)頁(yè)面均無(wú)出現(xiàn)明顯錯(cuò)誤,即可進(jìn)入正式爬取階段。

但是使用模擬請(qǐng)求頭的方式對(duì)于異步Ajax加載的數(shù)據(jù)不好直接定位采集,需要對(duì)異步Ajax加載的位置進(jìn)行請(qǐng)求的重新模擬,要先分析異步請(qǐng)求,再模擬加載請(qǐng)求再請(qǐng)求一次服務(wù)器,對(duì)于爬蟲(chóng)系統(tǒng)來(lái)說(shuō)是很消耗性能的。所以,一般如果采集多種異步數(shù)據(jù),可以采用自動(dòng)化測(cè)試工具Selenium模擬瀏覽器。

Selenium 是什么?一句話,自動(dòng)化測(cè)試工具。它支持各種瀏覽器,包括 Chrome,Safari,Firefox 等主流界面式瀏覽器,如果你在這些瀏覽器里面安裝一個(gè) Selenium 的插件,那么便可以方便地實(shí)現(xiàn)Web界面的測(cè)試;安裝一下 Python 的 Selenium 庫(kù),再安裝好 PhantomJS,就可以實(shí)現(xiàn) Python+Selenium+PhantomJS 的一整套體系的連接了!PhantomJS 用來(lái)渲染解析JavaScirpy,Selenium 用來(lái)驅(qū)動(dòng)以及與 Python 的對(duì)接,Python 進(jìn)行后期的處理。

利用Selenium模擬的瀏覽器能夠更加逼真模擬真實(shí)Web請(qǐng)求環(huán)境,對(duì)于Ajax異步加載的數(shù)據(jù)可以快速定位。

但是在進(jìn)行模擬爬取時(shí),若觸發(fā)網(wǎng)站的防爬機(jī)制,那么就必須進(jìn)行多IP的模擬和對(duì)爬取線程采取暫時(shí)暫停,兩者相結(jié)合的辦法來(lái)測(cè)試防爬機(jī)制的臨界點(diǎn),對(duì)于多IP的模擬可以采取二分折半測(cè)試的辦法,先取一個(gè)比較長(zhǎng)的暫停時(shí)間。然后如果能使程序正常進(jìn)行就再縮短一倍時(shí)間,否則擴(kuò)大一倍時(shí)間,直到有一個(gè)臨近的值或者區(qū)間,再對(duì)該臨界值或者區(qū)間取隨機(jī)數(shù)暫停爬取線程。

具體請(qǐng)求代碼如下:

def    get_soup   (url)  :

   logger.info('Prepare analytical this URL:')

   logger.info(url)

print('準(zhǔn)備解析該鏈接:',  url)

   try:

       try:

           # 偽裝成瀏覽器

           headers = [{

               'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',

               'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',

               'Cache-Control': 'max-age=0',

               'Connection': 'keep-alive',

               'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2',

           }, {

               'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',

               'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',

               'Cache-Control': 'max-age=0',

               'Connection': 'keep-alive',

               'User-Agent': 'Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17',

           },

           ]

           header = random.choice(headers)

           # 使用代理IP

           proxy_ips = [

                {'http:': '117.90.3.226:9000'},

                {'http:': '210.136.19.75:8080'},

                {'http:': '118.186.219.164:8080'},

                          ]

           proxy_ip = random.choice(proxy_ips)

           proxy_support = urllib.request.ProxyHandler(proxy_ip)

           opener = urllib.request.build_opener(proxy_support)

           urllib.request.install_opener(opener)

           # 請(qǐng)求

           sleep(0.2)

           request = Request(url=url, headers=header)

           sleep(0.3)

           response = urlopen(request)

       except (HTTPError, URLError) as e:

           logger.error('URL Error  or  HTTPError:')

           logger.error(e)

           print("請(qǐng)求有問(wèn)題", e)

           return None

       try:

           the_page = response.read()

           soup = BeautifulSoup(the_page, "html.parser")

           # 判斷是否有驗(yàn)證碼 (得到所有soup的title)

           title_value = soup.title.string.encode('utf-8')

           verification_code = "請(qǐng)輸入驗(yàn)證碼".encode('utf-8')

           if title_value == verification_code:

               logger.warning(....verification_code now!!!!!')

               sleep(2222)

               # name = input("The bomb is about to explode,Please input your name:\n")

               # print("Hello,", name)

               soup = get_soup(url)

               logger.warning('(warning)Revisit the link:')

               logger.warning(url)

               return soup

       except AttributeError as e:

           logger.error('AttributeError(Request soup)')

           logger.error(e)

           return None

       return soup

   except Exception as e:

       logger.error('another Exception(Request soup)')

       logger.error(e)

       return None

四、HTML網(wǎng)頁(yè)的解析

爬蟲(chóng)請(qǐng)求成功后,返回Soup,即HTML的源代碼。

HTML頁(yè)面中包含著大量的文本、鏈接、圖片等信息,所有的HTML都以,開(kāi)始結(jié)束。所有的HTML源代碼中均包含著大量的如、等標(biāo)簽,眾多標(biāo)簽構(gòu)成了完整的HTML文檔。DOM全稱 Document Object Model,即文檔對(duì)象模型。將文檔抽象成一個(gè)樹(shù)型結(jié)構(gòu),文檔中的標(biāo)簽、標(biāo)簽屬性或標(biāo)簽內(nèi)容可以表示為樹(shù)上的結(jié)點(diǎn)。

HTML文檔轉(zhuǎn)換為HTML DOM節(jié)點(diǎn)樹(shù)如圖2所示:

圖2

使用BeautifulSoup解析這段代碼,能夠得到一個(gè) BeautifulSoup 的對(duì)象,并能按照標(biāo)準(zhǔn)的縮進(jìn)格式的結(jié)構(gòu)輸出:

幾個(gè)簡(jiǎn)單的瀏覽結(jié)構(gòu)化數(shù)據(jù)的方法:

將一段文檔傳入BeautifulSoup的構(gòu)造方法,就能得到一個(gè)文檔的對(duì)象, 可以傳入一段字符串或一個(gè)文件句柄。

在Beautiful Soup中最常用的函數(shù)為find_all()和find()。

find_all() 方法搜索當(dāng)前tag的所有tag子節(jié)點(diǎn),并判斷是否符合過(guò)濾器的條件

find_all( name , attrs , recursive , text , **kwargs )

name 參數(shù)

name參數(shù)可以查找所有名字為name的tag,字符串對(duì)象會(huì)被自動(dòng)忽略掉。搜索 name參數(shù)的值可以是任一類型的過(guò)濾器。

keyword 參數(shù)

如果一個(gè)指定名字的參數(shù)不是搜索內(nèi)置的參數(shù)名,搜索時(shí)會(huì)把該參數(shù)當(dāng)作指定名字tag的屬性來(lái)搜索,如果包含一個(gè)名字為id的參數(shù),Beautiful Soup會(huì)搜索每個(gè)tag的“id”屬性。

按CSS搜索

按照CSS類名搜索tag的功能非常實(shí)用,但標(biāo)識(shí)CSS類名的關(guān)鍵字 class 在Python中是保留字,使用class做參數(shù)會(huì)導(dǎo)致語(yǔ)法錯(cuò)誤。從Beautiful Soup的4.1.1版本開(kāi)始,可以通過(guò) class_ 參數(shù)搜索有指定CSS類名的tag。

text 參數(shù)

通過(guò)text參數(shù)可以搜素文檔中的字符串內(nèi)容,與 name 參數(shù)的可選值一樣,text 參數(shù)接受字符串、正則表達(dá)式、列表、True。

limit 參數(shù)

find_all() 方法返回全部的搜索結(jié)構(gòu),如果文檔樹(shù)很大那么搜索會(huì)很慢。如果我們不需要全部結(jié)果,可以使用limit參數(shù)限制返回結(jié)果的數(shù)量。效果與SQL中的limit關(guān)鍵字類似,當(dāng)搜索到的結(jié)果數(shù)量達(dá)到limit的限制時(shí),就停止搜索返回結(jié)果。

find(name,attrs,recursive,text,**kwargs)

find_all() 方法將返回文檔中符合條件的所有tag,盡管有時(shí)候我們只想得到一個(gè)結(jié)果。比如文檔中只有一個(gè)標(biāo)簽,那么使用 find_all() 方法來(lái)查找標(biāo)簽就不太合適,,使用 find_all 方法并設(shè)置 limit=1 參數(shù)不如直接使用 find() 方法。

Beautiful Soup將復(fù)雜HTML文檔轉(zhuǎn)換成一個(gè)復(fù)雜的樹(shù)形結(jié)構(gòu),每個(gè)節(jié)點(diǎn)都是一個(gè)Python對(duì)象,所有對(duì)象都可以歸為4個(gè)種類:Tag ,NavigableString ,BeautifulSoup , Comment 。所以在解析HTML時(shí),即是在操作Beautiful Soup里頭的一個(gè)個(gè)Python對(duì)象。Beautiful Soup提供了強(qiáng)大的函數(shù)庫(kù),所以任何HTML(或XML)文件的任意節(jié)點(diǎn)信息,都可以被提取出來(lái),只要目標(biāo)信息的旁邊或附近有標(biāo)記即可。

數(shù)據(jù)經(jīng)過(guò)清洗過(guò)濾之后提取出來(lái),寫(xiě)入文本文件或者持久化到MySQL。對(duì)于已經(jīng)持久化到MySQL的數(shù)據(jù),一方面可以進(jìn)一步對(duì)該主題數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘,另一方面可以利用Java強(qiáng)大的Web處理能力展示數(shù)據(jù),利用純Javascript圖表庫(kù)ECharts, 進(jìn)行數(shù)據(jù)的可視化展示。

廈門安勝網(wǎng)絡(luò)科技有限公司,廈門市美亞柏科信息股份有限公司控股子公司,是國(guó)內(nèi)領(lǐng)先的網(wǎng)絡(luò)安全檢測(cè)產(chǎn)品及服務(wù)提供商;秉承“創(chuàng)新為安,服務(wù)致勝”的經(jīng)營(yíng)理念,專注于網(wǎng)絡(luò)安全類產(chǎn)品的生產(chǎn)與服務(wù)。

“ISEC實(shí)驗(yàn)室”作為公司新技術(shù)和新產(chǎn)品的預(yù)研基地,秉承“我的安全,我做主”的理念,專注于網(wǎng)絡(luò)安全領(lǐng)域前沿技術(shù)研究,提供網(wǎng)絡(luò)安全培訓(xùn)、應(yīng)急響應(yīng)、安全檢測(cè)等服務(wù)。曾承接北京奧運(yùn)會(huì)、上海世博會(huì)、廣州亞運(yùn)會(huì)、杭州G20峰會(huì)、金磚“廈門會(huì)晤”等大型活動(dòng)網(wǎng)絡(luò)安全保障工作。

未來(lái),安勝將繼續(xù)以昂揚(yáng)的姿態(tài)、在網(wǎng)絡(luò)安全領(lǐng)域不斷深耕,為建設(shè)網(wǎng)絡(luò)強(qiáng)國(guó)做出更大貢獻(xiàn)!

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。