2019年9月份開始，一部分大數(shù)據(jù)公司在用戶不知道的情況下通過網(wǎng)絡(luò)爬蟲爬取個(gè)人隱私數(shù)據(jù)，監(jiān)管機(jī)構(gòu)針對大數(shù)據(jù)風(fēng)控行業(yè)進(jìn)行了一場聲勢浩大的合規(guī)檢查，數(shù)家大數(shù)據(jù)公司被協(xié)助調(diào)查甚至直接被查封。這場風(fēng)暴，讓整個(gè)大數(shù)據(jù)行業(yè)如履薄冰，很多人近日談爬蟲色變。

據(jù)了解，互聯(lián)網(wǎng)上 超過50%以上的流量都是爬蟲創(chuàng)造的，爬蟲本身只是互聯(lián)網(wǎng)中常見的一種工具，例如我們用的搜索引擎，還有很多熱門數(shù)據(jù)都是通過高性能的爬蟲，才能有效地為用戶提供更好的服務(wù)，技術(shù)是中立的，其實(shí)并不存在非法的性質(zhì)。

另一方面，國家十三五規(guī)劃綱要在2016年出臺時(shí)，就提出將在 2020 年把大數(shù)據(jù)產(chǎn)業(yè)做到一萬億產(chǎn)值。雖然國內(nèi)的大數(shù)據(jù)行業(yè)還處于初級階段，但每家金融機(jī)構(gòu)潛在的大數(shù)據(jù)資源非常豐富，只是很多數(shù)據(jù)在企業(yè)內(nèi)部是分散的、凌亂的、沒有體系化的數(shù)據(jù)，屬于破解等待發(fā)掘的“金礦”。

那么，在這種背景下，如何有效利用合規(guī)數(shù)據(jù)，避免違規(guī)陷阱呢？如何在監(jiān)管機(jī)構(gòu)允許的數(shù)據(jù)隱私保護(hù)條例下，將外部的合規(guī)數(shù)據(jù)與企業(yè)內(nèi)部的數(shù)據(jù)內(nèi)外結(jié)合，形成高價(jià)值的“大數(shù)據(jù)資產(chǎn)”呢？如何基于數(shù)據(jù)打造自己的獨(dú)特核心競爭力呢？這就涉及一個(gè)金融機(jī)構(gòu)的數(shù)據(jù)戰(zhàn)略問題：如何有效利用合規(guī)數(shù)據(jù)，避免違規(guī)陷阱？這就需要我們對爬蟲和數(shù)據(jù)，有個(gè)系統(tǒng)的了解與準(zhǔn)確的認(rèn)識。

一、網(wǎng)絡(luò)爬蟲是什么？有哪些價(jià)值？

網(wǎng)絡(luò)爬蟲又稱網(wǎng)絡(luò)機(jī)器人、網(wǎng)絡(luò)蜘蛛，是互聯(lián)網(wǎng)時(shí)代一項(xiàng)運(yùn)用非常普遍的網(wǎng)絡(luò)信息搜索技術(shù)。爬蟲的本質(zhì)是一種能自動獲取網(wǎng)頁信息并按照指定規(guī)則提取相應(yīng)內(nèi)容的程序。一個(gè)最簡單的例子，我們經(jīng)?？吹慕袢疹^條、微博等，其新聞資訊大都來源于對合作媒體及相關(guān)網(wǎng)頁采取的爬蟲。通過網(wǎng)絡(luò)爬蟲，可以將互聯(lián)網(wǎng)各個(gè)角落收集來的信息，匯總后再進(jìn)行分類、排序，梳理出熱點(diǎn)新聞，實(shí)現(xiàn)及時(shí)、動態(tài)更新推送。

在金融行業(yè)，以網(wǎng)絡(luò)爬蟲為基礎(chǔ)獲取合規(guī)數(shù)據(jù)，進(jìn)而基于人工智能機(jī)器學(xué)習(xí)、NLP、知識圖譜等技術(shù)，可以發(fā)揮高價(jià)值的應(yīng)用場景主要包括：

1、精準(zhǔn)營銷領(lǐng)域：通過采集用戶消費(fèi)行為數(shù)據(jù)，分析和用戶消費(fèi)偏好，形成千人千面的“用戶畫像”，進(jìn)而有針對性的推送商品、促銷、廣告等行為，提升營銷效果。

2、風(fēng)險(xiǎn)控制領(lǐng)域：基于大數(shù)據(jù)、云計(jì)算、機(jī)器學(xué)習(xí)、知識圖譜等技術(shù)，把網(wǎng)絡(luò)采集到的工商、司法等合規(guī)數(shù)據(jù)與自有數(shù)據(jù)結(jié)合，挖掘數(shù)據(jù)資產(chǎn)的價(jià)值，對企業(yè)及用戶的貸前、貸中、貸后等全領(lǐng)域進(jìn)行更加準(zhǔn)確的評估，最大程度的避免風(fēng)險(xiǎn)、減少損失；

3、輿情監(jiān)測領(lǐng)域：通過爬取網(wǎng)頁、論壇、微博、微信等開放的網(wǎng)絡(luò)信息，自動分析出正面積極的或者色情、暴力、負(fù)面信息等，提前做風(fēng)險(xiǎn)預(yù)警。

二、什么是合規(guī)的數(shù)據(jù)？

一方面，網(wǎng)絡(luò)爬蟲技術(shù)，極大促進(jìn)了數(shù)據(jù)資源的流通和變現(xiàn)；另一方面，隨著金融、電商等各類場景的數(shù)據(jù)爬取案件頻發(fā)，如何將這一“灰色地帶”提上數(shù)據(jù)治理議程已成為非常緊迫的現(xiàn)實(shí)問題。

1、哪些是正確的爬法？

2019年10月30日，上海交通大學(xué)數(shù)據(jù)法律研究中心執(zhí)行主任、數(shù)據(jù)法盟創(chuàng)始人何淵在2019數(shù)字信用與風(fēng)控年會暨零壹財(cái)經(jīng)新金融秋季峰會上表示，官方的態(tài)度實(shí)際上是很明確的，數(shù)據(jù)并不是不能爬，“說得很清楚，收集的時(shí)候不能采取妨礙網(wǎng)站的正常運(yùn)行，甚至有一個(gè)尺度，流量不能超過別人網(wǎng)站的1/3”。這個(gè)觀點(diǎn)，可以作為一個(gè)參考。

2、哪些是違規(guī)的爬法？

通過侵入他人計(jì)算機(jī)信息安全系統(tǒng)去爬個(gè)人信息、國家秘密、商業(yè)秘密以及爬取數(shù)據(jù)導(dǎo)致影響市場競爭秩序的，就構(gòu)成了違法。

在不能爬什么方面，可以總結(jié)為“三全一穩(wěn)定，兩秘密一隱私”。所謂“三全”是指國家安全、公共安全、經(jīng)濟(jì)安全；“一穩(wěn)定”指社會穩(wěn)定；“兩秘密一隱私”是指國家秘密、商業(yè)秘密和個(gè)人隱私。

2019年12月，上海數(shù)據(jù)治理與安全產(chǎn)業(yè)發(fā)展專委會秘書處與賽博研究院聯(lián)合發(fā)布了《數(shù)據(jù)爬取治理》研究報(bào)告，報(bào)告里提出，合規(guī)的爬蟲，主要依賴于行為人在數(shù)據(jù)爬取的“訪問進(jìn)入-數(shù)據(jù)獲取-使用數(shù)據(jù)”三個(gè)階段下是否合規(guī)來進(jìn)行綜合的考量。

其實(shí)，在法律方面， 無論是我國的《著作權(quán)法》、《反不正當(dāng)競爭法》、《反壟斷法》、《民法》、《刑法》、《網(wǎng)絡(luò)安全法》等，還是歐盟的 GDPR 合規(guī)落地方案，都對數(shù)據(jù)利用是否合規(guī)，制定了相應(yīng)的條款。

總體而言，如果企業(yè)為了謀取自身利益，在未經(jīng)當(dāng)事人同意的情況下，通過爬蟲軟件爬取了公民的個(gè)人信息或者其他禁止類信息數(shù)據(jù)，就是不合法的，會受到相關(guān)的法律制裁。

三、如何利用合規(guī)數(shù)據(jù)，發(fā)揮數(shù)據(jù)資產(chǎn)的價(jià)值

目前，數(shù)據(jù)爬取在治理中面臨著不少的挑戰(zhàn)，包括：安全與發(fā)展難以平衡，數(shù)據(jù)基本權(quán)屬仍無定論，數(shù)據(jù)法制體系尚不完善，行業(yè)性共識規(guī)范缺乏，數(shù)據(jù)壁壘嚴(yán)重，數(shù)據(jù)散亂而高質(zhì)量數(shù)據(jù)較少等困境與難點(diǎn)。但另一方面，國家對人工智能和大數(shù)據(jù)行業(yè)，又鼓勵(lì)創(chuàng)新，并給予了極大的支持。

在這種背景下，很多金融機(jī)構(gòu)對如何發(fā)掘“數(shù)據(jù)資產(chǎn)”，產(chǎn)生了一定的困惑。

那么，金融機(jī)構(gòu)如何合法的利用各種大數(shù)據(jù)信息，形成有價(jià)值的“數(shù)據(jù)資產(chǎn)”呢？在面臨數(shù)據(jù)的采集和使用的壁壘變得越來越高的情況，結(jié)合一些領(lǐng)先的金融機(jī)構(gòu)的做法，在東方林語的觀點(diǎn)看來有兩個(gè)思路可以借鑒：

首先，可以從三種維度獲取合規(guī)數(shù)據(jù)，包括第一種，基于互聯(lián)網(wǎng)的公開合規(guī)數(shù)據(jù)的挖掘；第二種，合法的第三方數(shù)據(jù)源的獲?。坏谌N，企業(yè)內(nèi)部分散的數(shù)據(jù)的統(tǒng)一整合。如果把這三種數(shù)據(jù)的價(jià)值能夠統(tǒng)一梳理整合呈現(xiàn)，將會形成自己企業(yè)真正的“有價(jià)值數(shù)據(jù)資產(chǎn)”，進(jìn)而形成基于數(shù)據(jù)的“核心競爭力”。

其次，打造企業(yè)內(nèi)部的“數(shù)據(jù)中臺”，將過往、現(xiàn)有、未來產(chǎn)生的數(shù)據(jù)，以及內(nèi)部、外部的數(shù)據(jù)全部打通，繼而再通過通過機(jī)器學(xué)習(xí)、NLP、知識圖譜等領(lǐng)先型人工智能技術(shù)，將整合后的數(shù)據(jù)轉(zhuǎn)化為業(yè)務(wù)上可以理解的“數(shù)據(jù)資產(chǎn)”，例如：精準(zhǔn)用戶畫像、精準(zhǔn)營銷、風(fēng)險(xiǎn)控制、股權(quán)穿透、集團(tuán)派系分析、反洗錢等場景。

總而言之， 通過構(gòu)建內(nèi)外部數(shù)據(jù)一體的數(shù)據(jù)中臺架構(gòu)，真正實(shí)現(xiàn)大數(shù)據(jù)的融合，再通過“數(shù)據(jù)升級”從而真正實(shí)現(xiàn)實(shí)體產(chǎn)業(yè)轉(zhuǎn)型升級，進(jìn)而建立“與數(shù)據(jù)對話”的分析流程，對內(nèi)實(shí)現(xiàn)數(shù)據(jù)的智能服務(wù)，對外打造個(gè)性化產(chǎn)品和服務(wù)，才能真正實(shí)現(xiàn)金融機(jī)構(gòu)的數(shù)字化轉(zhuǎn)型和跨越式發(fā)展！

本文已標(biāo)注來源和出處，版權(quán)歸原作者所有，如有侵權(quán)，請聯(lián)系我們。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。