由于深度學(xué)習(xí)在可推理和可解釋性方面存在比較大的局限性，結(jié)合了圖計(jì)算和深度學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)(GNNs)成為近期學(xué)術(shù)界和工業(yè)界研究熱度頗高的新方向之一。業(yè)界普遍認(rèn)為，GNN 恰好可以彌補(bǔ)前面提到的深度學(xué)習(xí)無法解決的兩個(gè)缺陷。近一年 GNN 在越來越多應(yīng)用場(chǎng)景上取得了成功，但它也仍面臨著許多挑戰(zhàn)。

螞蟻金服在今年的數(shù)據(jù)挖掘研究領(lǐng)域頂級(jí)年會(huì) KDD 2019 上召開了以“圖神經(jīng)網(wǎng)絡(luò)研究及實(shí)際應(yīng)用”為主題的研討會(huì)。InfoQ 記者有幸采訪到了螞蟻金服人工智能部研究員宋樂，聊聊深度學(xué)習(xí)和 GNN 在大型工業(yè)級(jí)場(chǎng)景的應(yīng)用和實(shí)踐、目前面臨的難點(diǎn)挑戰(zhàn)，以及未來技術(shù)前進(jìn)的可能方向。

宋樂老師在 KDD2019

GNN已成“AI新貴”

除了傳統(tǒng)的深度學(xué)習(xí)方法，圖神經(jīng)網(wǎng)絡(luò)(GNN)在近兩年也是公認(rèn)的“AI 新貴”。由于圖結(jié)構(gòu)的強(qiáng)大表現(xiàn)力，用機(jī)器學(xué)習(xí) / 深度學(xué)習(xí)方法分析圖的研究越來越受重視。而圖神經(jīng)網(wǎng)絡(luò)(GNN)由于較好的性能和可解釋性，已經(jīng)成為一種廣泛應(yīng)用的圖分析方法，更有不少人將它看作“深度學(xué)習(xí)的新一代技術(shù)”。近一年來，學(xué)界和工業(yè)界陸續(xù)推出了 GNN 的相關(guān)框架和工具，進(jìn)一步促進(jìn)了這一領(lǐng)域的蓬勃發(fā)展。

GNN 提供了圖表征學(xué)習(xí)(Graph representation learning)或圖嵌入技術(shù)(Graph embedding)的框架，可以用于各種圖數(shù)據(jù)上的監(jiān)督，半監(jiān)督及強(qiáng)化學(xué)習(xí)。GNN 將圖上的元素，如節(jié)點(diǎn)，連接或者子圖表達(dá)成為一個(gè)向量，而不同元素所對(duì)應(yīng)的向量之間的距離保存了它們?cè)谠瓐D上的相似關(guān)系。這樣將拓?fù)潢P(guān)系表達(dá)為特征空間中的向量的做法，本質(zhì)上是一種基于拓?fù)湫畔⒌奶卣魈崛∵^程，其結(jié)果是溝通了傳統(tǒng)的圖分析和各種傳統(tǒng)機(jī)器學(xué)習(xí)或數(shù)據(jù)挖掘方法，在推薦系統(tǒng)、知識(shí)圖譜構(gòu)建及推理等領(lǐng)域都有許多應(yīng)用。比如說，可以通過引入了圖卷積操作構(gòu)造了一個(gè)適用于圖數(shù)據(jù)的半監(jiān)督學(xué)習(xí)框架，用于提取更精確的特征表達(dá)或直接進(jìn)行分類操作，并可以結(jié)合圖像分割、視頻理解、交通預(yù)測(cè)等許多領(lǐng)域開始探索其應(yīng)用價(jià)值。無論對(duì)于圖分析還是深度學(xué)習(xí)，GNN 都是一個(gè)極有價(jià)值的的演化。

GNN 的出現(xiàn)解決了傳統(tǒng)深度學(xué)習(xí)方法難以應(yīng)用到非規(guī)則形態(tài)數(shù)據(jù)上的痛點(diǎn)，大大擴(kuò)展了神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間，并在一些問題上改進(jìn)了模型的可解釋性。對(duì)于許多建立在非規(guī)則形態(tài)數(shù)據(jù)基礎(chǔ)之上的業(yè)務(wù)場(chǎng)景，諸如推薦、消歧、反欺詐等，GNN 都有極大的應(yīng)用潛力。以螞蟻金服為例，GNN 已經(jīng)廣泛部署于普惠金融業(yè)務(wù)的推薦和風(fēng)控中。

宋樂還列舉了兩個(gè)比較有趣的新應(yīng)用：

一個(gè)是 GNN 在知識(shí)圖譜上推理的應(yīng)用。知識(shí)圖譜是螞蟻金服非常重要的研發(fā)方向之一，借助知識(shí)圖譜可以把中國(guó)所有注冊(cè)企業(yè)都聯(lián)系起來，圖譜里每個(gè)節(jié)點(diǎn)可能就是一個(gè)注冊(cè)的商家，這個(gè)節(jié)點(diǎn)數(shù)量可能會(huì)達(dá)到幾千萬。這些商家之間可能有一些是供應(yīng)商關(guān)系，有一些是同行競(jìng)爭(zhēng)對(duì)手的關(guān)系，有一些可能是存在法律訴訟的關(guān)系。如果想根據(jù)這個(gè)圖來做一些預(yù)測(cè)和推測(cè)，用于普惠金融業(yè)務(wù)的推薦和風(fēng)控，就可以借助 GNN。

另一個(gè)是動(dòng)態(tài)圖的應(yīng)用。本質(zhì)上，所有金融交易問題都是動(dòng)態(tài)的，誰(shuí)在什么時(shí)間買了什么東西，都是有一個(gè)對(duì)應(yīng)的時(shí)間戳的，隨著新的交易發(fā)生、新的賬號(hào)產(chǎn)生，整個(gè)圖應(yīng)該是在不斷變化的。如何把時(shí)間和圖的結(jié)構(gòu)一起考慮進(jìn)去做表征，這個(gè)也是比較有挑戰(zhàn)性的前沿問題。目前螞蟻金服正在貸款準(zhǔn)入模型中嘗試應(yīng)用動(dòng)態(tài)圖。

除此之外，據(jù)宋樂保守估計(jì)，GNN 目前至少已在阿里巴巴數(shù)十個(gè)業(yè)務(wù)場(chǎng)景落地。不過這只是 GNN 發(fā)展樂觀的一面。

從業(yè)界整體落地情況來看，GNN 仍然處于發(fā)展初期。從 2018 年 10 月，由 DeepMind、谷歌大腦、麻省理工等近 30 名學(xué)者聯(lián)名在 ArXiv 上傳的論文《Relational inductive biases, deep learning, and graph networks》將 GNN 相關(guān)工作推到一個(gè)新的高度以來，GNN 火熱發(fā)展還未到一年，很多本質(zhì)問題尚未突破。與工業(yè)級(jí)深度學(xué)習(xí)應(yīng)用面臨的問題類似，GNN 要真正做到在工業(yè)界大規(guī)模落地，在底層系統(tǒng)架構(gòu)方面仍需要做大量工作。

如何大規(guī)模落地 GNN 仍面臨挑戰(zhàn)

在宋樂看來，目前 GNN 在工業(yè)界大規(guī)模落地面臨的挑戰(zhàn)主要在于大規(guī)模圖網(wǎng)絡(luò)的訓(xùn)練和線上更新預(yù)測(cè)兩方面。未來互聯(lián)網(wǎng)公司只要涉及 GNN 相關(guān)應(yīng)用工作，幾乎都逃不開大規(guī)模圖網(wǎng)絡(luò)。

首先，工業(yè)級(jí)業(yè)務(wù)場(chǎng)景，尤其是互聯(lián)網(wǎng)公司的業(yè)務(wù)場(chǎng)景，圖網(wǎng)絡(luò)規(guī)模通常都很大，至少包含億級(jí)，甚至是十億級(jí)、百億級(jí)的圖節(jié)點(diǎn)和邊。要計(jì)算這么大規(guī)模的圖神經(jīng)網(wǎng)絡(luò)，通常一臺(tái)機(jī)器是無法達(dá)到想要的效果的，這時(shí)就需要一個(gè)專門的分布式圖計(jì)算平臺(tái)。如果沒有一個(gè)平臺(tái)能夠支撐 GNN 所需的海量計(jì)算，就很難把 GNN 做好。但目前就業(yè)界來說，GNN 平臺(tái)的進(jìn)展仍然比較慢。還沒有哪個(gè)企業(yè)能夠推出一個(gè)足夠好的開源 GNN 平臺(tái)，并且能自信地表示可以很好地支持億級(jí)節(jié)點(diǎn)的圖網(wǎng)絡(luò)。

在對(duì) GNN 模型進(jìn)行訓(xùn)練時(shí)，算法需要與分布式圖存儲(chǔ)平臺(tái)進(jìn)行高效交互，這也是非常有挑戰(zhàn)性的一項(xiàng)工作。在模型訓(xùn)練時(shí)，算法需要不斷隨機(jī)查詢節(jié)點(diǎn)、節(jié)點(diǎn)的鄰居和鄰居的鄰居，取出數(shù)據(jù)放到內(nèi)存中做深度學(xué)習(xí)模型的前向 Inference 和后向的回傳，這在大規(guī)模圖上其實(shí)是很難做好的。對(duì)于 GNN 平臺(tái)來說，做深度學(xué)習(xí)以及和數(shù)據(jù)庫(kù)打交道這兩個(gè)環(huán)節(jié)常常是導(dǎo)致速度慢最大的瓶頸。在過去兩年，螞蟻金服在分布式圖存儲(chǔ)這個(gè)方向上做了很多努力，目前已經(jīng)開發(fā)出了一個(gè)高效的分布式圖存儲(chǔ)平臺(tái)，以及可以跟這個(gè)圖存儲(chǔ)平臺(tái)比較高效地交互的圖訓(xùn)練平臺(tái)。從數(shù)據(jù)上看，原來需要幾天時(shí)間的億級(jí)圖網(wǎng)絡(luò)訓(xùn)練已經(jīng)可以縮短到一個(gè)小時(shí)以內(nèi)。

大規(guī)模圖神經(jīng)網(wǎng)絡(luò)在線上的預(yù)測(cè)也是難點(diǎn)之一。GNN 的 Embedding 并非實(shí)時(shí)的，以金融交易場(chǎng)景為例，每次出現(xiàn)一筆新的交易，圖網(wǎng)絡(luò)就會(huì)多一條邊，圖就會(huì)發(fā)生變化，如果想做好實(shí)時(shí)預(yù)測(cè)，就需要用最新的邊根據(jù)這個(gè) GNN 的參數(shù)，算出它的表征來進(jìn)行預(yù)測(cè)。但是通常在線上環(huán)境中，要在非常短的響應(yīng)時(shí)間內(nèi)構(gòu)一個(gè)圖，把 GNN 計(jì)算好非常困難，特別是在交易量很大的情況下，通常都存在一定的滯后。如何讓 GNN 能夠在線上高效地直接做這個(gè)運(yùn)算，這個(gè)挑戰(zhàn)還沒有完全解決，需要和底層的系統(tǒng)架構(gòu)做一些合作。

宋樂坦言，即使沒有 GNN，圖計(jì)算本身在工業(yè)界就是一個(gè)比較困難的問題。因?yàn)閳D和圖像、文本有所不同，圖的每個(gè)節(jié)點(diǎn)連接的鄰居個(gè)數(shù)可能不一樣、節(jié)點(diǎn)類型不一樣、邊的類型不一樣，就制造了很多不規(guī)則的運(yùn)算，每個(gè)節(jié)點(diǎn)需要運(yùn)算的程度不一樣。而計(jì)算機(jī)特別適合規(guī)則運(yùn)算，卻天生不適合不規(guī)則運(yùn)算，圖的計(jì)算就屬于不規(guī)則運(yùn)算，以前傳統(tǒng)的圖算法也有各種各樣的研究，但都不能很好地解決問題，再加上 GNN 引入了深度學(xué)習(xí)這一層，導(dǎo)致復(fù)雜度陡增，難度就更大了。因此，如何在很短的時(shí)間內(nèi)得到 GNN 的訓(xùn)練結(jié)果和預(yù)測(cè)結(jié)果，都存在很大的挑戰(zhàn)。如果這一問題能夠得到解決，使 GNN 的訓(xùn)練和預(yù)測(cè)都做到足夠快，那么算法工程師在建模的時(shí)候，就可以很快地嘗試 GNN 的效果以及各種不同網(wǎng)絡(luò)結(jié)構(gòu)下 GNN 的效果，進(jìn)一步修改提高 GNN 的結(jié)果。

不管在學(xué)術(shù)界還是工業(yè)界，目前這都還是一個(gè)比較前沿的問題，同時(shí)這也是當(dāng)前 GNN 領(lǐng)域的瓶頸之一。雖然 Google、Facebook 等業(yè)內(nèi)大公司都在推動(dòng) GNN 平臺(tái)的開發(fā)工作，但目前還沒有一個(gè)能夠真正做好大規(guī)模分布式圖網(wǎng)絡(luò)計(jì)算的主流開源平臺(tái)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。