摘要:一個歷時4個多月、吸引了5618位參賽選手、Michael I. Jordan和螞蟻金服CTO親自在證書上簽名的大賽。

杭州·云棲大會期間,首屆“ATEC 螞蟻開發(fā)者大賽人工智能大賽”在ATEC展館落下帷幕。

此次大賽于今年4月18日預報名啟動,8月26日復賽結束,持續(xù)時長131天。“不錯的業(yè)務場景”及“真實的數(shù)據(jù)集”吸引了來自來自全球20多個國家地區(qū)1000所院校及企業(yè),近1/3海外高校,共5618位選手參賽,是一場真正的國際化頂級比賽!

值得一提的是,參賽者中,擁有碩士及以上學歷的占比70%,行業(yè)界人士占比40%,這讓此次比賽更為激烈和貼近實戰(zhàn)。

此次大賽分為“風險大腦-支付風險識別”、“金融大腦-智能客服NLP相似度計算”兩個賽道,兩個賽道各有五支隊伍進入決賽,進行現(xiàn)場演示和答辯。排名前三的團隊(共6支隊伍)共獲得120萬元現(xiàn)金獎勵,并獲得直通螞蟻金服集團技術崗的終面資格。

頒獎典禮上,螞蟻金服科學智囊團主席、加州大學伯克利分校教授Michael I. Jordan,螞蟻金服副總裁、首席數(shù)據(jù)科學家漆遠等學術及行業(yè)嘉賓為獲獎團隊頒發(fā)了獲獎證書并簽名、合影留念。

Michael I. Jordan在獲獎證書上簽名

清華大學朱軍教授、哈爾濱工業(yè)大學劉挺教授也出席了頒獎典禮,他們是大賽評委。

朱軍教授是支付大腦的評委之一,他對比賽做出了這樣的點評:“AI用到金融里,現(xiàn)在不管是學術界或者是應用,都是大家比較關心的。但是AI要用到行業(yè)里、想做出好的解決方案,需要對問題和場景有非常深入的理解。我覺得你們都非常了不起,能夠把機器學習算法用到實際里。雖然大家的思路都比較一致,但我覺得里面有很多精細的工作,做得還非常漂亮。特別是看到除了特征工程之外,大家對原理和方法有一些自己的思考,我覺得這個是特別值得鼓勵的。不管是從學術界還是從工業(yè)界來看,我希望能夠看到更多更有意思的例子和成果。”

金融大腦的比賽結束后,劉挺教授現(xiàn)場致辭:“現(xiàn)在這個時代真的是工業(yè)界領先的時代,搞NLP的人,我們的優(yōu)勢是能夠和工業(yè)界結合,去拿到他們的真實數(shù)據(jù)。我們現(xiàn)在有機會和工業(yè)界合作,我希望大家更多去傾聽工業(yè)界的聲音,他們提煉出真實的問題、提供真實的數(shù)據(jù)。未來,希望大家能更深入地去分析,從原理上、從本源處去發(fā)明創(chuàng)造,去拐大彎兒。”

“優(yōu)秀的數(shù)據(jù)集和場景”吸引了參賽經(jīng)驗豐富的工程師應縝哲,他是金融大腦賽道亞軍Skyhigh的隊長。Skyhigh是一支參賽經(jīng)驗豐富的隊伍,共有三名成員,除了已經(jīng)工作了的應縝哲,還有兩位研究生。自2017年認識以來,三人組團參加了五六次比賽,且都取得了不錯的成績。

應縝哲說,“這次比賽是國內(nèi)一個非常好的中文的課題,這種賽題非常少。數(shù)據(jù)很真實,我們做了很多特征工程,這是這個比賽我認為最有意思、也是我花時間最多的地方。如果下次比賽,賽題還這么有趣,我還會來的。”

螞蟻金服這次精心呈上的兩個經(jīng)典賽題究竟是什么?兩支冠軍隊伍又分別給出了怎樣的解題方案?下文將作出詳細解答。

“風控老兵”來參賽,斬獲冠軍

移動互聯(lián)網(wǎng)的新金融業(yè)務在蓬勃發(fā)展的同時,黑產(chǎn)攻擊的能力也在不斷升級。信息泄露導致過億的敏感數(shù)據(jù)被盜用、利用,給用戶和銀行帶來了巨大的經(jīng)濟損失。保護消費者和風險識別,越來越成為金融行業(yè)和學術界關注的焦點。

在這一背景下,螞蟻金服設置了“支付風險識別”的賽題:用2017年9月到10月的交易數(shù)據(jù)構建算法,識別2018年2月的交易欺詐行為。

這一賽題,吸引了多位金融科技領域的資深從業(yè)人士來參賽。斬獲冠軍的,也是“風控行業(yè)的老兵”,他們的解決方案兼具“創(chuàng)新性”和“實用性”。

“我們是一支來自上海的隊伍。”“謀殺電冰箱”的隊長熊文文說,團隊共有4人,平均年齡27歲,都來自互聯(lián)網(wǎng)金融行業(yè),對風險控制和風險模型的開發(fā)有一定的了解。

“這個比賽提供了一個新場景——支付場景,大家就都想試一試。”熊文文說,他們之前在信貸場景下做風險控制,不同于支付場景中的風險控制,“信貸主要是刻畫一個人(賬戶)的資質情況,支付不是刻畫賬戶的資質、而是刻畫某單交易異常的情況。”

如何解題?他們的特征工程以交易的賬戶(人)、交易賬戶所處的環(huán)境、與這個賬戶交易的商戶三個要素為核心,結合這三要素交叉時間維度,尋找靜/動態(tài)異常交易的特征。

通過數(shù)據(jù)分析,他們發(fā)現(xiàn),“盜刷交易存在一定的集中性”。比如,1%的用戶覆蓋了80%的盜刷時間;某用戶在3天內(nèi)被盜刷幾百次;某交易方(也即商戶)交易1175次,其中80%是盜刷。“如果之前的交易就是有風險的,如果能檢測到之前風險的話,那我就可以在判定這單交易時,把風險加進去。”于是,他們創(chuàng)新地提出了“先驗風險信息”的概念,并設計了一個可以提煉先驗風險信息的模型結構來強化識別效果。

他們將數(shù)據(jù)按照時間的先后分為第一個月的數(shù)據(jù)和第二個月的數(shù)據(jù)。首先,通過第一個月的數(shù)據(jù)訓練3個子模型(各有側重),這3個子模型的AUC停留在0.986左右,判定分數(shù)在0.56-0.57之間;再利用3個子模型對第二個月的數(shù)據(jù)進行預測,進而得到第二個月每單交易的三個風險分數(shù)(即先驗風險);最后通過風險分數(shù)及其衍生變量,加上第二個月數(shù)據(jù)的常規(guī)變量,訓練得到模型D。模型D給出的結果即為最后的結果。最終,模型D線下的測試AUC可以達到0.991,線下的判定分數(shù)能達到0.7。

此外,他們還挖掘了一些白名單的規(guī)則:如,用戶每月3000筆以后的交易可以直接定義為正常;設備每月400筆之后,可以定義為正常。“通過白名單的規(guī)則,大概可以覆蓋10%的樣本。通過白名單規(guī)則,又可以將判定分數(shù)提升幾個千分位。”

分時間段建模、將效果不好的早期數(shù)據(jù)化作變量、進行融合建模的做法以及策略+模型的解題思路,讓他們?nèi)〉昧说谝幻某煽?A榜得分0.627,B榜得分0.797),也斬獲了評委們的心。

逆襲:從第十一到第一,“有一種觸電的感覺”

“金融大腦”的賽題是問題相似度計算,即給定客服里用戶描述的兩句話,用算法來判斷是否表示了相同的語義。

“這個任務非常有實用價值。“一支優(yōu)秀的隊伍”是此賽道的冠軍,隊長段譽說:“想象你在做一個客服系統(tǒng),事先會有一個問題-答案的表單,客服的工作其實就是在面對用戶的提問時,迅速找到與之最接近的問題,并整理出答案來給用戶。文本匹配系統(tǒng)一旦做的好了,可以直接解決第二個階段的問題,也是最需要人力的部分——找到最接近的問題,這能大大減輕客服的壓力,讓他們?nèi)ソ鉀Q真正困難的問題。”

最先獲知這個比賽的是研一師弟梁嘉輝,他剛開始接觸NLP,“想通過這個比賽提高自己的能力”。因為一個人參賽難度太大,便找到“正處于學術空檔期”的段譽(研三),共同組隊參加比賽。一個關鍵BUG的解決讓他們從第十一逆襲到第一,“有一種觸電感覺”。

與進入決賽的其他4支隊伍相比,他們在特征工程上花費了很少的時間,主要立足于對模型的充分改進和探索,將單一模型的效果發(fā)揮到了極致。

他們的最佳成績是將三個模型ensemble后得來的,這三個模型結構大概相同,只在細節(jié)(例如模型輸入)上有細微差別。他們的最優(yōu)模型如下:

首先,他們的模型輸入為五個層面的char-level feature,除exact match、idf外,自動提取了幾個特征:用skip-gram在本地訓練300維char embedding,為了防止過擬合,訓練時是fix住的;為了彌補因fix而損失的模型能力,額外引入了50維可以訓練的char embedding;利用其他文獻的方法分別提取了1維的句子間特征以及1維的句子本身特征。

通過輸入層后,引入Noise+Dropout,用來提升模型魯棒性,再用bi-GRU當作encoder,并引入fuse gate來加速信息流通,然后用一層mlp+殘差進一步整合信息。之后對兩個句子進行對齊。對齊之后,通過正交分解,分別提取相關性和不相關性的信息。

用Multi-Head attention + Multi-Head pooling對相關信息、不相關信息進行推斷后,再過一次一層mlp+殘差,然后分別得到相關信息表達、不相關信息表達。用fuse gate對兩方面的信息綜合考慮后,再經(jīng)過dropout以及兩層MLP,得出最終的結果。

段譽在論壇里分享了自己的經(jīng)驗,他寫道:“從一開始我們就選擇了ESIM模型,相比現(xiàn)在動不動就好多層網(wǎng)絡結構的NLI模型,ESIM思路清晰、能說服我們、網(wǎng)絡結構相對簡單、沒有用很多trick、擴展性也強、效果很棒,所以就一眼相中了。”

“對于NLP語義相似度識別這個任務來講,模型的潛力是蠻大的,我們沒有做任何的預處理,完整地保留了每個句子的所有信息(當然了padding和截取是必須的)。我們沒有使用詞級別的向量,而是純用的字級別的向量,在做實驗的過程中發(fā)現(xiàn)基于詞級別的結果普遍要差一點,這和分詞質量不無關系,而且本人認為GRU、LSTM這樣的網(wǎng)絡因為引入了fuse gate,已經(jīng)具備一定程度的分詞作用了。但是可以料想的是,如果經(jīng)過了良好的分詞處理,結合word和char級別的embedding,應該是有一定幫助的。”

梁嘉輝表示,通過參加這次大賽,他體驗到了深度學習的魅力,也明確了未來的研究方向,“就是NLP(自然語言處理)”。

通過大賽解決實際問題,是螞蟻金服的初衷。“我們非常歡迎更多人參與進來,能夠去學習新技術、用技術解決實際問題。”螞蟻技術合作與發(fā)展部的柴文意是此次大賽的負責人,她表示,此次比賽結束后,螞蟻金服將會把賽題和數(shù)據(jù)開放出來,也會盡可能地將參賽者的策略、方案應用到螞蟻金服的真實場景中去。

漆遠表示,“這(此次比賽)只是一個開始,我們會把這個作為一個長期的機制——打榜機制,開放出平臺,讓更多朋友參加這個比賽。”

螞蟻金服副總裁、首席數(shù)據(jù)科學家漆遠

“ATEC大賽是一個非常好的鏈接生態(tài)的平臺,將會持續(xù)舉辦。”柴文意表示,接下來,他們會在不同領域推出不同賽題,把行業(yè)中一些通用的問題提煉出來,把一些脫敏過的數(shù)據(jù)開放給選手,“讓他們在這個過程中得到鍛煉和學習”。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。