近日,在美國休斯敦閉幕的第13屆網絡搜索與數(shù)據(jù)挖掘國際會議(WSDM 2020)上,華為云語音語義創(chuàng)新Lab帶領來自華南理工大學、華中科技大學、江南大學、武漢大學學生組成的聯(lián)合團隊,摘得WSDM Cup 2020大賽“論文引用意圖識別任務”金牌(Gold Medal)。
WSDM被譽為全球信息檢索領域最有影響力也最權威的會議之一,會議關注社交網絡上的搜索與數(shù)據(jù)挖掘,尤其關注搜索與數(shù)據(jù)挖掘模型、算法設計與分析、產業(yè)應用和提升準確性與效果的實驗分析。今年已經是WSDM的第十三屆會議。
本文將詳細介紹本次獲獎的解決方案。文章轉載自華為云社區(qū)https://bbs.huaweicloud.com/blogs/149716
1、背景
幾個世紀以來,社會技術進步的關鍵在于科學家之間坦誠的學術交流。新發(fā)現(xiàn)和新理論在已發(fā)表的文章中公開分發(fā)和討論,有影響力的貢獻則通常被研究界以引文的形式認可。然而,隨著科研經費申請競爭日趨激烈,越來越多的人把學術研究當成一種資源爭奪的手段,而不是單純?yōu)榱送苿又R進步。部分期刊作者“被迫”在特定期刊中引用相關文章,以提高期刊的影響因子,而論文審稿人也只能增加期刊的引用次數(shù)或h指數(shù)。這些行為是對科學家和技術人員所要求的最高誠信的冒犯,如果放任這種情況發(fā)展,可能會破壞公眾的信任并阻礙科學技術的未來發(fā)展。因此,本次WSDM Cup 2020賽題之一將重點放在識別作者的引文意圖:要求參賽者開發(fā)一種系統(tǒng),該系統(tǒng)可以識別學術文章中給定段落的引文意圖并檢索相關內容。
華為云語音語義創(chuàng)新Lab在自然語言處理領域有著全棧的技術積累,包括自然語言處理基礎中的分詞、句法解析,自然語言理解中的情感分析、文本分類、語義匹配,自然語言生成,對話機器人,知識圖譜等領域。其中和本次比賽最相關的技術是語義匹配技術。Xiong團隊通過對賽題任務進行分析,針對該問題制定了一種“整體召回+重排+集成”的方案,該方案以輕量化的文本相似度計算方法(如BM25等)對文章進行召回,然后基于深度學習的預訓練語言模型BERT等進行重排,最后通過模型融合進行集成。
2、賽題介紹
本次比賽將提供一個論文庫(約含80萬篇論文),同時提供對論文的描述段落,來自論文中對同類研究的介紹。參賽選手需要為描述段落匹配三篇最相關的論文。
例子:
描述:
An efficient implementation based on BERT [1] and graph neural network (GNN) [2] is introduced.
相關論文:
[1] BERT: Pre-training of deep bidirectional transformers for language understanding.[2] Relational inductive biases, deep learning, and graph networks.
評測方案:
3、數(shù)據(jù)分析
本次賽題共給出80多萬條候選論文,6萬多條訓練樣本和3萬多條本測試樣本,候選論文包含paper_id,title,abstract,journal,keyword,year這六個字段的信息,訓練樣本包含description_id,paper_id,description_text這三個字段的信息,而測試數(shù)據(jù)則給出description_id和description_text兩個字段,需要匹配出相應的paper_id。
我們對數(shù)據(jù)中候選論文的title,abstract以及描述文本的長度做了一些統(tǒng)計分析,如圖1所示,從圖中我們可以看到文本長度都比較長,并且針對我們后續(xù)的單模型,我們將模型最大長度從300增加到512后,性能提升了大約1%。
圖1 候選論文的Title(a),Abstract(b)以及描述文本(c)的長度分布
4、整體方案
我們方案的整體架構如圖2所示,整體方案分為四個部分:數(shù)據(jù)處理,候選論文的召回,候選論文的重排以及模型融合。
圖2 整體方案架構(部分圖引自[5])
4.1 數(shù)據(jù)處理
通過觀察數(shù)據(jù)我們發(fā)現(xiàn),在標題給出的描述語句中,有許多相同的描述文本,但是參考標記的位置卻不同。也就是說,在同一篇文章中,不同的句子引用了不同的論文。為此,我們抽取句子中引用標記位置處的語句作為新的描述語句生成候選集。
如表1所示,我們選取描述中[[**##**]]之前的句子作為描述關鍵句。
表1 描述關鍵句生成
4.2候選論文召回
如圖3所示,我們運用BM25和TF-IDF來進行論文的召回,選取BM25召回的前80篇論文和TF-IDF召回的前20篇論文構成并集組成最終的召回論文。
圖4 BioBERT結構圖 (圖引自[6])
4.4 模型融合
在模型融合的過程中,我們運用了6種共9個經過科學和生物醫(yī)藥語料庫訓練的預訓練模型分別為:BioBERT_v1.1* 3, BioBERT_v1.0_PubMed_PMC * 2, BioBERT_v1.0_PubMed* 1,BioBERT_v1.0_PMC * 1, BioBERT_dish*1,SciBERT* 1。他們的單模型在該任務中的性能如表2所示。
表2 單模型性能
然后我們對單模型輸出的概率結果進行blending操作如圖5所示,得到最后的模型結果,其比最好的單模型結果提升了1個百分點左右。
圖5 模型融合
5、總結與展望
本文主要對比賽中所使用的關鍵技術進行了介紹,如數(shù)據(jù)處理,候選論文的召回與重排,模型融合等。在比賽中使用專有領域訓練后的預訓練模型較通用領域預訓練模型效果有較大的提升。由于比賽時間的限制,許多方法還沒來得及試驗,比如在比賽中由于正負樣本不平衡,導致模型訓練結果不理想,可以合理的使用上采樣或下采樣來使樣本達到相對平衡,提升模型訓練效果。
參考文獻
[1] Yang W, Zhang H, Lin J. Simple applications of BERT for ad hoc document
retrieval[J]. arXiv preprint arXiv:1903.10972, 2019.
[2] Gupta V, Chinnakotla M, Shrivastava M. Retrieve and re-rank: A simple and
effective IR approach to simple question answering over knowledge
graphs[C]//Proceedings of the First Workshop on Fact Extraction and
VERification (FEVER). 2018: 22-27.
[3] Peters M E, Neumann M, Iyyer M, et al. Deep contextualized word
representations[J]. arXiv preprint arXiv:1802.05365, 2018.
[4] Radford A, Wu J, Child R, et al. Language models are unsupervised multitask
learners[J]. OpenAI Blog, 2019, 1(8): 9.
[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. (2018)
BERT: Pre-training of Deep Bidirectional Transformers for Language
Understanding. arXiv preprint arXiv:1810.04805,.
[6] Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim,
Chan Ho So, Jaewoo Kang,(2019) BioBERT: a pre-trained biomedical language
representation model for biomedical text mining, Bioinformatics,
[7] Iz Beltagy, Kyle Lo, Arman Cohan. (2019) SciBERT: A Pretrained Language
Model for Scientific Text, arXiv preprint arXiv:1903.10676SciBERT: A
Pretrained Language Model for Scientific Text, arXiv preprint arXiv:1903.10676,
2019.
[8] Nogueira R, Cho K.(2019) Passage Re-ranking with BERT. arXiv preprint
arXiv:1901.04085.
[9] Alsentzer E, Murphy J R, Boag W, et al. Publicly available clinical BERT
embeddings[J]. arXiv preprint arXiv:1904.03323, 2019.
免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
