科技云報(bào)道原創(chuàng)。

社交平臺(tái)、短視頻平臺(tái)等公共網(wǎng)絡(luò)場所，已經(jīng)成為網(wǎng)絡(luò)暴力行為的高發(fā)地。

在剛結(jié)束的冬奧會(huì)上，就有不少人通過網(wǎng)絡(luò)平臺(tái)的評論和私信功能，對冬奧選手進(jìn)行詆毀、侮辱攻擊、散布不實(shí)謠言，對冬奧觀賽和社區(qū)氛圍造成了極大的傷害。

事實(shí)上，網(wǎng)絡(luò)暴力由來已久。由于網(wǎng)絡(luò)暴力往往處于灰色地帶，大部分暴力行為都尚未構(gòu)成誹謗和侮辱，因此很難對網(wǎng)絡(luò)暴力實(shí)施者處以刑罰或者行政處罰。網(wǎng)民的言論只要不超越法律底線，有權(quán)自由發(fā)表言論。

為了應(yīng)對網(wǎng)絡(luò)暴力行為，全球大多數(shù)的社交平臺(tái)都采用了言論投訴、評論過濾、評論/私信關(guān)閉、好友關(guān)注過濾等功能，在一定程度上緩解網(wǎng)絡(luò)霸凌的問題。

但限制性的功能類似于黑名單，并不能完全將網(wǎng)絡(luò)暴力扼殺在搖籃，只能在惡意語言/圖片/視頻出現(xiàn)后進(jìn)行封堵，不幸的是負(fù)面影響已經(jīng)擴(kuò)散開來。

那么，能否采用技術(shù)的手段從源頭就識(shí)別網(wǎng)絡(luò)暴力行為呢？

以AI技術(shù)制止網(wǎng)絡(luò)暴力，成為全球研究者共同的選擇

2016年，以“賈斯汀·比伯退出Instagram”為導(dǎo)火索，Instagram首次推出了負(fù)面評論過濾功能。之后，Instagram還通過機(jī)器學(xué)習(xí)來處理含有攻擊性信息的照片。

2019年，Instagram又推出兩大反網(wǎng)絡(luò)暴力功能，即言論提醒和自主選定黑粉功能，用來幫用戶抵制網(wǎng)絡(luò)暴力。

其中，言論提醒功能利用AI技術(shù)，在冒犯性言論發(fā)表之前，向發(fā)言者發(fā)出提醒。比如：當(dāng)某用戶輸入了“你又丑又蠢?！辈Ⅻc(diǎn)擊發(fā)布時(shí)，AI會(huì)發(fā)出“請為Instagram保持一個(gè)友好環(huán)境”的提醒。

“通過獲得這種干預(yù)，人們有機(jī)會(huì)反思和撤銷他們的評論，使收件人避免收到有害評論通知。”Instagram主管Adam Mosseri表示，“經(jīng)測試，我們發(fā)現(xiàn)這項(xiàng)功能確實(shí)有引導(dǎo)作用，能使一些用戶撤銷評論或修改評論內(nèi)容?！?/p>

近日，抖音也推出了類似的防網(wǎng)暴功能，并升級(jí)為AI技術(shù)和人工審核相結(jié)合的方式，對違規(guī)用戶進(jìn)行引導(dǎo)和幫助。

當(dāng)用戶發(fā)布違規(guī)或低質(zhì)評論之后，抖音會(huì)對該評論進(jìn)行模型匹配和校驗(yàn)，用戶會(huì)立即收到評論彈窗警示，提示“該評論可能對他人造成負(fù)面影響”，給用戶一個(gè)回心轉(zhuǎn)意的機(jī)會(huì)。

當(dāng)然，彈窗可以跳過并繼續(xù)發(fā)布評論，但將不會(huì)被其它人看見，此時(shí)評論會(huì)進(jìn)入正常審核邏輯，真正的違規(guī)評論依然會(huì)被處理。

此外，抖音在防網(wǎng)暴系統(tǒng)中還新增了名為“心情暖寶寶”的平臺(tái)助手。如果用戶多次違規(guī)發(fā)布私信、評論，AI算法可以自動(dòng)匹配觸發(fā)“心情暖寶寶”，用消息對話嘗試緩解用戶的抑郁情緒，甚至引導(dǎo)用戶去人工求助、線下就診。

此外，用戶也可以自主在推薦、搜索、評論等場景減少負(fù)面內(nèi)容推薦。

除了識(shí)別謾罵/騷擾信息等明顯的負(fù)向內(nèi)容，如：反諷攻擊、答非所問、垃圾廣告導(dǎo)流這類“陰陽怪氣”的內(nèi)容，在不同討論語境下也會(huì)引發(fā)不同情緒，這更為AI算法識(shí)別帶來了極大挑戰(zhàn)。

對此，2018年知乎就通過AI技術(shù)嘗試處理陰陽怪氣的言論?！巴吡Α弊鳛橹跎鐓^(qū)治理的算法機(jī)器人之一，能在0.3秒內(nèi)識(shí)別判斷內(nèi)容是否為不友善、答非所問、陰陽怪氣等多種需被折疊的答案。

“我們基于對于用戶切實(shí)體驗(yàn)的累積觀察，與算法團(tuán)隊(duì)一起，從情感傾向性、親密關(guān)系、文本特征三方面入手，訓(xùn)練出能夠識(shí)別陰陽怪氣的算法模型。目前‘瓦力’對陰陽怪氣評論文本的識(shí)別準(zhǔn)確率，已非常接近社區(qū)最大公約數(shù)，比很多人工判斷都更準(zhǔn)。”知乎運(yùn)營總監(jiān)孫達(dá)云表示。

所謂“社區(qū)最大公約數(shù)”指的是社區(qū)共識(shí)，即長久積淀下來知乎和用戶共同認(rèn)可的一種公約，知乎稱之為知友們對價(jià)值判斷的最大公約數(shù)，比如“知乎不讓罵人”，比如“對優(yōu)質(zhì)內(nèi)容的界定”等。

知乎在過去多年中所累積的“舉報(bào)”等帶有用戶篩查性質(zhì)的行為語料和豐富的社區(qū)管理經(jīng)驗(yàn)，使得知乎得以邁出關(guān)鍵一步：用社區(qū)最大公約數(shù)作為判定尺度。

在算法方面，通過400多個(gè)前沿的深度學(xué)習(xí)模型識(shí)別過億內(nèi)容，現(xiàn)在的知乎平臺(tái)，可以智能地進(jìn)行傾向性識(shí)別、爆照識(shí)別、風(fēng)險(xiǎn)圖片識(shí)別等等。

制止網(wǎng)絡(luò)暴力背后的AI技術(shù)：自然語言處理

在人類無法兼顧的海量信息中，AI技術(shù)的介入顯然為制止網(wǎng)絡(luò)暴力提供了一條捷徑。想要對評論、彈幕這樣成千上萬的非結(jié)構(gòu)化語言數(shù)據(jù)進(jìn)行分析，自然語言處理（NLP）就成為研究者必須面對的核心AI技術(shù)。

作為AI的一個(gè)子領(lǐng)域，自然語言處理致力于讓計(jì)算機(jī)也能夠理解和處理人類語言，使計(jì)算機(jī)更接近于人類對語言的理解。

事實(shí)上，人類讀寫文字的歷史已經(jīng)有幾千年了，我們的大腦在理解自然語言方面積攢了大量的經(jīng)驗(yàn)。當(dāng)我們閱讀文字時(shí)，很快就能明白其中的含義，并感受到這些東西引發(fā)的情感。

但是想讓機(jī)器也擁有人類對語言的理解和情感，是一件非常困難的事情。之所以自然語言處理技術(shù)被譽(yù)為 “人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也顯現(xiàn)出了它的技術(shù)難度。

如今，深度學(xué)習(xí)的興起，讓自然語言處理技術(shù)得以進(jìn)一步發(fā)展，讓機(jī)器能夠自動(dòng)學(xué)習(xí)語言特征，掌握更高層次、更加抽象的語言特征，目前已廣泛應(yīng)用于機(jī)器翻譯、輿情監(jiān)測、自動(dòng)摘要、觀點(diǎn)提取、文本分類、問題回答、文本語義對比、語音識(shí)別、中文OCR等方面。

在生活中，從語音助手Siri、微軟小冰、小愛同學(xué)，到語音輸入、谷歌翻譯、水軍檢測等，隨處可見自然語言處理技術(shù)。

那么，在制止網(wǎng)絡(luò)暴力方面，自然語言處理技術(shù)是如何應(yīng)用的？具體而言，涉及以下幾個(gè)方向：

情緒解析

基于情緒解析引擎，可以針對某條內(nèi)容所表達(dá)的情緒極值以及十二種細(xì)節(jié)情緒進(jìn)行全量分析，從而詳細(xì)了解千萬條評論內(nèi)容中網(wǎng)民們的整體情緒分布；

其次，還可根據(jù)時(shí)間段來看隨著時(shí)間的推移網(wǎng)友們對這件事的態(tài)度的變化，即是否還是那么厭惡/喜歡；

再者，結(jié)合第三方數(shù)據(jù)——如用戶地域、性別等信息，還可以對不同人群的肖像進(jìn)行更精細(xì)地刻畫。

文本觀點(diǎn)提取

基于知識(shí)圖譜以及字詞間的相似度計(jì)算，高度精煉、概括每段話的核心表達(dá)觀點(diǎn)。

例如：“喜歡這個(gè)妝容，但是口紅顏色太深了”，觀點(diǎn)1：妝好；觀點(diǎn)2：口紅深。

對海量評論進(jìn)行觀點(diǎn)提取，可以精準(zhǔn)、高效地總結(jié)不同網(wǎng)民對于同一件事件所表達(dá)出的不同觀點(diǎn)，并可以對其進(jìn)行歸類和比較，幫助分析人員在第一時(shí)間獲取用戶的關(guān)注熱點(diǎn)信息或是用戶最反感的主要問題等關(guān)鍵信息。

文本相似度判斷

一對一、一對多或多對一的文本匹配，從理解不同字詞所表達(dá)的含義入手，結(jié)合知識(shí)圖譜，判斷兩段文本核心觀點(diǎn)的一致程度。

例如：對同一事件或兩個(gè)不同事件的評論進(jìn)行相似度對比，可以根據(jù)結(jié)果看看用戶在用詞或表達(dá)上有什么共同點(diǎn)。不同事件間的評論對比，還能幫助發(fā)現(xiàn)“惡性”事件及其評論內(nèi)容之間的潛在關(guān)系，甚至能洞察出某件事/某個(gè)人近期的活動(dòng)形象會(huì)不會(huì)影響對其輿論的積極/消極性.

詞法分析

針對網(wǎng)民們成千上萬條評論，可以通過詞法分析引擎來觀察積極評論或消極評論分別常用的用詞習(xí)慣、句式、詞法。從中可以總結(jié)出當(dāng)下網(wǎng)民普遍所使用的的話術(shù)/用詞習(xí)慣，以及不同人群在表達(dá)自己觀點(diǎn)時(shí)所特有的語言特點(diǎn)。

總體而言，基于自然語言處理的技術(shù)手段對網(wǎng)絡(luò)暴力文本進(jìn)行分析，不僅能及時(shí)控制負(fù)面影響擴(kuò)散，也能讓監(jiān)管機(jī)構(gòu)和平臺(tái)運(yùn)營商更好地了解網(wǎng)絡(luò)暴力事件產(chǎn)生成因。

AI算法升級(jí)：上演“疑犯追蹤”

如果說自然語言處理是基于對網(wǎng)絡(luò)暴力文本及用戶行為的綜合分析，當(dāng)不能檢測評論內(nèi)容的情況下，能否精準(zhǔn)地識(shí)別出潛在的網(wǎng)絡(luò)暴力者？

近日，日本德島大學(xué)的計(jì)算機(jī)研究者聯(lián)合日本大型網(wǎng)絡(luò)公司代理商Cyber Agent在《人類行為計(jì)算》上發(fā)表論文，他們用機(jī)器學(xué)習(xí)的方法，分析了Cyber Agent旗下一款社交類游戲的使用數(shù)據(jù)，并且在不監(jiān)測聊天內(nèi)容的情況下，僅基于聊天次數(shù)、聊天對象、聊天時(shí)間等基本信息，就能較為精準(zhǔn)地識(shí)別出潛在網(wǎng)絡(luò)違法者，并預(yù)測出違法行為的大概時(shí)間。

研究者基于兩種傳統(tǒng)犯罪學(xué)理論開發(fā)了這套算法：日?；顒?dòng)理論和社會(huì)傳染理論。

日?；顒?dòng)理論提出，許多犯罪行為并不是隨機(jī)發(fā)生的，犯罪者和被害人往往在日?；顒?dòng)中有交集。例如，在現(xiàn)實(shí)生活中，小偷在盜竊前會(huì)去目標(biāo)地點(diǎn)踩點(diǎn)，并觀察目標(biāo)人物的行為規(guī)律；同樣的，網(wǎng)絡(luò)上的犯罪者更需要提前與“獵物”取得聯(lián)系，套取信任。因此，玩家的社交活動(dòng)數(shù)據(jù)中或許就藏著“犯罪預(yù)告”。

另外，社會(huì)傳染理論還補(bǔ)充了重要的一點(diǎn)：違法傾向或違法行為也會(huì)傳染。最常見的例子就是網(wǎng)絡(luò)暴力。網(wǎng)絡(luò)暴力往往來源于某種過激情緒的廣泛傳播：在群體的裹挾下，有的人不知不覺就失去了獨(dú)立判斷能力，無意間成為了網(wǎng)上的施暴者。

在這兩種理論的基礎(chǔ)上，研究者選擇了是一款名叫Pigg Party的手機(jī)游戲。它主打社交功能，用戶登錄賬號(hào)后，可以裝扮虛擬的房間和個(gè)人形象，與朋友或陌生人以私聊、群聊、公聊的方式進(jìn)行交流。

研究人員采用擅長從復(fù)雜數(shù)據(jù)中提取特征的算法——多層非線性模型，對55萬用戶6個(gè)月內(nèi)產(chǎn)生的聊天數(shù)據(jù)，包括每名用戶的聊天頻率、聊天時(shí)間、消息的接收者等進(jìn)行了分析。

研究者組合多種神經(jīng)網(wǎng)絡(luò)模型和算法，搭建了預(yù)測違法事件的人工智能。

性能測試結(jié)果顯示， AI能根據(jù)用戶數(shù)據(jù)，較為準(zhǔn)確地預(yù)測未來的違法者和受害者賬戶。輸入用戶兩個(gè)月內(nèi)聊天的時(shí)間、頻率、對象，AI對接下來兩個(gè)月內(nèi)違法賬戶的預(yù)測準(zhǔn)確率可以達(dá)到84.85%，對受害者賬戶的預(yù)測準(zhǔn)確度也接近85%。

除了對個(gè)體賬戶違法或受害的風(fēng)險(xiǎn)有較好的預(yù)測能力外，只需提供一周內(nèi)的用戶活動(dòng)數(shù)據(jù)，AI就能基本精準(zhǔn)地預(yù)測接下來的一周網(wǎng)絡(luò)社區(qū)里發(fā)生違法事件的時(shí)間，對小時(shí)和日期的預(yù)測準(zhǔn)確率高達(dá)95.83%和85.71%，并且結(jié)果與預(yù)測受害給出的時(shí)間相吻合。

更有趣的是，AI分析數(shù)據(jù)后預(yù)警發(fā)生違法事件的時(shí)間，并不一定處在以往發(fā)生違法事件的時(shí)間段中，可見它掌握的并不僅僅是固定的規(guī)則，還有違法者言行中的真正“邏輯”。

研究者認(rèn)為，借助AI，系統(tǒng)管理員能更好地維護(hù)網(wǎng)絡(luò)安全和用戶權(quán)益。盡管目前的AI并且不能進(jìn)一步預(yù)測違法事件的具體類型，但它或許能抓住網(wǎng)絡(luò)上“隱形”的違法者，更好地保護(hù)我們的安全。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。