科技云報(bào)道原創(chuàng)。

社交平臺(tái)、短視頻平臺(tái)等公共網(wǎng)絡(luò)場(chǎng)所，已經(jīng)成為網(wǎng)絡(luò)暴力行為的高發(fā)地。

在剛結(jié)束的冬奧會(huì)上，就有不少人通過(guò)網(wǎng)絡(luò)平臺(tái)的評(píng)論和私信功能，對(duì)冬奧選手進(jìn)行詆毀、侮辱攻擊、散布不實(shí)謠言，對(duì)冬奧觀賽和社區(qū)氛圍造成了極大的傷害。

事實(shí)上，網(wǎng)絡(luò)暴力由來(lái)已久。由于網(wǎng)絡(luò)暴力往往處于灰色地帶，大部分暴力行為都尚未構(gòu)成誹謗和侮辱，因此很難對(duì)網(wǎng)絡(luò)暴力實(shí)施者處以刑罰或者行政處罰。網(wǎng)民的言論只要不超越法律底線，有權(quán)自由發(fā)表言論。

為了應(yīng)對(duì)網(wǎng)絡(luò)暴力行為，全球大多數(shù)的社交平臺(tái)都采用了言論投訴、評(píng)論過(guò)濾、評(píng)論/私信關(guān)閉、好友關(guān)注過(guò)濾等功能，在一定程度上緩解網(wǎng)絡(luò)霸凌的問(wèn)題。

但限制性的功能類似于黑名單，并不能完全將網(wǎng)絡(luò)暴力扼殺在搖籃，只能在惡意語(yǔ)言/圖片/視頻出現(xiàn)后進(jìn)行封堵，不幸的是負(fù)面影響已經(jīng)擴(kuò)散開來(lái)。

那么，能否采用技術(shù)的手段從源頭就識(shí)別網(wǎng)絡(luò)暴力行為呢？

以AI技術(shù)制止網(wǎng)絡(luò)暴力，成為全球研究者共同的選擇

2016年，以“賈斯汀·比伯退出Instagram”為導(dǎo)火索，Instagram首次推出了負(fù)面評(píng)論過(guò)濾功能。之后，Instagram還通過(guò)機(jī)器學(xué)習(xí)來(lái)處理含有攻擊性信息的照片。

2019年，Instagram又推出兩大反網(wǎng)絡(luò)暴力功能，即言論提醒和自主選定黑粉功能，用來(lái)幫用戶抵制網(wǎng)絡(luò)暴力。

其中，言論提醒功能利用AI技術(shù)，在冒犯性言論發(fā)表之前，向發(fā)言者發(fā)出提醒。比如：當(dāng)某用戶輸入了“你又丑又蠢。”并點(diǎn)擊發(fā)布時(shí)，AI會(huì)發(fā)出“請(qǐng)為Instagram保持一個(gè)友好環(huán)境”的提醒。

“通過(guò)獲得這種干預(yù)，人們有機(jī)會(huì)反思和撤銷他們的評(píng)論，使收件人避免收到有害評(píng)論通知。”Instagram主管Adam Mosseri表示，“經(jīng)測(cè)試，我們發(fā)現(xiàn)這項(xiàng)功能確實(shí)有引導(dǎo)作用，能使一些用戶撤銷評(píng)論或修改評(píng)論內(nèi)容?！?/p>

近日，抖音也推出了類似的防網(wǎng)暴功能，并升級(jí)為AI技術(shù)和人工審核相結(jié)合的方式，對(duì)違規(guī)用戶進(jìn)行引導(dǎo)和幫助。

當(dāng)用戶發(fā)布違規(guī)或低質(zhì)評(píng)論之后，抖音會(huì)對(duì)該評(píng)論進(jìn)行模型匹配和校驗(yàn)，用戶會(huì)立即收到評(píng)論彈窗警示，提示“該評(píng)論可能對(duì)他人造成負(fù)面影響”，給用戶一個(gè)回心轉(zhuǎn)意的機(jī)會(huì)。

當(dāng)然，彈窗可以跳過(guò)并繼續(xù)發(fā)布評(píng)論，但將不會(huì)被其它人看見，此時(shí)評(píng)論會(huì)進(jìn)入正常審核邏輯，真正的違規(guī)評(píng)論依然會(huì)被處理。

此外，抖音在防網(wǎng)暴系統(tǒng)中還新增了名為“心情暖寶寶”的平臺(tái)助手。如果用戶多次違規(guī)發(fā)布私信、評(píng)論，AI算法可以自動(dòng)匹配觸發(fā)“心情暖寶寶”，用消息對(duì)話嘗試緩解用戶的抑郁情緒，甚至引導(dǎo)用戶去人工求助、線下就診。

此外，用戶也可以自主在推薦、搜索、評(píng)論等場(chǎng)景減少負(fù)面內(nèi)容推薦。

除了識(shí)別謾罵/騷擾信息等明顯的負(fù)向內(nèi)容，如：反諷攻擊、答非所問(wèn)、垃圾廣告導(dǎo)流這類“陰陽(yáng)怪氣”的內(nèi)容，在不同討論語(yǔ)境下也會(huì)引發(fā)不同情緒，這更為AI算法識(shí)別帶來(lái)了極大挑戰(zhàn)。

對(duì)此，2018年知乎就通過(guò)AI技術(shù)嘗試處理陰陽(yáng)怪氣的言論?！巴吡Α弊鳛橹跎鐓^(qū)治理的算法機(jī)器人之一，能在0.3秒內(nèi)識(shí)別判斷內(nèi)容是否為不友善、答非所問(wèn)、陰陽(yáng)怪氣等多種需被折疊的答案。

“我們基于對(duì)于用戶切實(shí)體驗(yàn)的累積觀察，與算法團(tuán)隊(duì)一起，從情感傾向性、親密關(guān)系、文本特征三方面入手，訓(xùn)練出能夠識(shí)別陰陽(yáng)怪氣的算法模型。目前‘瓦力’對(duì)陰陽(yáng)怪氣評(píng)論文本的識(shí)別準(zhǔn)確率，已非常接近社區(qū)最大公約數(shù)，比很多人工判斷都更準(zhǔn)。”知乎運(yùn)營(yíng)總監(jiān)孫達(dá)云表示。

所謂“社區(qū)最大公約數(shù)”指的是社區(qū)共識(shí)，即長(zhǎng)久積淀下來(lái)知乎和用戶共同認(rèn)可的一種公約，知乎稱之為知友們對(duì)價(jià)值判斷的最大公約數(shù)，比如“知乎不讓罵人”，比如“對(duì)優(yōu)質(zhì)內(nèi)容的界定”等。

知乎在過(guò)去多年中所累積的“舉報(bào)”等帶有用戶篩查性質(zhì)的行為語(yǔ)料和豐富的社區(qū)管理經(jīng)驗(yàn)，使得知乎得以邁出關(guān)鍵一步：用社區(qū)最大公約數(shù)作為判定尺度。

在算法方面，通過(guò)400多個(gè)前沿的深度學(xué)習(xí)模型識(shí)別過(guò)億內(nèi)容，現(xiàn)在的知乎平臺(tái)，可以智能地進(jìn)行傾向性識(shí)別、爆照識(shí)別、風(fēng)險(xiǎn)圖片識(shí)別等等。

制止網(wǎng)絡(luò)暴力背后的AI技術(shù)：自然語(yǔ)言處理

在人類無(wú)法兼顧的海量信息中，AI技術(shù)的介入顯然為制止網(wǎng)絡(luò)暴力提供了一條捷徑。想要對(duì)評(píng)論、彈幕這樣成千上萬(wàn)的非結(jié)構(gòu)化語(yǔ)言數(shù)據(jù)進(jìn)行分析，自然語(yǔ)言處理（NLP）就成為研究者必須面對(duì)的核心AI技術(shù)。

作為AI的一個(gè)子領(lǐng)域，自然語(yǔ)言處理致力于讓計(jì)算機(jī)也能夠理解和處理人類語(yǔ)言，使計(jì)算機(jī)更接近于人類對(duì)語(yǔ)言的理解。

事實(shí)上，人類讀寫文字的歷史已經(jīng)有幾千年了，我們的大腦在理解自然語(yǔ)言方面積攢了大量的經(jīng)驗(yàn)。當(dāng)我們閱讀文字時(shí)，很快就能明白其中的含義，并感受到這些東西引發(fā)的情感。

但是想讓機(jī)器也擁有人類對(duì)語(yǔ)言的理解和情感，是一件非常困難的事情。之所以自然語(yǔ)言處理技術(shù)被譽(yù)為 “人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也顯現(xiàn)出了它的技術(shù)難度。

如今，深度學(xué)習(xí)的興起，讓自然語(yǔ)言處理技術(shù)得以進(jìn)一步發(fā)展，讓機(jī)器能夠自動(dòng)學(xué)習(xí)語(yǔ)言特征，掌握更高層次、更加抽象的語(yǔ)言特征，目前已廣泛應(yīng)用于機(jī)器翻譯、輿情監(jiān)測(cè)、自動(dòng)摘要、觀點(diǎn)提取、文本分類、問(wèn)題回答、文本語(yǔ)義對(duì)比、語(yǔ)音識(shí)別、中文OCR等方面。

在生活中，從語(yǔ)音助手Siri、微軟小冰、小愛(ài)同學(xué)，到語(yǔ)音輸入、谷歌翻譯、水軍檢測(cè)等，隨處可見自然語(yǔ)言處理技術(shù)。

那么，在制止網(wǎng)絡(luò)暴力方面，自然語(yǔ)言處理技術(shù)是如何應(yīng)用的？具體而言，涉及以下幾個(gè)方向：

情緒解析

基于情緒解析引擎，可以針對(duì)某條內(nèi)容所表達(dá)的情緒極值以及十二種細(xì)節(jié)情緒進(jìn)行全量分析，從而詳細(xì)了解千萬(wàn)條評(píng)論內(nèi)容中網(wǎng)民們的整體情緒分布；

其次，還可根據(jù)時(shí)間段來(lái)看隨著時(shí)間的推移網(wǎng)友們對(duì)這件事的態(tài)度的變化，即是否還是那么厭惡/喜歡；

再者，結(jié)合第三方數(shù)據(jù)——如用戶地域、性別等信息，還可以對(duì)不同人群的肖像進(jìn)行更精細(xì)地刻畫。

文本觀點(diǎn)提取

基于知識(shí)圖譜以及字詞間的相似度計(jì)算，高度精煉、概括每段話的核心表達(dá)觀點(diǎn)。

例如：“喜歡這個(gè)妝容，但是口紅顏色太深了”，觀點(diǎn)1：妝好；觀點(diǎn)2：口紅深。

對(duì)海量評(píng)論進(jìn)行觀點(diǎn)提取，可以精準(zhǔn)、高效地總結(jié)不同網(wǎng)民對(duì)于同一件事件所表達(dá)出的不同觀點(diǎn)，并可以對(duì)其進(jìn)行歸類和比較，幫助分析人員在第一時(shí)間獲取用戶的關(guān)注熱點(diǎn)信息或是用戶最反感的主要問(wèn)題等關(guān)鍵信息。

文本相似度判斷

一對(duì)一、一對(duì)多或多對(duì)一的文本匹配，從理解不同字詞所表達(dá)的含義入手，結(jié)合知識(shí)圖譜，判斷兩段文本核心觀點(diǎn)的一致程度。

例如：對(duì)同一事件或兩個(gè)不同事件的評(píng)論進(jìn)行相似度對(duì)比，可以根據(jù)結(jié)果看看用戶在用詞或表達(dá)上有什么共同點(diǎn)。不同事件間的評(píng)論對(duì)比，還能幫助發(fā)現(xiàn)“惡性”事件及其評(píng)論內(nèi)容之間的潛在關(guān)系，甚至能洞察出某件事/某個(gè)人近期的活動(dòng)形象會(huì)不會(huì)影響對(duì)其輿論的積極/消極性.

詞法分析

針對(duì)網(wǎng)民們成千上萬(wàn)條評(píng)論，可以通過(guò)詞法分析引擎來(lái)觀察積極評(píng)論或消極評(píng)論分別常用的用詞習(xí)慣、句式、詞法。從中可以總結(jié)出當(dāng)下網(wǎng)民普遍所使用的的話術(shù)/用詞習(xí)慣，以及不同人群在表達(dá)自己觀點(diǎn)時(shí)所特有的語(yǔ)言特點(diǎn)。

總體而言，基于自然語(yǔ)言處理的技術(shù)手段對(duì)網(wǎng)絡(luò)暴力文本進(jìn)行分析，不僅能及時(shí)控制負(fù)面影響擴(kuò)散，也能讓監(jiān)管機(jī)構(gòu)和平臺(tái)運(yùn)營(yíng)商更好地了解網(wǎng)絡(luò)暴力事件產(chǎn)生成因。

AI算法升級(jí)：上演“疑犯追蹤”

如果說(shuō)自然語(yǔ)言處理是基于對(duì)網(wǎng)絡(luò)暴力文本及用戶行為的綜合分析，當(dāng)不能檢測(cè)評(píng)論內(nèi)容的情況下，能否精準(zhǔn)地識(shí)別出潛在的網(wǎng)絡(luò)暴力者？

近日，日本德島大學(xué)的計(jì)算機(jī)研究者聯(lián)合日本大型網(wǎng)絡(luò)公司代理商Cyber Agent在《人類行為計(jì)算》上發(fā)表論文，他們用機(jī)器學(xué)習(xí)的方法，分析了Cyber Agent旗下一款社交類游戲的使用數(shù)據(jù)，并且在不監(jiān)測(cè)聊天內(nèi)容的情況下，僅基于聊天次數(shù)、聊天對(duì)象、聊天時(shí)間等基本信息，就能較為精準(zhǔn)地識(shí)別出潛在網(wǎng)絡(luò)違法者，并預(yù)測(cè)出違法行為的大概時(shí)間。

研究者基于兩種傳統(tǒng)犯罪學(xué)理論開發(fā)了這套算法：日?；顒?dòng)理論和社會(huì)傳染理論。

日?；顒?dòng)理論提出，許多犯罪行為并不是隨機(jī)發(fā)生的，犯罪者和被害人往往在日?；顒?dòng)中有交集。例如，在現(xiàn)實(shí)生活中，小偷在盜竊前會(huì)去目標(biāo)地點(diǎn)踩點(diǎn)，并觀察目標(biāo)人物的行為規(guī)律；同樣的，網(wǎng)絡(luò)上的犯罪者更需要提前與“獵物”取得聯(lián)系，套取信任。因此，玩家的社交活動(dòng)數(shù)據(jù)中或許就藏著“犯罪預(yù)告”。

另外，社會(huì)傳染理論還補(bǔ)充了重要的一點(diǎn)：違法傾向或違法行為也會(huì)傳染。最常見的例子就是網(wǎng)絡(luò)暴力。網(wǎng)絡(luò)暴力往往來(lái)源于某種過(guò)激情緒的廣泛傳播：在群體的裹挾下，有的人不知不覺(jué)就失去了獨(dú)立判斷能力，無(wú)意間成為了網(wǎng)上的施暴者。

在這兩種理論的基礎(chǔ)上，研究者選擇了是一款名叫Pigg Party的手機(jī)游戲。它主打社交功能，用戶登錄賬號(hào)后，可以裝扮虛擬的房間和個(gè)人形象，與朋友或陌生人以私聊、群聊、公聊的方式進(jìn)行交流。

研究人員采用擅長(zhǎng)從復(fù)雜數(shù)據(jù)中提取特征的算法——多層非線性模型，對(duì)55萬(wàn)用戶6個(gè)月內(nèi)產(chǎn)生的聊天數(shù)據(jù)，包括每名用戶的聊天頻率、聊天時(shí)間、消息的接收者等進(jìn)行了分析。

研究者組合多種神經(jīng)網(wǎng)絡(luò)模型和算法，搭建了預(yù)測(cè)違法事件的人工智能。

性能測(cè)試結(jié)果顯示， AI能根據(jù)用戶數(shù)據(jù)，較為準(zhǔn)確地預(yù)測(cè)未來(lái)的違法者和受害者賬戶。輸入用戶兩個(gè)月內(nèi)聊天的時(shí)間、頻率、對(duì)象，AI對(duì)接下來(lái)兩個(gè)月內(nèi)違法賬戶的預(yù)測(cè)準(zhǔn)確率可以達(dá)到84.85%，對(duì)受害者賬戶的預(yù)測(cè)準(zhǔn)確度也接近85%。

除了對(duì)個(gè)體賬戶違法或受害的風(fēng)險(xiǎn)有較好的預(yù)測(cè)能力外，只需提供一周內(nèi)的用戶活動(dòng)數(shù)據(jù)，AI就能基本精準(zhǔn)地預(yù)測(cè)接下來(lái)的一周網(wǎng)絡(luò)社區(qū)里發(fā)生違法事件的時(shí)間，對(duì)小時(shí)和日期的預(yù)測(cè)準(zhǔn)確率高達(dá)95.83%和85.71%，并且結(jié)果與預(yù)測(cè)受害給出的時(shí)間相吻合。

更有趣的是，AI分析數(shù)據(jù)后預(yù)警發(fā)生違法事件的時(shí)間，并不一定處在以往發(fā)生違法事件的時(shí)間段中，可見它掌握的并不僅僅是固定的規(guī)則，還有違法者言行中的真正“邏輯”。

研究者認(rèn)為，借助AI，系統(tǒng)管理員能更好地維護(hù)網(wǎng)絡(luò)安全和用戶權(quán)益。盡管目前的AI并且不能進(jìn)一步預(yù)測(cè)違法事件的具體類型，但它或許能抓住網(wǎng)絡(luò)上“隱形”的違法者，更好地保護(hù)我們的安全。

來(lái)源：科技云報(bào)道

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。