文/楊潔 編輯/單一

昏暗的房間里，一個個年輕人面色凝重的對著電腦，他們一遍遍的看著網(wǎng)站上的內(nèi)容、文字、圖片等，每八秒就要對問題帖子做出“生殺決斷”。

電腦屏幕里，不時出現(xiàn)血腥自殘、性虐待、恐怖暴亂等內(nèi)容，這是紀錄片《The Cleaners》中出現(xiàn)的一幕。

在這部記錄片里，“數(shù)字清潔者”——鑒黃師的真實生活被推到了眾人的面前。

揭秘“鑒黃師”職業(yè)的紀錄片

鑒黃師，一份“最幸福”也“最痛苦”的工作，他們手握互聯(lián)網(wǎng)各類內(nèi)容的“生殺大權(quán)”，藏匿在數(shù)字浪潮的海底，與網(wǎng)絡(luò)中的惡意內(nèi)容為伴。

這些惡意內(nèi)容包含文字、圖片、聲音、視頻等各種形式，“鑒黃”只是其中極小的一部分，除此之外，還有諸如血腥、暴力、變態(tài)等挑戰(zhàn)道德底線的內(nèi)容。

隨著互聯(lián)網(wǎng)平臺各類直播、短視頻、圖文信息的增多，網(wǎng)絡(luò)安全治理問題亟待解決。如何快速鑒定出劣質(zhì)信息并進行處理，成了擺在各大平臺面前的一道考題。

網(wǎng)絡(luò)惡意，“鑒黃”出擊

“為什么給我推薦的，全是霸道總裁文？”在公開的社交網(wǎng)站上，不時能看到這樣的用戶反饋。

然而這樣的套路并不稀奇，在微博的信息流，以及部分網(wǎng)站的跳轉(zhuǎn)鏈接中，經(jīng)常夾雜著“霸道總裁文”或者“情感漫畫”等低俗網(wǎng)文，利用爽文的套路，誘導(dǎo)大眾付費閱讀。

如此利用“色情+社交”來進行流量的轉(zhuǎn)化，有著成熟的信息生產(chǎn)鏈條。據(jù)公開報道，此類色情信息從業(yè)者月入甚至能高達數(shù)萬。

多年以來，無論政府，還是企業(yè)，對互聯(lián)網(wǎng)中涉及淫穢、暴力、血腥等劣質(zhì)內(nèi)容的整頓從未停歇，但內(nèi)容亂象卻依然屢打不止。

網(wǎng)絡(luò)世界中的不良信息

于是，“內(nèi)容鑒定員”這一工種應(yīng)運而生。以Facebook為例，單在2018年就設(shè)有15,000名鑒定員來負責(zé)篩選和刪除攻擊性內(nèi)容，并于18年底再增加了5,000人。

至于國內(nèi)的企業(yè)，早在2014年，百度、騰訊等10多家互聯(lián)網(wǎng)公司組成的“安全聯(lián)盟”就曾對外宣布，公開招聘“首席鑒定官”，大幅增加人工鑒定的規(guī)模。

縱觀看來，“內(nèi)容鑒定員”的出現(xiàn)能及時卻短暫地填補了劣質(zhì)信息鑒定和查漏的需求空缺。在日趨復(fù)雜的網(wǎng)絡(luò)環(huán)境中，面對億級的信息量，且隱蔽性不斷升級的不良信息，人工作業(yè)精準度有限等弊端日漸凸顯。此外，企業(yè)在內(nèi)容鑒定方面的成本、效果、技術(shù)上，遇到的挑戰(zhàn)維度也在不斷升級。

此時，AI技術(shù)的出現(xiàn)，為內(nèi)容鑒定帶來了新的動能。

Facebook曾招聘大量的內(nèi)容審核員

AI助力，“鑒黃”升級

AI鑒黃的邏輯看起來并不復(fù)雜：AI通過深度學(xué)習(xí)技術(shù)，再經(jīng)過大規(guī)模的樣本訓(xùn)練，便能基本形成監(jiān)測識別夾雜的不規(guī)范信息的能力。但實際上，內(nèi)容鑒定對算法精度、樣本量都有很高要求，需要大量的技術(shù)投入和持續(xù)的機器學(xué)習(xí)，在內(nèi)容鑒定的專業(yè)度上也有較高門檻。

在市場的需求和技術(shù)的驅(qū)力下，利用AI來進行內(nèi)容鑒定服務(wù)的產(chǎn)業(yè)鏈正逐漸成型。作為國內(nèi)互聯(lián)網(wǎng)的領(lǐng)軍企業(yè)，騰訊也看到了趨勢，并推出其自研的智能鑒黃產(chǎn)品——騰訊云鸮。

“很多企業(yè)會以AI能力為基礎(chǔ)，做相關(guān)產(chǎn)品的開發(fā)，首先它可以改變過去更多依靠人工鑒定的工作模式，對企業(yè)來說，也意味更少的成本，更高的效率去發(fā)現(xiàn)和處理劣質(zhì)信息。”騰訊云鸮產(chǎn)品團隊告訴鋅財經(jīng)。

AI可以輔助內(nèi)容鑒定

2017年，騰訊提出“AI in all”戰(zhàn)略，即讓AI無處不在。在消費互聯(lián)網(wǎng)領(lǐng)域，騰訊AI已在內(nèi)容、社交、游戲等過百種產(chǎn)品中落地。同時，在產(chǎn)業(yè)互聯(lián)網(wǎng)領(lǐng)域，騰訊AI也已落地醫(yī)療、零售、金融、安防、教育、工業(yè)、出行等多個產(chǎn)業(yè)。

由于有著多領(lǐng)域、長時間的AI技術(shù)沉淀，騰訊自17年起，便開始嘗試利用自身強大的AI技術(shù)打造騰訊云鸮產(chǎn)品，來解決鑒黃等內(nèi)容安全問題。

據(jù)云鸮團隊介紹，產(chǎn)品在19年年初已經(jīng)趨向成熟。云鸮憑借先進的深度學(xué)習(xí)模型算法，沉淀了騰訊多年的內(nèi)容安全對抗經(jīng)驗，現(xiàn)已具備全場景AI識別能力，可以瞬間解析音視圖文等各類媒介內(nèi)容，識別其中的色情、低俗、謾罵、垃圾廣告等不良信息，全面保障產(chǎn)品內(nèi)容的安全。

在內(nèi)容安全的鑒黃領(lǐng)域，云鸮獨創(chuàng)了許多新的技術(shù)。同時還能克服唱歌、哭泣聲甚至正常ASMR的干擾。圖片鑒黃能夠區(qū)分性感和色情的分界，并從多個維度進行判斷以及給出相應(yīng)標簽，對于大尺度圖片還能夠判斷是否來自藝術(shù)名畫、動漫亦或是惡搞。即使面對正常圖像和文字結(jié)合的拼圖招嫖圖片，云鸮也有一套成熟的算法和流程機制能夠快速判斷，同時也會結(jié)合OCR技術(shù)，識別圖文中的黑灰產(chǎn)行業(yè)黑話。

騰訊云鸮產(chǎn)品

目前，云鸮的AI技術(shù)已在多種業(yè)務(wù)場景中得以廣泛應(yīng)用。云鸮也通過騰訊安全天御和微信開放平臺面向客戶全面開放，致力于為游戲、社交、直播、短視頻等行業(yè)提供一站式內(nèi)容安全解決方案。客戶可以通過騰訊安全天御，小程序開發(fā)者通過微信開放平臺，進行簡單的部署對接即可使用從而幫助企業(yè)升級自身防范規(guī)避內(nèi)容風(fēng)險，提高產(chǎn)品內(nèi)容安全性。

隨著云鸮內(nèi)容安全產(chǎn)品的普及應(yīng)用，能極大地提升企業(yè)整體內(nèi)容鑒定的效率，可以做到24小時不限量識別，從而幫助企業(yè)大幅優(yōu)化人力資源成本；同時能以極高的精確率和召回率，為客戶平臺產(chǎn)品全面提升健康度。目前已經(jīng)有超過5萬的客戶接入云鸮使用。

黑色福利，云鸮進擊

“劣質(zhì)信息的內(nèi)容，最終是以文字，圖片、音頻、視頻的等各種形態(tài)做傳播，在內(nèi)容上也有很多的變種，這些內(nèi)容背后是一些跨平臺的黑色產(chǎn)業(yè)鏈在支撐。”云鸮團隊說。

在不斷的實戰(zhàn)中，騰訊云鸮已經(jīng)建立起了一套應(yīng)對劣質(zhì)信息明確的鑒定體系和應(yīng)急響應(yīng)機制。并通過采用深度學(xué)習(xí)技術(shù)的智能識別技術(shù)，可以對文字、圖片、語音，直播視頻內(nèi)容中的敏感成分實現(xiàn)精準覆蓋。

如對于二次元色情產(chǎn)業(yè)鏈“福利姬”的打擊，騰訊云鸮便助力警方立下了赫赫戰(zhàn)功。

二次元色情產(chǎn)業(yè)鏈“福利姬”

“福利姬”曾是網(wǎng)絡(luò)上一種非常普遍的現(xiàn)象，最先從一些直播UP主開始，直播引流，賣圖創(chuàng)收。在線上，“福利姬”常通過售賣軟色情圖包、音視頻、好友位費用和會員費來牟利；在線下，則主要通過援交。

此類信息的存在，對未成年人的身心健康造成了極為惡劣的影響。但由于“福利姬”灰產(chǎn)鏈上的人群龐大且分散，難以圈定，加之隱秘性高，方式復(fù)雜。例如，“福利姬”常會把帶色情暗示的照片附著在一組正常的COS圖后面，再加上社交ID水印，就能逃過基礎(chǔ)的內(nèi)容安全鑒定。這為平臺方的監(jiān)管帶來了巨大的難度。

此時，騰訊云鸮的出現(xiàn)，其毫秒級的識別能力及鑒定體系，便能適用于應(yīng)對解決“福利姬”傳播中的關(guān)鍵環(huán)節(jié)和難點。其結(jié)合用戶端舉報和反饋的案例，經(jīng)過系統(tǒng)和人工數(shù)重核實，最終聯(lián)動公安機關(guān)發(fā)力打擊，成功端掉其線下團伙以及背后的黑色產(chǎn)業(yè)鏈。

然而，隨著互聯(lián)網(wǎng)的高度普及，低齡網(wǎng)民群體日增，加之不良信息傳播手法層出不窮，網(wǎng)絡(luò)安全監(jiān)管再升級刻不容緩。云鸮團隊也表示，通過持續(xù)的識別打擊，可以不斷增強云鸮的能力，從而加速產(chǎn)品迭代。

看到這里，用戶難免會產(chǎn)生一個新的疑問：既然AI鑒黃效率這么高，那會砸了人工鑒定員的飯碗嗎？

在采訪中，騰訊云鸮團隊多次提到“配合”二字，來表達自己對AI和人工的態(tài)度。在他們看來，雖然在成本、時間、準確度等各個維度進上，AI有著人工不可比擬的優(yōu)勢。但這并不代表能否認鑒黃師存在的必要性，對于某些特殊場景的判定，仍需要人工復(fù)核來彌補當(dāng)前AI技術(shù)的短板。另一方面，現(xiàn)今的鑒黃師也跟隨著時代潮流，加入了人工智能團隊，協(xié)助AI進行陌生數(shù)據(jù)的標注，幫助機器學(xué)習(xí)，優(yōu)化AI的性能 。

AI與人工鑒定員是相互補充的關(guān)系

在2017年頒發(fā)的《網(wǎng)絡(luò)安全法》中，將借助網(wǎng)絡(luò)傳播、擴散淫穢色情等違法信息歸屬為嚴重危害國家安全和社會公共利益的違法行為，其要求企業(yè)需采用技術(shù)手段控制。可以說，劣質(zhì)內(nèi)容已經(jīng)破壞了互聯(lián)網(wǎng)正常的環(huán)境，遏制惡劣內(nèi)容已經(jīng)成為產(chǎn)品應(yīng)用的重要生命線。

隨著5G時代的到來，監(jiān)管標準、違規(guī)內(nèi)容也在發(fā)生著變化，對內(nèi)容安全提出了新的要求，在激烈的市場角逐下，各個平臺也在更新迭代，借助AI內(nèi)容鑒定實力，守住內(nèi)容安全這條紅線。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。