2016年，歐盟委員會(huì)牽頭與Facebook、Twitter、YouTube和微軟等互聯(lián)網(wǎng)巨頭們集體簽署了一項(xiàng)行為準(zhǔn)則，承諾“接到舉報(bào)后24小時(shí)內(nèi)屏蔽和刪除相關(guān)仇恨言論”。

“仇恨言論”在歐美已經(jīng)是刻不容緩的互聯(lián)網(wǎng)內(nèi)容安全問題。

2019年發(fā)生在美國、新西蘭等地的公共傷害事件，事后都被查明兇手為種族歧視的捍衛(wèi)者，動(dòng)手之前曾在網(wǎng)絡(luò)上分享過自己的行程與仇恨理念。

而這只是互聯(lián)網(wǎng)內(nèi)容安全問題的冰山一角。

互聯(lián)網(wǎng)上與日俱增的內(nèi)容不僅代表著更多的流量，也預(yù)示著巨大的內(nèi)容風(fēng)險(xiǎn)藏身其中。色情、毒品、旗幟、暴恐、血腥、武器等等不良、有害信息不僅危害互聯(lián)網(wǎng)平臺(tái)的內(nèi)容生態(tài)，更可能導(dǎo)致安全問題，使業(yè)務(wù)發(fā)展遭受損失。

不夸張的說，內(nèi)容安全就是互聯(lián)網(wǎng)平臺(tái)的風(fēng)控命門。

過去，互聯(lián)網(wǎng)公司通過增加內(nèi)容審核人員規(guī)模來解決問題，比如2018年今日頭條就曾將原有6000人的運(yùn)營審核隊(duì)伍擴(kuò)大到10000人，社交巨頭Facebook在全球范圍內(nèi)也擁有1.5萬內(nèi)容審核員。

但這也引出一個(gè)實(shí)際問題，大廠有能力和資金可以雇傭內(nèi)容審核專員，或者自己開發(fā)機(jī)器審核，而小廠呢？如何應(yīng)對這顆隨時(shí)可能引爆的安全“炸彈”？

人工+機(jī)器輔助，AI內(nèi)容風(fēng)控了解一下

隨著互聯(lián)網(wǎng)內(nèi)容愈發(fā)繁雜且海量，以及市場與行業(yè)升級之后，信息傳播的媒介與形態(tài)越來越多樣化，傳統(tǒng)的人工審核方式已經(jīng)不能從容應(yīng)對內(nèi)容安全危機(jī)了。

人工審核本身有著天然缺陷，比如成本高、效率低、主觀成分高、評判標(biāo)準(zhǔn)不統(tǒng)一等等。僅成本一項(xiàng)就很難，有企業(yè)曾透露，一人一天審核4萬條信息，日均100萬數(shù)據(jù)，光審核人力成本就要200萬以上。

對企業(yè)而言，概括起來說就是成本高、技術(shù)難、效果差。甚至，因?yàn)殚L期與極度負(fù)面的信息打交道，對審核員工的身心都會(huì)造成損傷。

今年3月，3000多名內(nèi)容審核員就對Facebook發(fā)起了訴訟，這些內(nèi)容審核員要求對這份工作引發(fā)的精神損害進(jìn)行經(jīng)濟(jì)補(bǔ)償。5月，F(xiàn)acebook不得不同意向這些內(nèi)容審核員支付5200萬美元的和解費(fèi)。

并且，視頻、音頻等媒介形式的爆發(fā)，又給人工審核帶來了新的挑戰(zhàn)。

于是近幾年，基于算法技術(shù)和人工智能，互聯(lián)網(wǎng)平臺(tái)開始開發(fā)機(jī)器輔助人工審核的方式應(yīng)對內(nèi)容安全問題。機(jī)器審核的一大優(yōu)勢就在于，可以應(yīng)對不同媒介維度的內(nèi)容審核工作。

文本內(nèi)容：最基礎(chǔ)的處理工作是匹配詞庫進(jìn)行分類處理。區(qū)別于人工，AI可以通過預(yù)設(shè)違禁詞庫來完成文本內(nèi)容篩選。

比如，百度內(nèi)容審核平臺(tái)就是預(yù)置違禁詞庫+用戶自定義黑/白詞庫的配置，并根據(jù)色情、暴恐違禁、政治敏感、惡意推廣等七大場景建立了黑詞庫和語義審核模型，不僅能夠?qū)γ舾性~和違禁詞進(jìn)行處理，也能根據(jù)上下文、語境、語義識別出違規(guī)信息。

圖像內(nèi)容：機(jī)器對圖片類型的內(nèi)容審核，其底層是圖片識別的技術(shù)應(yīng)用。以此為基礎(chǔ)邏輯，圖片內(nèi)容的各個(gè)場景得以被辨識并應(yīng)用到內(nèi)容審核中，比如下圖就介紹了百度內(nèi)容審核平臺(tái)的圖像檢測產(chǎn)品的主要功能。

視頻內(nèi)容：視頻內(nèi)容由音頻內(nèi)容、視頻畫面兩個(gè)對象組成，視頻畫面的機(jī)器審核，業(yè)界目前常采用截取畫面幀上傳識別，最終復(fù)用的是圖片識別通道對場景、人物、物品進(jìn)行判斷是否違規(guī)。

音頻內(nèi)容：音頻識別的技術(shù)基礎(chǔ)建立在以聲學(xué)模型建立的發(fā)音模版，通過匹配發(fā)音模版判斷出語種和對應(yīng)表義，輸出可被計(jì)算機(jī)理解的語言結(jié)果。

音頻內(nèi)容的審核要略微復(fù)雜一些，一方面是音頻背景音需要降噪才能準(zhǔn)確識別語音內(nèi)容，另一方面是聲音內(nèi)容的顆粒度要更細(xì)，比如摻雜在聲音內(nèi)容里的嬌喘聲。百度內(nèi)容審核平臺(tái)為此增加了一個(gè)聲學(xué)模型審核，對諸如嬌喘聲等違規(guī)信息可有效識別。

以上幾種不同媒介的機(jī)器審核是目前業(yè)界最普遍的基礎(chǔ)方案，相較于人工審核，人工+機(jī)器的復(fù)合審核方式相當(dāng)于將一些重復(fù)性高、需要大量計(jì)算的工作交給機(jī)器精篩，再由人工復(fù)審，以此達(dá)到海量內(nèi)容的高效審核。

這也存在一些問題，比如一張人像圖片可以劃分為“色情”、“性感”、“正常”三個(gè)維度，機(jī)器可以根據(jù)肉體裸露程度來判斷，但在特定情況下又要有所區(qū)分，比如在電商平臺(tái)銷售內(nèi)衣的模特照片就是合規(guī)的，而在母嬰論壇可能就不一樣。

所以，在流程設(shè)計(jì)上，機(jī)器審核可以做到的就是幫助運(yùn)維者先行剔除大量確切違規(guī)的內(nèi)容，剩下的人工審核流程依舊不能省。

需要怎樣的內(nèi)容風(fēng)控解決方案？

那么，既然機(jī)器審核既有優(yōu)勢又有劣勢，互聯(lián)網(wǎng)平臺(tái)究竟要怎樣才能做到高效且節(jié)省成本的內(nèi)容審核呢？

答案是從兩個(gè)方面入手。

其一，部署性能優(yōu)越的機(jī)器審核平臺(tái)。目前，基本上互聯(lián)網(wǎng)大廠都是自己開發(fā)，比如Facebook。疫情期間，由于大部分人工審核員居家隔離，F(xiàn)acebook依賴于AI檢測系統(tǒng)，據(jù)說該系統(tǒng)可以自行檢測到平臺(tái)上90％的有害信息。

國內(nèi)的百度、騰訊、阿里、頭條、快手等也都是自己開發(fā)的機(jī)器審核。也有一些提供內(nèi)容審核的大數(shù)據(jù)風(fēng)控創(chuàng)業(yè)公司，比如同盾科技、數(shù)美科技等等。

其中，百度是為數(shù)不多開放這一產(chǎn)品的大廠。2018年，百度推出了基于AI開放平臺(tái)的內(nèi)容審核產(chǎn)品，支持圖像、文本、音頻、視頻等多形式的審核。

經(jīng)過兩年多的發(fā)展，目前百度內(nèi)容審核平臺(tái)已經(jīng)升級到14+項(xiàng)圖像、 8+項(xiàng)文本、9+項(xiàng)語音審核能力，并可以基于多年的風(fēng)險(xiǎn)處置經(jīng)驗(yàn)實(shí)時(shí)更新系統(tǒng)策略。

百度內(nèi)容審核平臺(tái)設(shè)定了全面的分類標(biāo)簽體系，包括色情20標(biāo)簽、暴恐17標(biāo)簽等等，這一體系可以讓企業(yè)根據(jù)業(yè)務(wù)需求自由組合標(biāo)簽，也就是自定義模型。

舉個(gè)例子，在視頻直播場景下親密行為屬于正常，而在母嬰論壇就不能通過。不同場景對違禁規(guī)則的需求不同，平臺(tái)可以根據(jù)自身業(yè)務(wù)特性自定義模型，無疑這既增加內(nèi)容審核準(zhǔn)確度也不會(huì)對用戶體驗(yàn)造成損傷。

而且百度內(nèi)容審核平臺(tái)背后還有頂尖的技術(shù)支撐，百度是唯一連續(xù)三年入選MIT科技評論的年度十大突破技術(shù)公司。在人臉檢測Wider Face&person Chllenge 2019、機(jī)器閱讀理解 MS MARCO數(shù)據(jù)集榜單等國際技術(shù)比賽中穩(wěn)居第一。

其二，人工依舊是內(nèi)容安全審核無法略去的重要環(huán)節(jié)，而提高人工審核效率也是關(guān)鍵之一。

據(jù)百度AI技術(shù)生態(tài)部高級產(chǎn)品經(jīng)理Nathan透露，百度內(nèi)容審核平臺(tái)的客戶存在一個(gè)非常明確的訴求，即AI 審核能力提高的同時(shí)，還需要一套功能更加完備的審核系統(tǒng)來提升審核的管理效率。

近日，百度大腦就在內(nèi)容審核平臺(tái)的基礎(chǔ)上又推出了人機(jī)協(xié)同審核管理平臺(tái)。

該平臺(tái)的邏輯是輔助內(nèi)容審核平臺(tái)，相當(dāng)于在整個(gè)審核流程中加入了一個(gè)新的AI機(jī)審。以短視頻為例，AI機(jī)審可以調(diào)用內(nèi)容審核平臺(tái)接口，通過截幀、抽取音頻的方式進(jìn)行審核，對比內(nèi)容審核平臺(tái)，AI機(jī)審在這其中增加了圖像指紋、聲紋黑庫功能，進(jìn)一步強(qiáng)化審核準(zhǔn)確度。

同時(shí)，人機(jī)協(xié)同審核管理平臺(tái)還推出了三層人審機(jī)制，具體流程可參考下圖。

百度方面表示，通過優(yōu)化人機(jī)協(xié)同機(jī)制，能夠幫助客戶降低30%人力消耗并大幅提升單人審核效率。而且在服務(wù)形態(tài)上提供公有云、私有化靈活的部署方案，幫助客戶極大節(jié)省平臺(tái)開發(fā)和運(yùn)維成本。

國信聚安是一家聚焦于內(nèi)容安全生態(tài)的專業(yè)服務(wù)商，其基于百度大腦的算法、模型、數(shù)據(jù)和研發(fā)打造了一套新媒體內(nèi)容風(fēng)險(xiǎn)管理方案。

國信聚安的業(yè)務(wù)能力主要在前端數(shù)據(jù)，包括用戶信息、圖片信息、視頻、互動(dòng)等，借助人機(jī)協(xié)同審核管理平臺(tái)建立自定義模型，對色情、涉政等違規(guī)信息進(jìn)行關(guān)鍵詞匹配、語義分析等檢測操作，再通過人工復(fù)審實(shí)現(xiàn)結(jié)果輸出。

通過借力百度大腦，國信聚安實(shí)現(xiàn)了四大提升：

1 借助標(biāo)準(zhǔn)化、易接入的人機(jī)審核平臺(tái)，提升了業(yè)務(wù)拓展和線上效果；

2 提高專項(xiàng)內(nèi)容審查的應(yīng)對能力；

3 高危內(nèi)容研判耗時(shí)縮短，準(zhǔn)確率提升；

4 人力成本下降。

“借助模型快速的研判和準(zhǔn)確率，使得研判耗時(shí)縮短了95%，準(zhǔn)確率提升了70%，也大大降低了一線審核員的壓力?！眹啪郯睠EO陳太鋒表示。

工欲善其事，必先利其器

從全球內(nèi)容產(chǎn)業(yè)的發(fā)展來看，內(nèi)容安全審核是整個(gè)互聯(lián)網(wǎng)平臺(tái)進(jìn)化的重要一步。一方面，機(jī)器審核方式的加入提升了內(nèi)容審核效率，另一方面也直接強(qiáng)化了內(nèi)容分發(fā)的商業(yè)效率。

也就是說，除了內(nèi)容安全問題，AI也在讓內(nèi)容產(chǎn)業(yè)變的更“輕”——輕人力、輕成本、輕流程，讓AI來解決更多問題。

而近年來內(nèi)容安全事件的高發(fā)，也證明了行業(yè)中內(nèi)容安全風(fēng)控仍存在缺口。主要表現(xiàn)在建立內(nèi)容審核編輯責(zé)任制落地不到位、在新媒介內(nèi)容審核上技術(shù)投入不足等等，這其中有技術(shù)問題也有人力、資金問題。

考慮到這些現(xiàn)實(shí)問題，而內(nèi)容風(fēng)控又是必須要做的事情，類似百度大腦這樣的高效、低成本審核手段就有了用武之地。

在這樣的前提下，利用AI進(jìn)行內(nèi)容風(fēng)控的重要性只會(huì)不斷提高，我們未來需要應(yīng)對的不僅僅是不當(dāng)內(nèi)容和低質(zhì)量內(nèi)容，很可能還會(huì)有人類都難以分辨的虛假內(nèi)容。這樣看來，AI內(nèi)容風(fēng)控不僅僅是一項(xiàng)增益技術(shù)，而是駛向內(nèi)容產(chǎn)業(yè)金銀島保駕護(hù)航的必由之路。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。