原標(biāo)題：騰訊優(yōu)圖開源深度學(xué)習(xí)推理框架TNN，助力AI開發(fā)降本增效

從學(xué)界到工業(yè)界，“開源”已經(jīng)成為AI領(lǐng)域的一個關(guān)鍵詞。一方面，它以“授人以漁”的方式為AI構(gòu)建了一個開放共進(jìn)的生態(tài)環(huán)境，幫助行業(yè)加速AI應(yīng)用落地；另一方面，在解決行業(yè)實(shí)際問題時持續(xù)更新和迭代，源源不斷地給AI領(lǐng)域輸送重要的技術(shù)養(yǎng)料和創(chuàng)造力，可以說開源是AI落地和繁榮不可或缺的源動力。

6月10日，騰訊優(yōu)圖實(shí)驗室宣布正式開源新一代移動端深度學(xué)習(xí)推理框架TNN，通過底層技術(shù)優(yōu)化實(shí)現(xiàn)在多個不同平臺的輕量部署落地，性能優(yōu)異、簡單易用。基于TNN，開發(fā)者能夠輕松將深度學(xué)習(xí)算法移植到手機(jī)端高效的執(zhí)行，開發(fā)出人工智能 APP，真正將 AI 帶到指尖。

一、輕量級部署，TNN助力深度學(xué)習(xí)提速增效

深度學(xué)習(xí)對算力的巨大需求一直制約著其更廣泛的落地，尤其是在移動端，由于手機(jī)處理器性能弱、算力無法多機(jī)拓展、運(yùn)算耗時長等因素常常導(dǎo)致發(fā)熱和高功耗，直接影響到app等應(yīng)用的用戶體驗。騰訊優(yōu)圖基于自身在深度學(xué)習(xí)方面的技術(shù)積累，并借鑒業(yè)內(nèi)主流框架優(yōu)點(diǎn)，推出了針對手機(jī)端的高性能、輕量級移動端推理框架TNN。

TNN在設(shè)計之初便將移動端高性能融入核心理念，對2017年開源的ncnn框架進(jìn)行了重構(gòu)升級。通過GPU深度調(diào)優(yōu)、ARM SIMD深入?yún)R編指令調(diào)優(yōu)、低精度計算等技術(shù)手段，在性能上取得了進(jìn)一步提升。以下是MNN, ncnn, TNN框架在多款主流平臺的實(shí)測性能：

TNN在麒麟970、驍龍835、驍龍845，驍龍615平臺實(shí)測性能數(shù)據(jù)

注：縱軸單位：ms 測試分支：MNN:1.0.0(2020.05.07), ncnn:20200413, TNN: master(2020.06.10)

測試模型：https://github.com/alohali/benchmark-models

低精度計算的運(yùn)用對TNN的性能提升發(fā)揮了重要作用。在神經(jīng)網(wǎng)絡(luò)計算中，浮點(diǎn)精度在許多研究和業(yè)務(wù)落地成果上都被證明存在一定冗余，而在計算、內(nèi)存資源都極為緊張的移動端，消除這部分冗余極為必要。TNN引入了INT8、 FP16、 BFP16等多種計算低精度的支持，相比大部分僅提供INT8支持的框架，不僅能靈活適配不同場景，還讓計算性能大大提升。TNN通過采用8bit整數(shù)代替float進(jìn)行計算和存儲，模型尺寸和內(nèi)存消耗均減少至1/4，在計算性能上提升50%以上。同時引入arm平臺BFP16的支持，相比浮點(diǎn)模型，BFP16使模型尺寸、內(nèi)存消耗減少50%，在中低端機(jī)上的性能也提升約20%。驍龍615平臺實(shí)測：

通用、輕便是TNN框架的另一大亮點(diǎn)。長久以來，不同框架間的模型轉(zhuǎn)換都是AI項目應(yīng)用落地的痛點(diǎn)。TNN設(shè)計了與平臺無關(guān)的模型表示，為開發(fā)人員提供統(tǒng)一的模型描述文件和調(diào)用接口，支持主流安卓、iOS等操作系統(tǒng)，適配CPU、 GPU、NPU硬件平臺。企業(yè)一套流程就能部署到位，簡單易用、省時省力。同時， TNN通過ONNX可支持TensorFlow, PyTorch, MXNet, Caffe等多種訓(xùn)練框架，目前支持ONNX算子超過80個，覆蓋主流CNN網(wǎng)絡(luò)。TNN所有算子均為源碼直接實(shí)現(xiàn)，不依賴任何第三方，接口易用，切換平臺僅需修改調(diào)用參數(shù)即可。

二、開源文化興起，AI底層技術(shù)助推產(chǎn)業(yè)發(fā)展

事實(shí)上，作為騰訊旗下頂級AI實(shí)驗室，騰訊優(yōu)圖長期致力于AI基礎(chǔ)設(shè)施的研發(fā)和推進(jìn)。此前，騰訊優(yōu)圖已開發(fā)了Rapidnet 前向計算框架、RapidAIoT 邊緣計算框架，實(shí)現(xiàn)了業(yè)界首個專注移動端的推斷框架ncnn的開源，并在業(yè)界受到廣泛推崇。從2017年開源至今，ncnn在GitHub上star(8.9k)和 fork(2.3k)數(shù)均領(lǐng)先于其它各大推理框架。

據(jù)悉，TNN已于3月中旬在騰訊內(nèi)部開源，為騰訊QQ、QQ空間、騰訊微視、騰訊云、天天P圖等多款產(chǎn)品和服務(wù)中持續(xù)提供技術(shù)能力，釋放出更多效能。

“TNN已在GitHub上開源，歡迎業(yè)界人士參與協(xié)同共建，共同打造更優(yōu)的移動端推理框架。“騰訊優(yōu)圖實(shí)驗室副總經(jīng)理吳永堅介紹，騰訊優(yōu)圖后續(xù)將在現(xiàn)有CV業(yè)務(wù)的基礎(chǔ)上研發(fā)更多的AI推理模型，如語音、NLP等相關(guān)業(yè)務(wù)，同時開展針對CPU、GPU服務(wù)器端的服務(wù)，為業(yè)界公司提供更廣泛的優(yōu)化服務(wù)?！白鳛楫a(chǎn)業(yè)發(fā)展的高速公路，以深度學(xué)習(xí)框架、組件為代表的AI基礎(chǔ)設(shè)施將是未來的主流趨勢，騰訊優(yōu)圖也將以此為著力點(diǎn)，助推產(chǎn)業(yè)發(fā)展?！眳怯缊员硎荆v訊優(yōu)圖還將持續(xù)開發(fā)模型訓(xùn)練組件、模型壓縮組件、基礎(chǔ)算法組件，并擇機(jī)開源，希望從框架到平臺、到算法，打造一體化的AI基礎(chǔ)設(shè)施，降低AI門檻，加速產(chǎn)業(yè)發(fā)展。

隨著以開源為代表的新代碼文化的興起，騰訊近年來在開源領(lǐng)域表現(xiàn)亮眼：在全球最大的代碼托管平臺GitHub上，騰訊發(fā)布的開源項目已經(jīng)超過一百個，涵蓋云原生、大數(shù)據(jù)、AI、云計算、安全、硬件等多個熱門的技術(shù)方向。

通過開源協(xié)同，騰訊將各個事業(yè)群最底層和共性的技術(shù)能力進(jìn)行梳理和拉通，在業(yè)務(wù)實(shí)踐和海量用戶檢驗下，優(yōu)質(zhì)的內(nèi)部開源項目不僅在公司層面推廣復(fù)用，同時也對外貢獻(xiàn)整個開源社區(qū)。僅在Github上，騰訊的開源項目就收獲了30w+star數(shù)，躋身國際上有影響力的開源企業(yè)之一。

在開源的道路上，騰訊不僅將內(nèi)部優(yōu)質(zhì)項目持續(xù)對外開放，也積極與開源社區(qū)協(xié)同合作，發(fā)揮中國企業(yè)的科技力量，推動開源和開放進(jìn)一步升級。

開源地址：https://github.com/Tencent/TNN

深挖智能這口井，同好添加vx：zhinengxiaoyan

智能相對論（微信ID:aixdlun）：

?AI產(chǎn)業(yè)新媒體;

?今日頭條青云計劃獲獎?wù)逿OP10;

?澎湃新聞科技榜單月度top5;

?文章長期“霸占”鈦媒體熱門文章排行榜TOP10;

?著有《人工智能 十萬個為什么》

?【重點(diǎn)關(guān)注領(lǐng)域】智能家電（含白電、黑電、智能手機(jī)、無人機(jī)等AIoT設(shè)備）、智能駕駛、AI+醫(yī)療、機(jī)器人、物聯(lián)網(wǎng)、AI+金融、AI+教育、AR/VR、云計算、開發(fā)者以及背后的芯片、算法等。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。