2019年4月26日,由意法半導(dǎo)體主辦的2019年STM32中國峰會在深圳舉行,出門問問工程VP李勤受邀出席大會AIoT沙龍,并在人工智能與計算分會場發(fā)表了演講,分享了出門問問在嵌入式系統(tǒng)上的智能語音交互方案和經(jīng)驗。
深耕萬億級的AIoT市場
在上午主會場的AIoT沙龍環(huán)節(jié),李勤與微軟首席技術(shù)顧問管震、移遠(yuǎn)通信高級副總裁張棟、意法半導(dǎo)體大中華暨南亞區(qū)AMS市場及應(yīng)用高級總監(jiān)吳衛(wèi)東共同探討了對于人工智能物聯(lián)網(wǎng)的看法。
李勤表示,中國的AIoT市場是一個萬億級的市場。而其中,AI可穿戴將是重要的增長極,將在未來5年保持高速的增長態(tài)勢。按照公開數(shù)據(jù),預(yù)計在未來5年內(nèi),全球Wearable IoT的市場規(guī)模會達(dá)到424億美元,達(dá)到平均每年30%的復(fù)合增長率。
芯片、算法和傳感器的深度集成是AIoT核心的技術(shù)之一。未來,算法和芯片的深度融合是一大挑戰(zhàn),即算法去為芯片優(yōu)化,芯片為算法優(yōu)化。這也是出門問問的優(yōu)勢所在,可以發(fā)揮全棧式的AI語音交互算法能力,以及芯片、算法、產(chǎn)品端的深度整合和系統(tǒng)集成能力,賦能給其他合作伙伴。
將芯片、傳感器和AI算法深度集成
在下午的人工智能與計算分會場上,李勤深入地分析了出門問問作為一家AI技術(shù)公司是如何做嵌入式系統(tǒng)上的智能語音交互方案的。
李勤指出,AI可穿戴技術(shù)的核心是人機(jī)交互的過程,而人機(jī)交互涉及到多種傳感器融合技術(shù)以及語音交互技術(shù)。多種傳感器融合技術(shù)包括拾音麥克風(fēng)、運動傳感器(例如加速度器,陀螺儀)、骨傳導(dǎo)麥克風(fēng)、心率傳感器、觸摸及反饋等,只有把多種傳感器融合在一起,才能給用戶提供更好的體驗。
而語音交互是所有人機(jī)交互方式中最重要的一個,在合適的場景下極為高效。它有著不可替代的優(yōu)勢,例如解放雙手和雙眼;指向明確,語義直達(dá)目標(biāo),縮短整個的使用路徑;自然語言交互,簡單人性化,學(xué)習(xí)成本低,不用記固定命令詞;對設(shè)備的大小沒有特別要求。但當(dāng)然,語音交互也面臨一些挑戰(zhàn),例如受環(huán)境影響比較大,前端信號處理的挑戰(zhàn)大,受硬件和結(jié)構(gòu)的限制,返回結(jié)果的展示形式單一等。
未來3年,AI可穿戴市場將迎來高速發(fā)展,整體規(guī)模預(yù)計達(dá)到10億設(shè)備量級,保持30%的高年均增長速度。相應(yīng)的,未來市場對芯片和傳感器的需求都會大量增加。
在高速增長的過程中,AI可穿戴同樣面臨許多迭代技術(shù)挑戰(zhàn),包括設(shè)備的小型化設(shè)計、低功耗優(yōu)化等等,在算法上需要大量針對性的優(yōu)化支持。例如,在地鐵嘈雜環(huán)境下使用耳機(jī)通話,要利用算法實現(xiàn)環(huán)境降噪處理;為實現(xiàn)設(shè)備更低功耗,需要提高代碼效率并對芯片進(jìn)行優(yōu)化;協(xié)調(diào)運動、心率等大量傳感器為用戶提供有用的信息,也需要算法優(yōu)化來攻克。
發(fā)言中,李勤還指出AIoT的產(chǎn)品一定是設(shè)備端到云端的整體系統(tǒng)。而出門問問采用將芯片、傳感器和AI算法結(jié)合的整體戰(zhàn)略,發(fā)揮端到端的完整技術(shù)棧,將端上和云上的計算融合,以及產(chǎn)品和系統(tǒng)集成經(jīng)驗的競爭優(yōu)勢。另外,出門問問還在開展與芯片廠商的深度合作,實現(xiàn)算法根據(jù)使用場景做優(yōu)化,算法針對芯片的代碼優(yōu)化,結(jié)合系統(tǒng)集成和產(chǎn)品驗證,提供整套技術(shù)方案。這意味著產(chǎn)品廠商不用在算法開發(fā)和系統(tǒng)集成工作上消耗企業(yè)資源,可以集中精力定義和開發(fā)產(chǎn)品。
智能手表AI運動算法TicMotion
在TicWatch智能手表上,出門問問研發(fā)了AI運動算法TicMotion,自動識別和記錄用戶健走、跑步、騎行、游泳時的各項運動數(shù)據(jù)。該算法基于深度學(xué)習(xí)的算法架構(gòu),支持手勢姿態(tài)識別、睡眠健康等功能,可運行在MCU、DSP或AP芯片上。在意法半導(dǎo)體的STM32F412芯片上,實現(xiàn)16MHz時鐘頻率下的0.13 MIPS執(zhí)行效率。
智能手表語音交互算法
針對智能手表的語音交互,出門問問研發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)的AI語音算法,旗下的出門問問語音助手是谷歌Wear OS官方合作的中文語音助手。
出門問問在智能手表上,擁有單麥和雙麥的音頻降噪算法,語音信號壓縮和BLE語音傳輸,支持語音喚醒詞,支持直接命令詞的識別。這些算法也是基于深度學(xué)習(xí),但卻是超低功耗的,只需要超低的內(nèi)存需求和計算力便可以運行。例如,喚醒詞和命令詞模型只有20KB,只需占用50KB左右的內(nèi)存,在意法半導(dǎo)體的STM32F469芯片上實現(xiàn)了36MIPS的執(zhí)行效率。
智能耳機(jī)交互算法TicHear
針對智能耳機(jī)的交互,出門問問自主研發(fā)了TicHear語音交互算法,能夠有效地屏蔽和抑制環(huán)境噪音和干擾,實現(xiàn)小型可穿戴設(shè)備語音喚醒及直接命令詞控制。
而之所以開發(fā)TicHear,是因為出門問問發(fā)現(xiàn)在TWS智能耳機(jī)上還有很多技術(shù)難點沒有解決。
一是耳機(jī)面向的是復(fù)雜的需求和使用場景。在需求上,人們需要用耳機(jī)聽音樂、打電話、做語音交互。在使用場景上,耳機(jī)的使用環(huán)境非常復(fù)雜多變,基本是走到哪兒戴到哪兒,即使是在地鐵、馬路邊、商場等嘈雜環(huán)境,耳機(jī)也要能夠穩(wěn)定可靠的工作。這些都對算法地性能提出了極高的要求。
二是耳機(jī)的快捷智能控制。對于智能耳機(jī)來說,需要有一些常用的直接語音控制命令,尤其在雙手都不方便的時候,能夠快捷地用語音來實現(xiàn)接聽電話、控制音量、切換下一首歌等功能。
三是如何對耳機(jī)“說”清楚。過去兩年,主動降噪耳機(jī)在市場上熱銷,但它解決的只是“聽”清楚的問題,在你聽音樂的時候/做飛機(jī)的時候,有效實現(xiàn)周圍環(huán)境噪音的屏蔽效果。但在實際的使用中,如何讓你打電話、做語音交互的時候,實現(xiàn)更清晰的聲音傳遞,還是一個有待解決地問題。
另外,智能耳機(jī)也面臨諸多的技術(shù)挑戰(zhàn),例如佩戴舒適性、體積大小,與電池容量、待機(jī)時間之間不可調(diào)和的矛盾,對芯片和算法低功耗的要求高;系統(tǒng)集成、算法開發(fā)的高復(fù)雜度;內(nèi)存空間和算力的資源限制等。
面對用戶痛點和技術(shù)挑戰(zhàn),出門問問選擇創(chuàng)造性的解決問題,采取將硬件結(jié)構(gòu)設(shè)計和算法設(shè)計相結(jié)合;與芯片、系統(tǒng)供應(yīng)商深度合作;把核心算法的代碼用匯編重寫以提高運行效率等措施,給客戶提供一套完整的解決方案。
具體來說,在音頻信號處理上,TicHear算法進(jìn)行了雙麥的波束成形,做定向拾音和降噪的深度優(yōu)化,可以抑制最高20dB的環(huán)境噪音,僅占用20KB的內(nèi)存,并在高通QCC5100系列芯片上實現(xiàn)15MIPS的執(zhí)行效率。
在語音交互算法上,TicHear支持語音喚醒詞,支持10個左右直接命令詞的識別,并且基于深度學(xué)習(xí)的算法,實現(xiàn)了超低功耗和超低內(nèi)存占用。將喚醒詞和命令詞做到大約20KB的模型大小和50KB總的內(nèi)存占用,在高通QCC5100系列芯片上實現(xiàn)10MIPS的執(zhí)行效率。同時,TicHear可和手機(jī)軟件配合開發(fā),支持二次喚醒驗證、內(nèi)容和服務(wù)的查詢、喚醒詞和語音查詢一起說出等功能,提供更好的用戶體驗。
李勤向現(xiàn)場觀眾展示了出門問問雙麥信號處理算法,該算法能夠有效地屏蔽環(huán)境噪音和干擾,清晰采集語音信號。如圖所示,上方的聲音波形圖是在馬路邊場景所采集的原始聲音信號,下方的聲音波形圖是經(jīng)過出門問問雙麥信號處理算法處理后的聲音信號,可以清晰的看到已將環(huán)境噪音降低20db左右,幾乎可以忽略不計,經(jīng)過算法處理后的聲音信號,極大地提高了語音識別的準(zhǔn)確率和喚醒率。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- GitLab將告別中國區(qū)用戶:是時候選擇新的“極狐”或保護(hù)賬號了
- 蘋果明年推至少22款新品,阿里非洲首站啟動,科技新品盛宴拉開帷幕
- SUSE預(yù)測:未來私有AI平臺崛起,讓我們共同見證AI的未來
- AI伴侶“小奇”:奇富科技重塑金融服務(wù)體驗的探索之作
- 揭秘軟銀孫正義神秘芯片計劃:打造超越NVIDIA的未來科技新星
- 大模型創(chuàng)企星辰資本獲數(shù)億融資,騰訊啟明等巨頭入局,人工智能新篇章開啟
- 大模型獨角獸階躍星辰融資新動態(tài):數(shù)億美金B(yǎng)輪,揭秘星辰未來之路
- 哪吒汽車創(chuàng)始人資金遭凍結(jié),1986萬元股權(quán)風(fēng)波引關(guān)注
- 本田與日產(chǎn)醞釀合并:明年6月敲定協(xié)議,新公司社長待本田推薦
- 金融大模型新突破:百川智能Baichuan4-Finance引領(lǐng)行業(yè),準(zhǔn)確率領(lǐng)先GPT-4近20%,變革金融業(yè)未來
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。