作者 | 楊麗

你真得了解視頻會(huì)議嗎？

過去，很多醫(yī)療單位、科研院所在苦惱一件事：盡管院方接入或自主開發(fā)了一套遠(yuǎn)程會(huì)診系統(tǒng)，以滿足對(duì)外遠(yuǎn)程病患會(huì)診，對(duì)內(nèi)實(shí)現(xiàn)醫(yī)護(hù)人員的日常學(xué)術(shù)交流、專家培訓(xùn)等方面的需要。但他們?cè)絹碓桨l(fā)現(xiàn)，傳統(tǒng)的遠(yuǎn)程會(huì)診系統(tǒng)往往缺乏多屏互動(dòng)的協(xié)作性，且成本高、不便捷。相比之下，云視頻會(huì)議軟硬一體化解決方案的出現(xiàn)，正悄悄改變著這些曾經(jīng)讓他們所苦惱的事情。

不久前，騰訊會(huì)議Rooms產(chǎn)品參與了一個(gè)醫(yī)療行業(yè)展的方案展示。方案中，通過視頻會(huì)議，我們看到醫(yī)生與醫(yī)生之間，患者與醫(yī)生之間，有了一段非常高質(zhì)量的線上溝通。

普遍來講，想要完成一場(chǎng)高質(zhì)量的云視頻會(huì)議，多數(shù)產(chǎn)品會(huì)在網(wǎng)絡(luò)丟包率上下足功夫，因?yàn)閬G包往往會(huì)直接影響接收端解碼出卡頓、不連續(xù)的聲音或圖像。常見的手段，除了優(yōu)化編解碼算法的比拼，還可以利用AI算法還原出圖像、聲音的本來面貌。目前大量的科研工作投放在這個(gè)模塊上，并取得了很多階段性成效。

這一次，騰訊會(huì)議旗下騰訊天籟實(shí)驗(yàn)室推出的天籟語音模組，則嘗試從另一個(gè)維度解決問題。

在聲音傳輸之前的一步重要環(huán)節(jié)，即信源的編碼階段，往往會(huì)遇到各種噪音、混響、雞尾酒環(huán)境等聲音傳播的影響，是否能對(duì)信源音頻進(jìn)行更好地“預(yù)處理”？

經(jīng)雷鋒網(wǎng)一番探究得知，天籟團(tuán)隊(duì)通過技術(shù)創(chuàng)新，將多個(gè)MEMS麥克風(fēng)板嵌入到會(huì)議大屏等硬件設(shè)備上，可實(shí)現(xiàn)180度廣角、12米超長(zhǎng)距離拾音，在雙講、噪聲回聲消除等方面均有顯而易見的突破。

只不過，這款語音模組目前主要應(yīng)用于騰訊會(huì)議Rooms?？顧C(jī)型上，并通過技術(shù)授權(quán)的方式開放給Rooms?？钣布献骰锇椋呀?jīng)實(shí)現(xiàn)初步量產(chǎn)。

是不是挺香？

量產(chǎn)前的努力

媒體溝通中，騰訊天籟實(shí)驗(yàn)室總經(jīng)理商世東指出，“天籟語音模組希望解決的是，能夠在比較復(fù)雜、惡劣的聲學(xué)場(chǎng)景下也能提供一個(gè)清晰、流暢、安靜的音頻體驗(yàn)?！?/p>

我們知道，在一般的工程環(huán)境中，在相似的問題、場(chǎng)景下使用相似的處理方法，盡管有可能也是來自學(xué)界給出的一些非常有效的模型或技術(shù)手段，但如果沒有能力非常強(qiáng)的開發(fā)人員，針對(duì)特定問題或場(chǎng)景設(shè)計(jì)新的模塊和環(huán)節(jié)，很難會(huì)得到非常好的效果。

有時(shí)候，現(xiàn)實(shí)生活中的聲學(xué)場(chǎng)景遠(yuǎn)比實(shí)驗(yàn)室里的復(fù)雜的多。以此次天籟語音模組重點(diǎn)優(yōu)化的一個(gè)聲學(xué)問題——遠(yuǎn)場(chǎng)拾音為例。

騰訊會(huì)議天籟實(shí)驗(yàn)室技術(shù)研發(fā)專家余濤告訴雷鋒網(wǎng)：

“僅靠一個(gè)純粹的語音或音頻算法，即便是具備了訓(xùn)練得很強(qiáng)的深度學(xué)習(xí)模型，想要比較好地解決遠(yuǎn)場(chǎng)語音的問題還是比較難的?！?/p>

在他看來，物理世界中的聲音信號(hào)受到干擾、衰減的因素是非常多的，因而帶來的技術(shù)挑戰(zhàn)也是成百倍增加的。

“比如噪聲問題。通常聲音的傳播距離增加一倍，能量會(huì)衰減6個(gè)dB，也就是幅度衰減一半，這導(dǎo)致信噪比的惡劣程度會(huì)達(dá)到-10、-20的程度，噪聲的特性也會(huì)發(fā)生變化。比如說話人通常所處的會(huì)議室空間里，有空調(diào)噪聲、鍵盤噪聲，是充滿整個(gè)拾音頻帶的。不同于具有稀疏性的非平穩(wěn)噪聲，這對(duì)遠(yuǎn)場(chǎng)噪音處理會(huì)有非常多的挑戰(zhàn)。

同樣，很多情況下很多近場(chǎng)語音很多，這就造成了房間的傳輸函數(shù)帶來了混響效應(yīng)；而語音傳輸?shù)禁溈孙L(fēng)，直達(dá)波也會(huì)有變化，比如說話人是側(cè)著說話，或者面對(duì)地板說話，沒有直達(dá)波的觸達(dá)等等這種情況?！?/p>

圖：騰訊天籟實(shí)驗(yàn)室資深研究員劉成 現(xiàn)場(chǎng)演示

不難發(fā)現(xiàn)，天籟團(tuán)隊(duì)采用的策略，是從聲學(xué)層面、硬件設(shè)計(jì)層面，跟強(qiáng)大的算法能力相結(jié)合，綜合性提升遠(yuǎn)場(chǎng)拾音能力。

在面向量產(chǎn)和推進(jìn)商業(yè)化之前，天籟團(tuán)隊(duì)已經(jīng)進(jìn)行了內(nèi)外部各種實(shí)際場(chǎng)景的測(cè)試。

余濤表示，“確實(shí)，從實(shí)驗(yàn)室里搬出來的黑科技產(chǎn)品，第一次做灰度測(cè)試確實(shí)面臨著很多挑戰(zhàn)，隨著挑戰(zhàn)被持續(xù)攻克，最終我們發(fā)現(xiàn)至少90%的場(chǎng)景可以做到一個(gè)非常好的體驗(yàn)?！?/p>

當(dāng)然，這剩下的10%的場(chǎng)景可能會(huì)非常極端。比如有些場(chǎng)景中，尤其是教室、培訓(xùn)室等某些更加開放空間里，一個(gè)房間里坐了四、五十個(gè)人，技術(shù)挑戰(zhàn)的量級(jí)會(huì)呈指數(shù)增加。

不做硬件，但重視硬件生態(tài)

據(jù)余濤向雷鋒網(wǎng)透露，“現(xiàn)在與騰訊會(huì)議合作的硬件伙伴，已經(jīng)量產(chǎn)的大屏包括86寸、65寸。其中，65寸是面向中小型會(huì)議室，86寸大屏是面向中大型會(huì)議室?？梢哉f天籟語音模組已經(jīng)達(dá)到了量產(chǎn)機(jī)型的這樣一個(gè)技術(shù)指標(biāo)?！?/p>

2020年9月，騰訊會(huì)議從個(gè)人版向企業(yè)版拓展的同時(shí)，就甩出了一張牌——智能會(huì)議室解決方案“騰訊會(huì)議Rooms”。簡(jiǎn)單來講，騰訊會(huì)議Rooms是專為會(huì)議室打造的軟件系統(tǒng)，提供音視頻會(huì)議、無線投屏、觸屏式白板的集成會(huì)議體驗(yàn)，同時(shí)提供軟硬一體的完整視頻會(huì)議解決方案。通過無縫銜接，以提升整場(chǎng)視頻會(huì)議的沉浸式體驗(yàn)。

不難看出，騰訊會(huì)議自己不做硬件，不做大屏，但對(duì)硬件伙伴生態(tài)越來越重視了。

據(jù)了解，騰訊天籟目前已經(jīng)通過開放音視頻認(rèn)證標(biāo)準(zhǔn)，吸引到一批硬件設(shè)備廠商騰訊會(huì)議的硬件生態(tài)中，包括連接器、一體機(jī)、智能大屏、揚(yáng)聲器麥克風(fēng)、攝像頭等等。

余濤表示，“對(duì)于硬件伙伴而言，它們?cè)谝粢曨l上的能力是參差不齊的。我們推出這種類似于交鑰匙的音視頻解決方案，其實(shí)是希望能夠提高它們的音視頻質(zhì)量，能夠讓硬件廠商直接低門檻地集成解決方案，快速形成產(chǎn)品能力。這也是天籟語音模組推出最希望達(dá)到的商業(yè)目的。”

后記

還記得騰訊會(huì)議在2019年末剛剛發(fā)布時(shí)，有一家視頻會(huì)議硬件服務(wù)商曾說，“大概只有騰訊才能將他們過去經(jīng)常相互PK的對(duì)手請(qǐng)到一起，讓大家坐在一起，相談甚歡?！?/p>

這或許也是騰訊會(huì)議需要承擔(dān)的一種角色：基于互聯(lián)網(wǎng)平臺(tái)上包括云基礎(chǔ)設(shè)施的能力、實(shí)時(shí)音視頻通信的能力、機(jī)器學(xué)習(xí)多模態(tài)的能力，促成軟硬件會(huì)議產(chǎn)品更好的交互。

而除了擺在眼前的種種技術(shù)攻關(guān)外，天籟團(tuán)隊(duì)本身隸屬于騰訊會(huì)議，這意味著盡管它不是產(chǎn)品部門，但卻與產(chǎn)品部門有著非常緊密的配合和支撐：需要給產(chǎn)品做貢獻(xiàn)，同時(shí)又能基于大量場(chǎng)景、數(shù)據(jù)進(jìn)行前沿技術(shù)相關(guān)的工作。

這也大概是為什么初出兩年的騰訊會(huì)議，依然有底氣和本事成立專門的實(shí)驗(yàn)室，對(duì)視頻會(huì)議交互中存在的高難度技術(shù)挑戰(zhàn)進(jìn)行長(zhǎng)期的研究和攻克。

站在待解決的問題上，騰訊會(huì)議還有很多的想象空間。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。