已上線！ AWS Polly 全新配置神經(jīng)文本轉(zhuǎn)語音系統(tǒng)

本文作者：楊鯉萍

2019-08-06 11:17

導(dǎo)語：神經(jīng)文本轉(zhuǎn)語音系統(tǒng)和新聞播音員語音風(fēng)格

雷鋒網(wǎng) AI 科技評論按：7 月 30 日，亞馬遜在 AWS Polly 上發(fā)布神經(jīng)文本轉(zhuǎn)語音系統(tǒng)，同時推出新聞播音員語音風(fēng)格；并且通過這一工具，亞馬遜與谷歌的 WaveNet、微軟的 Azure Speech Service 語音系統(tǒng)，形成了強有力的競爭。

神經(jīng)文本轉(zhuǎn)語音系統(tǒng)

為了不被谷歌的 WaveNet（通過識別音調(diào)模式來模擬語音中的重音和語調(diào)等）超越，亞馬遜在 7 月 30 日宣布了在其將文本轉(zhuǎn)換為語音的云服務(wù) Amazon Polly 中全面提供神經(jīng)文本到語音和新聞播音員風(fēng)格的功能。

正如亞馬遜網(wǎng)絡(luò)服務(wù)技術(shù)傳道者 Julien Simon 在一篇博客文章中指出的那樣，通過增加自然性和表現(xiàn)力，神經(jīng)文本到語音的轉(zhuǎn)換可以顯著改善語音質(zhì)量。而加入了新聞播音員的風(fēng)格，這會使得對于新聞文章和博客帖子這樣的敘事內(nèi)容聽起來「更加真實」，這是通過神經(jīng)文本到語音的底層機器學(xué)習(xí)算法實現(xiàn)的。Simon 說：「多虧了波莉和新聞播音員的風(fēng)格，聽眾才可以享受使用高質(zhì)量的聲音所閱讀的文章，這種聲音聽起來就像他們在電視或廣播中聽到的那樣?！?/p>

像 Globe and Mail、Gannett、BlueToad、TIM Media、大英百科全書（Encyclopedia Britannica）、非盈利教育技術(shù)公司 CommonLit 以及游戲開發(fā)商 Volley 等客戶已經(jīng)在通過 Polly 來使用新聞播音員風(fēng)格。今年 1 月，亞馬遜將其推出到支持 Alexa 的設(shè)備上，用于每日簡報和維基百科片斷解說（https://venturebeat.com/2019/01/16/alexa-newscaster-voice/ ）。

新聞主播風(fēng)格有兩種可用的英語語音，而神經(jīng)文本到語音的轉(zhuǎn)換可適用于 11 種語音，包括三種美國英語語音和八種美國英語語音。兩者都是實時和批處理模式工作，目前它們可以在美國東部（弗吉尼亞北部），美國西部（俄勒岡州）和歐洲（愛爾蘭）AWS 區(qū)域訪問。

從第一次語音請求（標(biāo)準(zhǔn)或 NTTS）開始，前 12 個月每月最多 100 萬個字符的神經(jīng)文本到語音的轉(zhuǎn)換都是免費的；在此之后用戶將需要進(jìn)行有償使用。

使用 AI 生成仿人語音

亞馬遜在去年年底的一篇文章中（https://venturebeat.com/2018/11/19/amazons-neural-tts-can-model-speaking-styles-with-only-a-few-hours-of-recordings/）詳述了其關(guān)于神經(jīng)文本到語音的轉(zhuǎn)換換方面的研究《數(shù)據(jù)縮減對序列到序列神經(jīng) TTS 的影響》（https://arxiv.org/abs/1811.06315 )。

研究人員在該論文中描述了一個系統(tǒng)，這個系統(tǒng)可以從短短幾個小時的訓(xùn)練中學(xué)會采用一種新的說話方式，而不是像配音演員那樣，可能需要幾十個小時才能以目標(biāo)風(fēng)格進(jìn)行閱讀。

亞馬遜的 AI 模型由兩部分組成。第一種是生成神經(jīng)網(wǎng)絡(luò)，它將一系列音素（感知上不同的聲音單位，可以區(qū)分一個詞和另一個詞，如 p a d 和 p a t 中的 p、b、d 和 t）轉(zhuǎn)換成一系列譜圖序列，或者隨時間變化的聲音頻率譜的視覺表示。第二種是聲碼器，它將這些頻譜圖轉(zhuǎn)換成連續(xù)的音頻信號。

音素-譜圖解釋器網(wǎng)絡(luò)是從序列到序列的，這意味著它不會僅僅從相應(yīng)的輸入計算輸出，而是考慮它在輸出序列中的位置。除了「風(fēng)格編碼」之外，亞馬遜的科學(xué)家還使用音素序列和相應(yīng)的光譜圖序列對其進(jìn)行了訓(xùn)練，該風(fēng)格編碼確定了訓(xùn)練示例中使用的特定說話風(fēng)格。該模型的輸出被輸入到聲碼器中，并且聲碼器無論是否在訓(xùn)練期間獲得某一揚聲器的數(shù)據(jù)，都可以從該揚聲器中獲取頻譜圖。

結(jié)果

最終，該研究將得到一種 AI 模型訓(xùn)練方法，這個方法可以將大量的中性風(fēng)格的語音數(shù)據(jù)與僅有幾個小時的所需風(fēng)格的補充數(shù)據(jù)相結(jié)合；以及一個 AI 系統(tǒng)，該 AI 系統(tǒng)能夠區(qū)分獨立于講話風(fēng)格和該風(fēng)格獨有的語音元素。

亞馬遜 TTS 研究部高級經(jīng)理 Andrew Breen 在之前的博客文章中寫道：「教 Alexa 根據(jù)客戶要求的背景調(diào)整她講話風(fēng)格這一功能，開啟了以前無法想象的、新的、令人愉快的體驗的可能性?！?/p>

已上線！ AWS Polly 全新配置神經(jīng)文本轉(zhuǎn)語音系統(tǒng)

通過神經(jīng)文本到語音的轉(zhuǎn)換和新聞播音員風(fēng)格，亞馬遜與谷歌在 2 月份推出了一種語音功能（31 種新的 WaveNet 語音和 24 種新的標(biāo)準(zhǔn)語音，其 Cloud Text-to-Speech 服務(wù)使 WaveNet 語音的總數(shù)達(dá)到 57）有了很強勁的競爭；而它的另一個競爭對手是微軟，因為微軟通過 Azure Speech Service API 提供了三個 AI 生成的預(yù)覽語音和 75 個標(biāo)準(zhǔn)語音。