奇富科技語音論文入選國際頂會INTERSPEECH2023

近日，奇富科技機器人團(tuán)隊論文《Eden-TTS:一種簡單高效的非自回歸“端到端可微分”神經(jīng)網(wǎng)絡(luò)的語音合成架構(gòu)》被全球語音與聲學(xué)頂級會議INTERSPEECH 2023接收。此次自研成果入選，代表著國際學(xué)術(shù)界對奇富科技在語音信號領(lǐng)域研究實力的極高認(rèn)可。

INTERSPEECH是由國際語音通訊協(xié)會創(chuàng)辦的語音信號處理領(lǐng)域頂級旗艦國際會議，是全球最大的綜合性語音信號處理盛會，在國際上享有盛譽并具有廣泛的學(xué)術(shù)影響力。歷屆INTERSPEECH會議都備受全球各地語音語言領(lǐng)域人士的廣泛關(guān)注。

TTS技術(shù)當(dāng)前主要應(yīng)用于電銷機器人、視頻面審機器人、智能客服等人機交互場景和語音合成場景，它能把文本內(nèi)容快速地轉(zhuǎn)化為高質(zhì)量、流暢自然的語音，從而實現(xiàn)更加智能、更有人性化的人機交互。文本音素和音頻幀之間的對齊學(xué)習(xí)是非自歸TTS模型的最關(guān)鍵技術(shù)之一。現(xiàn)有的非自回歸語音合成模型大多數(shù)需要引入外部alignment信息作為學(xué)習(xí)目標(biāo)。在實際應(yīng)用場景中，文本與語音的alignment是很難準(zhǔn)確獲得的，甚至是不能獲得的，這極大地限制了此類方法的應(yīng)用。另外，也有少數(shù)無需外部alignment的方法提出，然而這些方法大多不是端到端可微分的神經(jīng)網(wǎng)絡(luò)模型，存在構(gòu)建困難，訓(xùn)練過程復(fù)雜，訓(xùn)練效率低等問題。

奇富科技的論文研究成果為需要文本轉(zhuǎn)語音的應(yīng)用場景提供了創(chuàng)新的解決方案，提出了一種端到端可微的非自回歸神經(jīng)網(wǎng)絡(luò)語音合成模型架構(gòu)。基于文本音素時長與alignment的密切關(guān)系，論文提出了一種簡單高效的alignment學(xué)習(xí)方式:首先采用一種新的energy-modulated 注意力機制得到guided alignment，然后利用guided alignment計算音素的時長信息，最后通過音素的時長信息構(gòu)建monotonic alignment。本方法無需外部的alignment信息，無需引入額外的alignment損失函數(shù)。

對業(yè)務(wù)提效而言，奇富科技的研究成果具有易訓(xùn)易用、音質(zhì)高超、合成快速的優(yōu)勢。

這種端到端可微的方法使得各個模塊可以方便地替換為各種類型的神經(jīng)網(wǎng)絡(luò)模塊，從而具有良好的擴(kuò)展性和穩(wěn)定性。相比于主流的自回歸模型，推理速度提升了10倍以上，能夠滿足實時語音合成的需求。

該方法也令合成語音更好聽、更生動、更像真人，大大提升了語音交互的聽覺感受。根據(jù)進(jìn)行的多人MOS評測，該方法的MOS分值達(dá)到了4.32分，合成語音的自然流暢程度接近于目前最優(yōu)的自回歸模型，顯著優(yōu)于同類型的非自回歸模型。

此外，與同類型方法相比，該方法可以節(jié)約50%以上的訓(xùn)練時間，顯著提升模型訓(xùn)練效率。

奇富科技在對話機器人領(lǐng)域有著和業(yè)務(wù)同步的先發(fā)優(yōu)勢，在語音技術(shù)上，一直堅持投入、堅持自研。就在兩個月前，奇富科技另一篇音頻論文《基于多粒度Transformer的多模態(tài)情緒識別》被第48屆IEEE聲學(xué)、語音與信號處理國際會議(IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2023)接收。

“我們很高興在理解用戶、優(yōu)化表達(dá)方面取得了關(guān)鍵性的成果。隨著奇富GPT對于公司各業(yè)務(wù)層的重構(gòu)，我們已經(jīng)極大提升了對于用戶在文本上的理解能力，從語音到文本，再從文本回到語音，更好的識別是為了更好的表達(dá)和輸出，我們將持續(xù)投入，用前沿技術(shù)重塑用戶體驗。”奇富科技首席算法科學(xué)家費浩峻表示。