“聲音復(fù)刻”來(lái)了,克隆的聲音可以喚醒聲紋嗎?
“聲音復(fù)刻”又稱“聲音克隆”,是語(yǔ)音合成技術(shù)(TTS ,Text To Speech)的個(gè)性化應(yīng)用,用戶可通過(guò)少量的錄音進(jìn)行模型訓(xùn)練,得到與用戶本人在音色和發(fā)音風(fēng)格上非常相似的聲音模型,快速“復(fù)刻”個(gè)性化聲音,該“復(fù)刻”聲音可使用在講故事、播天氣、讀小說(shuō)、導(dǎo)航播報(bào)等功能場(chǎng)景。
TTS(Text-To-Speech,語(yǔ)音合成)對(duì)比熟悉的ASR(語(yǔ)音識(shí)別)技術(shù),是將文字轉(zhuǎn)化為聲音“朗讀出來(lái)”,常見(jiàn)的Siri、小愛(ài)同學(xué)等語(yǔ)音助手的聲音,都是TTS技術(shù)的“杰作”。
近日,思必馳DUI開(kāi)放平臺(tái)上線“聲音復(fù)刻”技術(shù)服務(wù),支持男聲、女聲、童聲的復(fù)刻,支持中、英文文本,支持UTF-8等多種文本格式,支持SSML標(biāo)簽控制。同時(shí),該服務(wù)支持8k、16k、32k等多種采樣率,支持合成mp3、wav、pcm等多種音頻格式……
快速定制 專屬音色
如果想用愛(ài)豆或親人的聲音做終端設(shè)備的語(yǔ)音播報(bào),用戶只需要錄制≤5分鐘語(yǔ)音內(nèi)容,等待10分鐘左右即可獲得“專屬音色”。
思必馳語(yǔ)音合成技術(shù)是如何通過(guò)少量的數(shù)據(jù),訓(xùn)練出一個(gè)高還原度的聲音模型呢?
思必馳TTS技術(shù),基于多年累積的多說(shuō)話人的聲學(xué)特征,將新數(shù)據(jù)輸入既有的模型參數(shù)里進(jìn)行遷移學(xué)習(xí)和精調(diào),通過(guò)20句錄音等少量語(yǔ)料,就可訓(xùn)練出高相似度的聲音模型。模型通過(guò)短時(shí)間訓(xùn)練完成“克隆”,保持了較高的MOS值(中文普通話場(chǎng)景下,相似度≥90%),還原度高。TTS技術(shù)上線DUI開(kāi)放平臺(tái)后,使用更便捷,提供API、SDK接入方式,滿足標(biāo)準(zhǔn)化的服務(wù)要求。
技術(shù)的升級(jí)是漸進(jìn)的,思必馳充分利用基于Attention的機(jī)制,及遷移學(xué)習(xí)技術(shù),提升了聲音復(fù)刻的效果,改善用戶體驗(yàn)。受限于較少的數(shù)據(jù)量,如何保證穩(wěn)定輸出是訓(xùn)練模型時(shí)要面對(duì)的挑戰(zhàn)。但在未來(lái),少樣本音色克隆仍是研究趨勢(shì)。
復(fù)刻的聲音 還安全嗎?
以智能語(yǔ)音技術(shù)的另一項(xiàng)黑科技——“聲紋識(shí)別”來(lái)作為參照。人的“聲紋”是類比指紋一樣獨(dú)一無(wú)二的存在,常被用作身份驗(yàn)證和解鎖。常見(jiàn)的支付寶、微信的聲音鎖背后都是聲紋技術(shù)。
“克隆”的聲音可以 “瞞過(guò)”聲紋喚醒嗎?是否會(huì)有安全隱患?
常規(guī)聲紋解鎖,使用“復(fù)刻”的聲音確實(shí)能解鎖設(shè)備。但當(dāng)思必馳在聲紋技術(shù)中增加了反欺詐技術(shù)后,聲音復(fù)刻便無(wú)法闖關(guān)帶有防欺詐的聲紋,安全性得到保障。
“克隆”專屬聲音,不僅是新鮮感、娛樂(lè)性,更是AI技術(shù)拓展應(yīng)用惠及到了普通大眾,能克隆出媽媽聲音的音箱帶給了孩子更多陪伴。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-
馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-
機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹(shù)機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-
存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬(wàn)
-
長(zhǎng)安汽車母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-
豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-
字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
-
員工持股爆雷?廣汽埃安緊急回應(yīng)
-
中國(guó)“智造”背后的「關(guān)鍵力量」
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開(kāi)發(fā)者大會(huì)深圳站
-
10月24日立即參評(píng)>> 【評(píng)選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評(píng)選
-
即日-11.25立即下載>>> 費(fèi)斯托白皮書《柔性:汽車生產(chǎn)未來(lái)的關(guān)鍵》
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
12月18日立即報(bào)名>> 【線下會(huì)議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
推薦專題
- 1 特斯拉工人被故障機(jī)器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 AI 時(shí)代,阿里云想當(dāng)“安卓” ,那誰(shuí)是“蘋果”?
- 4 硬剛英偉達(dá)!華為發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)和集群
- 5 機(jī)器人9月大事件|3家國(guó)產(chǎn)機(jī)器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 6 谷歌“香蕉”爆火啟示:國(guó)產(chǎn)垂類AI的危機(jī)還是轉(zhuǎn)機(jī)?
- 7 00后華裔女生靠?jī)刹緼I電影狂賺7.8億人民幣,AI正式進(jìn)軍好萊塢
- 8 美光:AI Capex瘋投不止,終于要拉起存儲(chǔ)超級(jí)周期了?
- 9 華為已殺入!AI領(lǐng)域最熱黃金賽道,大廠的數(shù)字人美女讓我一夜沒(méi)睡著覺(jué)
- 10 隱退4年后,張一鳴久違現(xiàn)身!互聯(lián)網(wǎng)大佬正集體殺回