網(wǎng)紅 AI 高仿坎爺發(fā)布說唱情歌，歌迷：堪比真人原聲

發(fā)布人：數(shù)據(jù)派THU 時間：2021-06-15 來源：工程師

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

來源：HyperAI超神經(jīng)

近日，一個基于 Tacotron2 和 Transformer 實現(xiàn)文字轉(zhuǎn)聲音的 AI 應(yīng)用——Uberduck.AI 破圈了，不少 TikTok 、YouTube 網(wǎng)紅博主都在推薦這一神器。

YouTube 的網(wǎng)紅音樂藝術(shù)創(chuàng)意機構(gòu) Herr Fuchs 發(fā)布了一首新歌，基于Uberduck.AI 合成了知名嘻哈歌手坎爺 Kanye West 的聲音，并創(chuàng)作了這首《The Breakup》。

這首融合了流行音樂元素和 AI 技術(shù)的《The Breakup》一經(jīng)發(fā)布，就受到了樂迷和開發(fā)者們的關(guān)注。

網(wǎng)友們盛贊這首歌的品質(zhì)堪比坎爺本爺?shù)淖髌?，聲線也如假包換，還有不少網(wǎng)友留言：「這首歌應(yīng)該放到坎爺?shù)男聦］嬂铩?、「我覺得這首秒殺了坎爺?shù)钠渌琛?、「坎爺被打臉」等等?/p>

UberDuck AI 攜語音合成技術(shù)出圈

這首聽起來制作精良、幾乎接近坎爺本人聲線的歌曲，是在作詞后，經(jīng)由 Uberduck AI 將歌詞文本轉(zhuǎn)換為語音，這一步通過 Tacotron 2 將歌詞生成語音，并進行聲音風(fēng)格遷移，對侃爺?shù)穆曇暨M行模仿輸出。

配合上 Herr Fuchs 的兩位藝術(shù)家作曲和制作，最終形成了這首作品。

Uberduck AI（項目地址 https://uberduck.ai/）在官網(wǎng)中介紹，這是一個始于 2020 年的社區(qū)共建的開源項目，發(fā)起人希望可以打造一個友好、創(chuàng)意、開放的對話服務(wù)。

在 Uberduck AI 的官網(wǎng)上，只要輸入語言文本，選擇你想要模仿聲音的角色，就可以生成他們的聲音。

幫助 UberDuck AI 實現(xiàn)文本到語音生成的 Tacotron2 是 Google 發(fā)布的基于深度學(xué)習(xí)的端到端的語音生成模型，模型分為：具有注意力的循環(huán)序列到序列特征預(yù)測網(wǎng)絡(luò)，該網(wǎng)絡(luò)根據(jù)輸入字符序列預(yù)測梅爾譜幀的序列，和 WaveNet 的修改版，可生成以預(yù)測的梅爾譜幀為條件的 time-domain waveform 樣本，效果更接近自然人聲。

Tacotron2 模型結(jié)構(gòu)

Uberduck AI 通過 Discord 和 Github 維護項目，目前已經(jīng)有 20 多個代碼貢獻者，近千名成員，開發(fā)者可以優(yōu)化生成模型、貢獻角色語音語料庫，還可以為生成出的聲音增加效果比如唱歌、說唱、語氣等等。

在項目網(wǎng)站上可以選擇模仿生成的角色，這些語音語料和模型優(yōu)化，也都是由代碼貢獻者一起參與的。目前支持直接生成的角色，包括動畫人物：米老鼠、海綿寶寶、瘋狂動物城里的狐貍 Nick 等；還可以選擇諸如神秘博士、小黃人等影視劇里的角色。

YouTube 網(wǎng)友上傳的各個角色語音生成效果（英文）

還可以選擇游戲里的人物，比如《2077賽博朋克》里的銀手、《俠盜獵車手》里的 NPC 還有超級瑪麗。當然也包括現(xiàn)實中的知名人物，比如坎爺、阿姆和幾位演員。

Uberduck 還開放了項目的 Colab，有興趣的小伙伴可以繼續(xù)深入了解：

詞曲作者：瑞士的網(wǎng)紅先鋒藝術(shù)家

這首歌的成功，也依賴于詞曲作者的不凡才華。

藝術(shù)家 Reto Hüttenmoser 和 Gina Pigagnelli 來自于瑞士蘇黎世，兩個人組成了 Herr Fuchs 這家創(chuàng)意廣告機構(gòu)，他們的主業(yè)是為汽車品牌商設(shè)計廣告和營銷方案，副業(yè)是 YouTube 上的網(wǎng)紅博主。

這首《The Breakup》的歌詞不僅非常符合 Hiphop 和 Rap 的審美標準，說唱歌詞里還設(shè)計了非常有坎爺個人風(fēng)格的表達，比如吐槽和卡戴珊的婚姻、競選美國總統(tǒng)等等。