操屁眼的视频在线免费看,日本在线综合一区二区,久久在线观看免费视频,欧美日韩精品久久综

acebook AI Research 近日提出了一種基于多域 WaveNet 自編碼器的跨樂(lè)器、流派、風(fēng)格的音樂(lè)轉(zhuǎn)換方法。在 NSynth 和從專(zhuān)業(yè)音樂(lè)家收集的數(shù)據(jù)集上的實(shí)驗(yàn)評(píng)估上，該網(wǎng)絡(luò)實(shí)現(xiàn)了令人信服的音樂(lè)轉(zhuǎn)換，甚至可以轉(zhuǎn)換口哨聲；這使得未經(jīng)訓(xùn)練的人類(lèi)也具有了創(chuàng)作樂(lè)器音樂(lè)的潛能。

引言

人類(lèi)總是在創(chuàng)造和重復(fù)音樂(lè)——無(wú)論是通過(guò)唱歌、吹口哨、拍手，還是在經(jīng)過(guò)訓(xùn)練后即興演奏或標(biāo)準(zhǔn)演奏。這種能力并不是只有人類(lèi)才有的，世界上還有許多其他能通過(guò)聽(tīng)覺(jué)重復(fù)音樂(lè)的聲樂(lè)模仿物種。

音樂(lè)也是第一個(gè)通過(guò)現(xiàn)代計(jì)算機(jī)和算法進(jìn)行數(shù)字化和處理的領(lǐng)域之一。因此，在模擬這一核心音樂(lè)任務(wù)中人工智能竟仍然比生物系統(tǒng)差得多，這實(shí)在有些令人驚訝。

在這項(xiàng)工作中，據(jù)研究者所知，這是第一次在樂(lè)器、風(fēng)格和流派之間生成高保真的音樂(lè)轉(zhuǎn)換。例如，他們把管弦樂(lè)隊(duì)演奏的莫扎特交響樂(lè)的音頻轉(zhuǎn)換為貝多芬風(fēng)格的鋼琴演奏音頻。這種能力建立在最近可用的兩種技術(shù)上：（i）使用自回歸模型合成高質(zhì)量音頻的能力，以及（ii）最近出現(xiàn)的以無(wú)監(jiān)督的方式在域之間轉(zhuǎn)換的方法。

上述第一種技術(shù)很重要，主要有兩個(gè)原因。第一，它使我們能生成高質(zhì)量、高仿真的音頻。第二，使用教師激勵(lì)技術(shù)（teacher forcing technique）進(jìn)行訓(xùn)練，自回歸模型能有效地被訓(xùn)練為解碼器。而第二種技術(shù)有助于增加解決方案的實(shí)用性，因?yàn)樵诒O(jiān)督設(shè)置中提出學(xué)習(xí)問(wèn)題需要不同樂(lè)器的并行數(shù)據(jù)集。

在本文提出的架構(gòu)中，研究者采取單一的通用編碼器，并將其應(yīng)用于所有的輸入。除了能訓(xùn)練較少神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)之外，這還能使我們把在訓(xùn)練期間沒(méi)聽(tīng)過(guò)的音樂(lè)域轉(zhuǎn)化到任意曾接觸的音樂(lè)域中去。

單一解碼器體系結(jié)構(gòu)可訓(xùn)練的關(guān)鍵在于，確保域特定（domain-specific）的信息不被編碼。研究者使用域混淆網(wǎng)絡(luò)（domain confusion network）為編碼器提供對(duì)抗信號(hào)來(lái)實(shí)現(xiàn)這一點(diǎn)。此外重要的是，編碼器不能記憶輸入信號(hào)，而是要以語(yǔ)義的方式來(lái)編碼。研究者通過(guò)隨機(jī)局部音調(diào)調(diào)制使輸入音頻失真來(lái)實(shí)現(xiàn)這一點(diǎn)。

在訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)被訓(xùn)練為去噪自編碼器，它能恢復(fù)原始輸入的無(wú)失真版本。由于失真輸入不再處于輸出的音樂(lè)域，因此網(wǎng)絡(luò)可以學(xué)習(xí)將域外的輸入投影到所需輸出域中去。此外，網(wǎng)絡(luò)不再受益于記憶輸入信號(hào)，同時(shí)采取了更高級(jí)的編碼方式。

據(jù)作者所知，他們當(dāng)前結(jié)果所展示的能力是前所未見(jiàn)的。在將一種樂(lè)器轉(zhuǎn)化為另一種樂(lè)器的要求下，該網(wǎng)絡(luò)比專(zhuān)業(yè)音樂(lè)家的表現(xiàn)幾乎持平或略差一些。很多時(shí)候，人們很難分辨哪個(gè)是原始音頻文件，哪個(gè)又是模擬完全不同樂(lè)器的轉(zhuǎn)換性輸出。在編碼方面，該網(wǎng)絡(luò)能夠成功處理未經(jīng)訓(xùn)練的樂(lè)器或其他聲源，如口哨聲。在輸出端，網(wǎng)絡(luò)能產(chǎn)生相對(duì)高質(zhì)量的音頻，并且可以在不需要再訓(xùn)練整個(gè)網(wǎng)絡(luò)的情況下，添加新的樂(lè)器選項(xiàng)。

方法

本研究使用的方法基于訓(xùn)練多個(gè)自編碼器路徑（每個(gè)音樂(lè)域一個(gè)路徑），這樣編碼器就可以共享。在訓(xùn)練期間，基于 softmax 的重建損失分別應(yīng)用于每個(gè)域。在應(yīng)用編碼器之前，輸入數(shù)據(jù)被隨機(jī)增強(qiáng)，這能強(qiáng)制網(wǎng)絡(luò)提取高級(jí)語(yǔ)義特征，而不是簡(jiǎn)單地記憶數(shù)據(jù)。另外，對(duì)潛空間應(yīng)用域混淆損失以確保編碼不具域特定性。該網(wǎng)絡(luò)結(jié)構(gòu)圖如圖 1 所示。

圖 1：網(wǎng)絡(luò)架構(gòu)。其中混淆塊（虛線所示）只在訓(xùn)練中使用。

WaveNet 自編碼器

研究者重用了基于 WaveNet 解碼器和類(lèi)似 WaveNet 擴(kuò)張卷積編碼器的現(xiàn)有自編碼器架構(gòu) [16]。每個(gè)解碼器的 WaveNet 條件制約于編碼器所產(chǎn)生的潛表征。該自編碼器和 [16] 之間存在著兩個(gè)不同之處。首先，該自編碼器不以音調(diào)為條件，而是讓它成為編碼本身的一個(gè)組成部分。其次，研究者略微修正了 WaveNet 方程，使其架構(gòu)適合于 NVIDIA 提供的推斷時(shí)間 CUDA 內(nèi)核（https://github.com/NVIDIA/nv-wavenet）。

編碼器是一個(gè)全卷積網(wǎng)絡(luò)，可以應(yīng)用于任意序列長(zhǎng)度。網(wǎng)絡(luò)由三個(gè)塊組成，每個(gè)塊有 10 個(gè)殘差層。每一個(gè)殘差層包含了一個(gè)隨著核尺寸遞增的擴(kuò)張卷積、一個(gè) RELU 非線性單元，還有一個(gè)在第一個(gè) RELU 之前的、跟隨在激活值殘差和之后的 1×1 卷積。其固定的寬度為 128 個(gè)通道。在這三個(gè)塊之后，還有一個(gè)額外的 1×1 層。為了獲取 R64 的編碼，存在一個(gè)平均池化層，其核尺寸為 50 毫秒（800 個(gè)樣本），實(shí)施了一個(gè) ×12.5 因子的時(shí)域下采樣。

該編碼采用最近鄰插值法進(jìn)行時(shí)域上采樣達(dá)到原始音頻傳輸速度，并將其用于決定 WaveNet 解碼器，隨后緊接一個(gè) 1×1 層，該層對(duì)每個(gè) WaveNet 層來(lái)說(shuō)是不同的。音頻（包括輸入和輸出）使用 8 位 mu-law 編碼進(jìn)行量化，與 [11,16] 類(lèi)似，這會(huì)導(dǎo)致一些固有的音頻品質(zhì)損失。WaveNet 解碼器具有 4 個(gè)塊，每塊 10 個(gè)殘差層，因此解碼器具有包含 4,093 個(gè)采樣或時(shí)長(zhǎng)為 250ms 的感受野。

表 1：轉(zhuǎn)換任務(wù)的 MOS 分?jǐn)?shù)（均值 ± 標(biāo)準(zhǔn)差）。

表 2：轉(zhuǎn)換任務(wù)的自動(dòng)化質(zhì)量分?jǐn)?shù)。

圖 2：一組實(shí)驗(yàn)結(jié)果。（a）普通聽(tīng)眾傾向于選擇與源相同的域，無(wú)論實(shí)際源如何。（b）大部分時(shí)間下，音樂(lè)家 A 都無(wú)法識(shí)別出源。（c）業(yè)余愛(ài)好者 T 和（d）業(yè)余愛(ài)好者 S 也在大部分情況下無(wú)法識(shí)別，但是 S 的結(jié)果更一致。

論文：A Universal Music Translation Network

論文地址：https://arxiv.org/abs/1805.07848

摘要：我們提出了一種跨樂(lè)器、流派、風(fēng)格的音樂(lè)轉(zhuǎn)換方法。該方法基于多域 WaveNet 自編碼器，具有共享的編碼器和一個(gè)可以進(jìn)行端到端波形訓(xùn)練的解纏潛空間（disentangled latent space）。利用多種訓(xùn)練數(shù)據(jù)集和大規(guī)模網(wǎng)絡(luò)容量，獨(dú)立于域的編碼器使我們甚至能從訓(xùn)練期間未曾見(jiàn)過(guò)的音樂(lè)域進(jìn)行轉(zhuǎn)換。該方法是無(wú)監(jiān)督的，它不依賴(lài)于域或音樂(lè)轉(zhuǎn)錄之間的匹配樣本的監(jiān)督。我們?cè)?NSynth 和從專(zhuān)業(yè)音樂(lè)家收集的數(shù)據(jù)集上評(píng)估本方法，并實(shí)現(xiàn)了令人信服的音樂(lè)轉(zhuǎn)換，甚至可以轉(zhuǎn)換口哨聲；這使得未經(jīng)訓(xùn)練的人類(lèi)也具有了創(chuàng)作樂(lè)器音樂(lè)的潛能。