一、簡(jiǎn)介
從投幣游戲開(kāi)始，音頻就是計(jì)算機(jī)和視頻游戲體驗(yàn)的重要一部分。相較于傳統(tǒng)行業(yè)，虛擬現(xiàn)實(shí)采用頭戴設(shè)備（HMD）和耳機(jī)，可以追蹤用戶(hù)的頭部的方向和位置，這些信息可以為音頻技術(shù)帶來(lái)許多新的機(jī)遇。目前，虛擬現(xiàn)實(shí)僅僅關(guān)注視覺(jué)信息，例如分辨率、延遲和追蹤，但是音頻也必須跟上來(lái)提供最好的現(xiàn)場(chǎng)體驗(yàn)。
本文關(guān)注于虛擬現(xiàn)實(shí)音頻相關(guān)的挑戰(zhàn)、機(jī)遇和解決方法，以及傳統(tǒng)游戲開(kāi)發(fā)相關(guān)技術(shù)需要針對(duì)VR做哪些改變。本文不對(duì)音頻、聽(tīng)覺(jué)和人的聽(tīng)覺(jué)系統(tǒng)進(jìn)行深入的研究，如果感興趣的話(huà)，可以谷歌以下關(guān)鍵詞：Head- ，Head- ，Sound 。
二、定位和人體聽(tīng)覺(jué)系統(tǒng)
人只用兩只耳朵，就可以在三維空間中定位聲音，根據(jù)時(shí)間、相位、強(qiáng)度和頻譜的變化，依靠于心理聲學(xué)和推理去定位。
本節(jié)總結(jié)了人類(lèi)定位聲音的方法，并應(yīng)用這些知識(shí)來(lái)解決空間定位問(wèn)題，讓開(kāi)發(fā)者可以把單聲道的聲音信號(hào)進(jìn)行轉(zhuǎn)化，讓這個(gè)聲音聽(tīng)起來(lái)像是來(lái)自于空間中的某個(gè)具體位置。
人類(lèi)定位聲音的兩個(gè)關(guān)鍵因素，分別是方向和距離。
2.1方向定位
2.1.1側(cè)面（）
側(cè)面的定位是最簡(jiǎn)單的，當(dāng)一個(gè)聲音更靠近左邊時(shí)，左耳會(huì)比右耳更早聽(tīng)到，并且聽(tīng)到的聲音更大。通常來(lái)說(shuō)，兩只耳朵聽(tīng)到的聲音越接近，那這個(gè)聲音就越靠近中間。
然后，還有一些有趣的細(xì)節(jié)。首先，我們主要依靠到達(dá)兩耳的延遲來(lái)定位聲音，也就是“耳間時(shí)間差別”（ITD: time ）；或者依靠?jī)啥囊袅坎顒e，也就是“耳間強(qiáng)度差別”（ILD: level ）。我們使用的定位技術(shù)極大的依賴(lài)了信號(hào)的頻率內(nèi)容。
當(dāng)聲音低于一定頻率時(shí)（500到800HZ之間，取決于源），會(huì)很難分辨出強(qiáng)度的差別。但是，在這個(gè)頻率范圍的聲音，比人腦袋的規(guī)模還要大半個(gè)波長(zhǎng)（have half than the of a human head），讓我們可以依靠?jī)啥g的時(shí)間信息（phase相位）區(qū)別。
另一個(gè)極端，當(dāng)聲音的頻率高于時(shí)，比腦袋小半個(gè)波長(zhǎng)，用相位信息來(lái)定位聲音就不再可靠了。對(duì)于這些頻率，我們需要根據(jù)由腦袋引起的強(qiáng)度差別，叫做head ，這是由于腦袋的阻擋，導(dǎo)致較遠(yuǎn)的那只耳朵聽(tīng)到的聲音強(qiáng)度有所衰減，如下圖所示。
我們也根據(jù)信號(hào)的起始時(shí)間差來(lái)判斷，當(dāng)聲音播放時(shí)，哪個(gè)耳朵先聽(tīng)到會(huì)有很大影響，但是這個(gè)僅能幫我們定位突變的聲音，而不是連續(xù)的聲音。
對(duì)于頻率在800HZ到的聲音，我們需要依靠時(shí)間差別和強(qiáng)度差別來(lái)同時(shí)判斷。
2.1.2前后（Front/Back/）
前后的判斷會(huì)比側(cè)面的判斷難很多，因?yàn)槲覀儫o(wú)法依靠時(shí)間差和強(qiáng)度差，因?yàn)樗鼈兊牟顬?，如下圖所示。
人體依靠由人體和腦袋引起的光譜差別（ ）來(lái)解決混淆。這些光譜的差別是因?yàn)槟X袋、脖子、肩膀、軀干、尤其是外耳（或耳廓）引起的過(guò)濾和反射。由于來(lái)自不同方向的聲音與人體的交互會(huì)不一樣，我們的大腦通過(guò)光譜的差別來(lái)推測(cè)源的方向。從前方過(guò)來(lái)的聲音會(huì)與耳廓的內(nèi)部產(chǎn)生共振，而從后側(cè)傳來(lái)的聲音被為耳廓削弱（）。類(lèi)似的，從上方傳來(lái)的聲音會(huì)在肩膀處反射音頻信號(hào)主要物理參數(shù)有，而來(lái)自下方的聲音會(huì)被軀干和肩膀阻擋（）。
以上這些反射和阻擋被結(jié)合起來(lái)，創(chuàng)造了一個(gè)方向選擇濾波器（ ）。
問(wèn)題：如何考慮人的高度和姿勢(shì)？
2.1.3 頭部相關(guān)的轉(zhuǎn)換方程組 （HRTFs: Heade- ）
一個(gè)方向選擇濾波器可以被編碼為一個(gè)腦袋相關(guān)的轉(zhuǎn)換方程（HRTF），這個(gè)HRTF方程是當(dāng)今3D聲音空間關(guān)鍵技術(shù)的基石，具體怎么樣來(lái)構(gòu)造這個(gè)方程，將在后文中進(jìn)行詳細(xì)的說(shuō)明。
2.1.3.1 頭部模型
僅僅依靠HRTF方程組還不足以準(zhǔn)確定位聲音，因此我們需要一個(gè)腦袋模型來(lái)輔助定位。通過(guò)旋轉(zhuǎn)腦袋，就可以把一個(gè)前后定位的問(wèn)題轉(zhuǎn)換為側(cè)面定位的問(wèn)題，讓我們可以更好去解決。
例如下圖中的A和B無(wú)法通過(guò)強(qiáng)度和時(shí)間的差別來(lái)區(qū)分，因此它們是一樣的。通過(guò)輕微的旋轉(zhuǎn)腦袋，聽(tīng)者就改變了兩只耳朵的時(shí)間和強(qiáng)度差別，來(lái)幫助定位聲音。D1比D2要近，因此可以判斷出聲音在用戶(hù)的左側(cè)（后側(cè)）。
類(lèi)似的，扭動(dòng)腦袋，可以幫助定位垂直的物體。在下圖中，D1變短D2變長(zhǎng)，因此可以判斷物體在腦袋的上面。
2.2距離定位
ILD,ITD和HRTFs可以幫助我們定位聲音源頭的方向，但是對(duì)于聲音的距離只能給出一個(gè)寬泛的參考。為了定位距離，我們需要考慮一系列的因素，包括起始時(shí)間的延遲，聲音和混音的比例，以及運(yùn)動(dòng)視差。
2.2.1 聲音大小
聲音大小是距離最明顯的線(xiàn)索，但是有時(shí)候會(huì)誤導(dǎo)。如果我們?nèi)鄙賲⒄眨覀兙蜔o(wú)法判斷聲音從源頭的削弱來(lái)衡量距離。幸運(yùn)的是，我們對(duì)生活中的聲源很熟悉，例如樂(lè)器、人聲、動(dòng)物、汽車(chē)等，因此我們很好的判斷這些距離。
對(duì)于合成的和不熟悉的聲源，我們沒(méi)有參照，那就只能依靠其他的信息或者是相對(duì)音量的改變來(lái)判斷一個(gè)聲音是接近還是遠(yuǎn)離。
2.2.2 起始時(shí)間延遲（ Time Delay）
起始時(shí)間延遲描述了聲音和回聲的區(qū)間，這個(gè)區(qū)間越長(zhǎng)，我們就離聲源越近。無(wú)回聲或者空曠的環(huán)境中，例如沙漠，不會(huì)產(chǎn)生可感知的回聲，這會(huì)導(dǎo)致距離的估計(jì)更加困難。
2.2.3 聲音和混音()的比例
在一個(gè)有回聲的環(huán)境中，聲音之間會(huì)有很長(zhǎng)的、散開(kāi)的音尾融合，在不同平面上反射，最終消失。如果我們聽(tīng)到的原聲比混聲要多，那我們就離聲源越近。
音頻工程師在人工混音時(shí)，常常需要考慮這個(gè)因素，來(lái)調(diào)整樂(lè)器和歌手的位置。
2.2.4 運(yùn)動(dòng)視差
聲音的運(yùn)動(dòng)視差可以體現(xiàn)距離，例如比較近的昆蟲(chóng)可以從左邊很快的飛到右邊，但是遠(yuǎn)處的飛機(jī)可能需要好多秒來(lái)達(dá)到同樣的效果。因此，如果一個(gè)聲源運(yùn)動(dòng)的比一個(gè)固定的視角要快，那我們就猜測(cè)這個(gè)聲源來(lái)自附近。
三、3D音頻的空間化
前文討論了人類(lèi)如何在三維空間中定位聲音，現(xiàn)在，我們反過(guò)來(lái)問(wèn)，“我們能不能應(yīng)用這些信息來(lái)讓人們認(rèn)為一個(gè)聲音來(lái)自于空間中的某個(gè)具體位置？”
答案是YES，否者的話(huà)，這篇文章就會(huì)非常短了。VR音頻很重要的一部分就是空間化：能夠讓一個(gè)聲音聽(tīng)起來(lái)來(lái)自于三維空間中的某個(gè)位置?？臻g化給用戶(hù)提供了在一個(gè)真實(shí)3D環(huán)境中的感覺(jué)，可以加深。
和定位一樣，空間化有兩個(gè)重要部分：方向和距離。
3.1使用HRTF的方向空間化
我們知道不同方向的聲音，在身體和耳朵里的傳播是不同的。這些不同的影響構(gòu)成了HRTF的基礎(chǔ)，讓我們來(lái)定位聲音。
3.1.1 得到HRTFs
最準(zhǔn)確的方法是把話(huà)筒放在人的耳朵里，然后放在一個(gè)無(wú)回聲的環(huán)境里，然后在房間里從各個(gè)重要的方向播放聲音，并記錄下話(huà)筒里的聲音，通過(guò)比較原始聲音和話(huà)筒的聲音就可以計(jì)算出HRTF。（的音頻工程師在一次演講中提到，這種方法不是很實(shí)際，對(duì)于被測(cè)者是個(gè)）
兩只耳朵都必須這樣做，并且需要從足夠多的離散的方向來(lái)建立模型。但是這些模型只是針對(duì)一個(gè)人的，在現(xiàn)實(shí)世界中，我們無(wú)法得到每個(gè)人的模型，因此生成一個(gè)通用的模型一般也夠用了。
大多數(shù)基于HRTF的空間化方法，都采用一些現(xiàn)有的公開(kāi)數(shù)據(jù)集，例如下面的4個(gè)。
IRCAM
MIT KEMAR
CIPIC HRTF
ARI( ) HRTF
大多數(shù)HRTF的數(shù)據(jù)集中不包含各個(gè)方向的HRTF，例如頭下區(qū)域。有些HRTF數(shù)據(jù)集只進(jìn)行了稀疏采樣，只有5-15個(gè)自由度。
大多數(shù)方法，或者采用最近的HRTF音頻信號(hào)主要物理參數(shù)有，或者進(jìn)行插值。在這個(gè)領(lǐng)域有許多研究，但是對(duì)于基于桌面的VR應(yīng)用，通常情況下都能夠找到足夠的數(shù)據(jù)集。
3.1.2 應(yīng)用HRTFs
給定一個(gè)HRTF數(shù)據(jù)集，如果我們知道了聲源的方向，我們就可以選擇一個(gè)HRTF然后把它應(yīng)用到該聲源。這常通過(guò)一個(gè)時(shí)域的卷積或者一個(gè)FFT/IFFT對(duì)實(shí)現(xiàn)。
如果你不知道這些事什么東西，也不用著急，這些細(xì)節(jié)只有當(dāng)你自己實(shí)現(xiàn)HRTF時(shí)才用得到。本文討論的是應(yīng)用的細(xì)節(jié)，例如怎么存儲(chǔ)一個(gè)HRTF，當(dāng)處理音頻時(shí)如何調(diào)用。我們關(guān)注的是高層的邏輯，“將音頻進(jìn)行進(jìn)行過(guò)濾讓它聽(tīng)起來(lái)來(lái)自于一個(gè)特定的方向”。
由于HRTFs會(huì)考慮到聽(tīng)眾的頭部位置，因此在進(jìn)行空間化時(shí)，需要帶耳機(jī)。如果沒(méi)有耳機(jī)，就需要應(yīng)用兩個(gè)HRTF方程組：模擬的一個(gè)，和真實(shí)通過(guò)身體得到的。
3.1.3 頭部追蹤
聽(tīng)眾本能的會(huì)通過(guò)頭部的運(yùn)動(dòng)來(lái)分辨空間中的聲音，如果一個(gè)聽(tīng)眾的腦袋向一側(cè)轉(zhuǎn)了45度，那我們就必須在他們的聽(tīng)覺(jué)環(huán)境中體現(xiàn)出來(lái)，否則音響就會(huì)出錯(cuò)。
VR頭部設(shè)備（例如Rift）可以追蹤聽(tīng)者的頭部方向（或者位置），根據(jù)這些信息，我們就可以投射聲音信息到聽(tīng)者的空間中。這些的前提是聽(tīng)者戴了耳機(jī)，否則難度系數(shù)對(duì)于大多數(shù)VR應(yīng)用是無(wú)法接受的。
3.2距離模型
HRTFs幫助我們定位聲音的方向，但是不能對(duì)距離進(jìn)行建模。人們通過(guò)一些因素來(lái)估計(jì)聲音的距離，這些可以通過(guò)在軟件中調(diào)整參數(shù)和精度來(lái)進(jìn)行模擬。
聲音大小：最重要的因素，很容易通過(guò)聽(tīng)者和聲源的距離進(jìn)行建模。
起始時(shí)間延遲（ Time Delay）：很難建模，需要根據(jù)空間進(jìn)行計(jì)算反射，但是依然有幾個(gè)數(shù)據(jù)集嘗試對(duì)此進(jìn)行建模，從簡(jiǎn)單的 到完整的空間幾何建模。
聲音和混音()的比例：通過(guò)對(duì)反射和回聲進(jìn)行建?？梢缘玫?，有一些現(xiàn)有模型，但計(jì)算復(fù)雜度很高。
運(yùn)動(dòng)視差：根據(jù)聲源的速度可以直接計(jì)算得到。
高頻衰變：通過(guò)低通濾波器可以很容易的建模，實(shí)際應(yīng)用中，該因素并不是很重要。
四、聽(tīng)覺(jué)設(shè)備
對(duì)于當(dāng)前的VR，特別是需要追蹤頭部和用戶(hù)的運(yùn)動(dòng)，耳機(jī)是標(biāo)配，因?yàn)樗峁┝烁玫莫?dú)立性、隱私性、便攜性和空間性。
與自由聲場(chǎng)話(huà)筒系統(tǒng)（free-field ）相比，在VR音頻領(lǐng)域，耳機(jī)有以下優(yōu)點(diǎn)。
聽(tīng)覺(jué)與聽(tīng)者所在環(huán)境的增強(qiáng)現(xiàn)實(shí)以及沉浸式相獨(dú)立。
頭部的追蹤變得很簡(jiǎn)單。
HRTFs變得更準(zhǔn)確，因?yàn)椴恍枰盏狡渌鸋RTF以及自己身體的影響。
更容易控制HMD設(shè)備。
耳機(jī)都戴的很好，不會(huì)受到回聲的影響。
4.1耳機(jī)
當(dāng)前的耳機(jī)種類(lèi)有以下幾種，各自有優(yōu)點(diǎn)和缺點(diǎn)。
1、 Back
這種型號(hào)的耳機(jī)可以提供最好的隔離以及音響效果，到那時(shí)可能會(huì)導(dǎo)致不舒服。
They tend to offer less due to . Also, if on or over the ear, they cause the to sound .
聽(tīng)覺(jué)的隔離可以提升沉浸式的效果，讓聽(tīng)者與外界環(huán)境隔絕，聽(tīng)不到有人走進(jìn)屋子、手機(jī)響、門(mén)鈴響等，這是不是一件好事取決于用戶(hù)自己。
2、Open Back
比-back更加準(zhǔn)確和舒服，但不能讓聽(tīng)者與外界隔絕，比較適合在安靜的環(huán)境中體驗(yàn)VR，可以與外界的音響設(shè)備（）相結(jié)合。當(dāng)戴在耳朵上時(shí)，可以放耳廓對(duì)聲音有所反應(yīng)和重建。
3、
和手機(jī)配套的耳機(jī)比較便宜，輕便，低音效果比較差。有些設(shè)備例如蘋(píng)果的耳機(jī)，對(duì)頻率有很好的響應(yīng)，雖然會(huì)丟失一些低音，這些會(huì)被空間化忽略掉。 大部分這種耳機(jī)的隔絕性較差。
4、In-Ear
對(duì)空間有較好的隔絕效果，并且很輕便，對(duì)整個(gè)頻域的反應(yīng)都很好。這些耳機(jī)去除了耳廓對(duì)聲音的反應(yīng)，由于要插入內(nèi)耳，這就削弱了耳道對(duì)于聲音的重構(gòu)。
1脈沖反應(yīng)
耳機(jī)本身有自己的脈沖信號(hào)，由于HRTF對(duì)頻率很敏感，因此在輸出信號(hào)時(shí)，最好把耳機(jī)的脈沖信號(hào)給去掉。可以對(duì)輸出信號(hào)進(jìn)行去卷積。
4.3外置話(huà)筒系統(tǒng)
對(duì)于家用的VR不實(shí)際。
4.4藍(lán)牙
由于目前的藍(lán)牙技術(shù)會(huì)造成嚴(yán)重的延遲，有事會(huì)有500ms那么多，因此藍(lán)牙技術(shù)不推薦用于音頻的輸出。
五、環(huán)境建模
HRTFs和衰減一起為三維空間聲音提供了無(wú)回聲的模型，可以體現(xiàn)很強(qiáng)的方向信息，但是由于缺少空間因素，造成聲音比較干和假。為了補(bǔ)償這個(gè)，我們加入了環(huán)境建模來(lái)模擬周?chē)臻g的聽(tīng)覺(jué)效果。
1、混響和反射
隨著聲音在空間中傳播，它們會(huì)在平面上反射，造成一系列的回音。最初的回音可以幫助我們確定聲音的距離和方向，當(dāng)這些回音傳播、消失以及交叉時(shí)，會(huì)產(chǎn)生混音（late tail），來(lái)增強(qiáng)我們的空間感。
混音和反射有以下幾個(gè)模型。
model
6面平行的墻，需要指定距離，聽(tīng)者的位置和朝向。雖然這個(gè)模型很簡(jiǎn)單，但是總比沒(méi)有強(qiáng)。
人工混音
由于物理建模的計(jì)算復(fù)雜度很高，混音常常使用人工的模擬，ad hoc 。雖然計(jì)算復(fù)雜度低了一些，但是由于缺少聽(tīng)者的朝向信息，可能會(huì)造成聲音的失真，這與算法和實(shí)現(xiàn)相關(guān)。
基于抽樣的脈沖響應(yīng)與游戲中的環(huán)境不太匹配，同樣缺少聽(tīng)者的位置和朝向，他們是單聲道的，并且很難在不同空間進(jìn)行轉(zhuǎn)移。
2、真實(shí)世界的空間和聲音
模型試圖對(duì)空間信息進(jìn)行簡(jiǎn)化的表達(dá)，它假設(shè)沒(méi)有沖突，并且所有墻對(duì)頻率的吸收是相同的，并且六面墻對(duì)聽(tīng)者的距離是固定的。由于VR環(huán)境是復(fù)雜且動(dòng)態(tài)的，這種方法不能很好的scale。
現(xiàn)有方法有對(duì)復(fù)雜環(huán)境進(jìn)行建模，但是知名度不夠高。
3、環(huán)境的轉(zhuǎn)變
對(duì)一個(gè)區(qū)域進(jìn)行建模是很復(fù)雜的，但也很直接。但是當(dāng)空間進(jìn)行轉(zhuǎn)換時(shí)，可能會(huì)有音頻的不連續(xù)性，有些模型需要緩沖和重啟整個(gè)混音器，有些系統(tǒng)會(huì)在現(xiàn)實(shí)系統(tǒng)中引入噪聲。
4、現(xiàn)場(chǎng)和沉浸式
開(kāi)發(fā)者將用戶(hù)沉浸在一個(gè)虛擬世界中，給用戶(hù)一種現(xiàn)場(chǎng)感。當(dāng)用戶(hù)在場(chǎng)景中間時(shí)，音頻的沉浸感是最強(qiáng)的。例如，一個(gè)人在遠(yuǎn)處觀看3D棋盤(pán)游戲時(shí)，壓迫感遠(yuǎn)不如她站在棋盤(pán)的中心。
六、空間化的聲音設(shè)計(jì)
既然我們已經(jīng)分析了人們?nèi)绾伟崖曇舴旁谡鎸?shí)世界中，以及我們?nèi)绾纹垓_用戶(hù)讓他們以為聲音來(lái)自于空間的某個(gè)具體位置，接下來(lái)，我們就要研究如果改變我們的聲音設(shè)計(jì)來(lái)支持空間化。
1、單聲道
大多數(shù)空間化技術(shù)把聲音建模成一個(gè)無(wú)限小的點(diǎn)源，假設(shè)聲音來(lái)自于巨大空間中的一個(gè)點(diǎn)，或者是離散的幾個(gè)話(huà)筒。因此，聲音可以被視為是單通道的。
2、避免正弦波
純聲音例如正弦波，缺乏泛音，會(huì)導(dǎo)致以下幾個(gè)問(wèn)題：
純音調(diào)很難出現(xiàn)在現(xiàn)實(shí)世界中，聽(tīng)起來(lái)是不真實(shí)的，并不代表你需要徹底杜絕，因?yàn)閂R體驗(yàn)是抽象的。
HRTFs通過(guò)濾波來(lái)工作，但是純聲音缺乏一些內(nèi)容，因此很難使用HRTF來(lái)進(jìn)行空間化。
HRTF過(guò)程中的任何瑕疵或者不連續(xù)，在純音調(diào)中會(huì)更明顯，因?yàn)槿狈ζ渌膬?nèi)容來(lái)掩蓋。一個(gè)移動(dòng)的正弦波還會(huì)在空間化的實(shí)現(xiàn)過(guò)程中表現(xiàn)的非常差。
3、使用寬頻譜的源
與空間化正弦波的問(wèn)題類(lèi)似，寬頻譜的聲音可以為HTF提供更多的頻率信息。它們也可以來(lái)掩蓋由HRTF動(dòng)態(tài)改變引起的聽(tīng)覺(jué)瑕疵。同時(shí)要保證內(nèi)容中包含以上的聲音信息，因?yàn)槿嗣褡畛Ｓ眠@個(gè)來(lái)定位聲音。
人們很難定位低頻的聲音，這就是為什么家庭影院系統(tǒng)會(huì)使用單聲道的低音頻道。如果一個(gè)聲音必須是低頻的，那就要避免這些頭上的空間化，換做使用搖動(dòng)或者衰變。
4、避免實(shí)時(shí)的格式轉(zhuǎn)換
音頻的格式轉(zhuǎn)化非常費(fèi)時(shí)，會(huì)造成延遲，因此音頻應(yīng)該使用和目標(biāo)設(shè)備一致的輸出格式。對(duì)大部分PC來(lái)說(shuō)，一般是16-bit，44.1kHz PCM，但是一些其他平臺(tái)使用其他類(lèi)型的格式。
空間化的聲音是單聲道的，因此應(yīng)該避免在播放時(shí)進(jìn)行信號(hào)的融合，這會(huì)造成相位和音量的誤差。
七、VR的混合場(chǎng)景
和聲音設(shè)計(jì)一樣，為VR混合一個(gè)場(chǎng)景既是藝術(shù)又是科學(xué)，以下的推薦可能包含警告。
1、創(chuàng)造性的控制
我們的最終目標(biāo)不一定是真實(shí)，需要一直記住這一點(diǎn)。和計(jì)算機(jī)環(huán)境中的燈光一樣，什么需要連續(xù)或者正確并不是在藝術(shù)上有很高的要求。音頻團(tuán)隊(duì)?wèi)?yīng)該注意，不要逼著自己在VR環(huán)境中去追求完全的正確。特別是在考慮動(dòng)態(tài)范圍、衰變曲線(xiàn)以及直接返回時(shí)間的時(shí)候。
2、聲源的精確3D位置信息
聲源必須被精確的放在3D的場(chǎng)景中。以前，一個(gè)大概的位置信息就足夠，因?yàn)榭梢酝ㄟ^(guò)移動(dòng)和衰變來(lái)定位。一個(gè)物體的默認(rèn)位置可能是它的尾部或者是腳和地面接觸的地方，當(dāng)一個(gè)聲音從這些位置發(fā)出時(shí)，會(huì)在空間中顯得很不和諧。
3、有方向的聲源
Audio SDK不包含聲源的方向，但是高層級(jí)的SDK會(huì)使用基于角度的衰變進(jìn)行建模，來(lái)控制方向。這些方向的衰變會(huì)在空間化之前就發(fā)生。
4、場(chǎng)景聲音
Audio SDK不包含場(chǎng)景聲音，例如瀑布、河流、人群等。
5、多普勒效應(yīng)
當(dāng)聲音接近或遠(yuǎn)去時(shí)，會(huì)產(chǎn)生明顯的多普勒效應(yīng)。VR可以通過(guò)聲源和聽(tīng)者之間的相對(duì)速度來(lái)消除，但是這個(gè)過(guò)程很容易引入噪聲。
6、聲音傳輸時(shí)間
在現(xiàn)實(shí)世界中，聲音的傳輸需要時(shí)間，因此在看到和聽(tīng)到東西之間會(huì)有明顯的延遲。
Audio SDK支持time-of-。
7、非空間化的聲音
并不是所有的聲音都需要被空間化，有許多聲音是靜態(tài)的或者與頭部相關(guān)的，例如：
用戶(hù)交互的元素，例如點(diǎn)擊、嗶嗶聲、傳輸或者其他。
背景音樂(lè)
旁白
身體聲音，例如呼吸和心跳
這些聲音應(yīng)該在編寫(xiě)程序時(shí)被隔離，避免它們?cè)诨煲魰r(shí)不小心被加入到3D空間化聲音的流水線(xiàn)中。
8、效果
空間化的效果與設(shè)備的性能有關(guān)，例如在高配的PC上可以空間化30多種聲音，但是在移動(dòng)設(shè)備上只能空間化一到兩個(gè)。
有些聲音空間化后效果很差，例如低頻的轟隆聲，給出的空間感很弱。這些聲音可以通過(guò)一些移動(dòng)和衰變來(lái)作為標(biāo)準(zhǔn)的立體聲播放。
9、氣氛（）
傳統(tǒng)的非VR游戲很難做到聲音的沉浸感。因?yàn)镻C用戶(hù)的話(huà)筒質(zhì)量很低，家庭影院的隔離效果很差。
有了耳機(jī)、位置追蹤和完全的視覺(jué)沉浸之后，對(duì)用于聲音體驗(yàn)的音效設(shè)計(jì)變得更為重要。
這就意味著：
有效空間化的聲源
合適的音效范圍，不太密集，也不太稀疏
避免用戶(hù)疲勞
合適的音量，可以讓用戶(hù)聽(tīng)得時(shí)間比較長(zhǎng)
空間和環(huán)境的效果
10、延遲
VR音效的延遲與設(shè)備有關(guān)，最少可以達(dá)到2ms，最多可能達(dá)到幾百毫秒。當(dāng)用戶(hù)腦袋的移動(dòng)速度與聲源速度的差別較大時(shí)，系統(tǒng)延遲會(huì)比較明顯。如果觀看者移動(dòng)較慢，且場(chǎng)景相對(duì)靜止時(shí)，音頻的延遲很難被察覺(jué)。
11、特效
在VR體驗(yàn)中，特效是很重要的一個(gè)環(huán)節(jié)，像是濾波、賦值、變形和折邊等。例如一個(gè)低通的濾波器可以模擬水下游泳的聲音，因?yàn)楦哳l會(huì)比在空氣中失去能量的更快。或者可以用扭曲來(lái)模擬迷失方向。
（本文是 Audio SDK文檔的閱讀筆記，作者只對(duì)感興趣的內(nèi)容進(jìn)行了簡(jiǎn)單的翻譯。轉(zhuǎn)自：）
點(diǎn)擊一下立即閱讀相關(guān)好文章
丨丨
丨
丨
......
近期熱文
友情鏈接： 餐飲加盟
地址：北京市海淀區(qū) 電話(huà)：010- 郵箱：@126.com
備案號(hào)：冀ICP備2024067069號(hào)-3 北京科技有限公司版權(quán)所有