著移動互聯網的普及，越來越多的人開始使用移動端進行音樂創作和錄唱。然而，由于移動設備的硬件和軟件限制，要實現高質量的錄唱體驗，在技術上仍然面臨著許多挑戰。全民K歌從2014年開始深耕移動端上的錄唱技術，通過多年的技術沉淀，我們建設了一整套的高質量錄唱技術體系，本文將介紹一些關鍵技術指南，包括錄唱時以及錄唱后的編輯相關部分，幫助大家了解如何在移動端實現低延遲錄唱、詞伴對齊、聲伴對齊、耳返、升降調、人聲增強、3A處理、修音等技術，從而實現高質量的錄唱體驗。
低延遲、高音質打造絲滑錄唱體驗
音樂創作和錄唱已經不再局限于專業錄音室和昂貴的設備，但移動端錄唱面臨著諸如延遲高、錄音品質不穩定等挑戰，全民K歌技術團隊為用戶打造了絲滑錄唱體驗，著重優化了以下關鍵方面：
首先，干聲采集參數對于錄唱音質的影響至關重要。為了獲得高質量的干聲，我們需要選擇合適的采樣率、位深、聲道數等參數。此外，合適的錄音設備的選擇和正確的錄制手法也同樣影響到最終采集干聲的效果， 全民K歌會實時使用算法進行檢測，對于可能存在的問題通過交互給予用戶引導。全民K歌技術團隊推薦采用 48kHz、16位、單聲道進行錄制，采集到的干聲進行雙聲道轉換，重采樣至統一的采樣率以輸出給業務層使用，采集到的干聲還會進行適當的質量檢測如是否為靜音數據、干聲的響度等。
其次，在移動端進行錄唱時，延遲是一個非常敏感的細節體驗問題。低延遲錄唱是指在錄音和播放過程中，聲音信號的錄制和處理時間盡可能短，期望達到人耳無明顯延遲感知的實時傳輸和播放效果。全民K歌安卓端采用高性能、低延遲的 OpenSL ES 和 AAudio API 進行錄制，通過優化錄制器的采樣率、位深、緩沖區大小等參數，以滿足低延遲場景的需求，最優可獲得 30-70ms 的錄播延遲，目前處于行業領先。
此外，更高的采樣率可以容納更多的用戶原始歌聲的高頻信息，盡可能保持原有作品的聽感效果。采樣率是錄音設備每秒鐘甚至更短的時間單位內對聲音的采樣次數，全民K歌逐步將采樣率提升至 48kHz，未來計劃支持更高的 96kHz 采樣率，以提升用戶干聲品質。
最后，全民K歌在藍牙耳機錄唱的場景中也做了技術提升。藍牙耳機錄制是目前業界相對領先的一項技術，市面上藍牙耳機相對于有線耳機通常有著耳返延遲高的通病，但全民K歌通過和硬件廠商深度定制，目前在華為 FreeBuds 藍牙耳機上可以實現耳返延遲在 40ms 以內人耳完全無延遲感的錄唱體驗，同時搭載了耳返音效能力，完全實現了無線極致錄唱體驗；同時和魅藍Blus K耳機合作植入了K歌音效能力，提升錄唱效果；另外全民K歌和Vivo藍牙耳機tws 3e深度合作，通過自定義協議實現藍牙耳機錄唱的同時，可以在全民K歌平臺上對耳返開關、音量大小等參數進行調節設置，提升整個錄唱的體驗。
集合多元技術增強錄唱的細節表現力
全民K歌還在整個錄唱環節進行了深度優化，通過收音檢測、詞伴對齊、聲伴對齊等技術，提高了錄唱的精細度，為用戶提供了更加細致的交互體驗，確保錄唱作品的高質量。
收音檢測是指在錄制過程中，通過實時監測錄制聲音的狀態并及時提示，如是否出現爆音、錄制音量的大小、人聲音量是否合適、環境是否嘈雜（背噪）等，協助用戶錄制到更高質量的人聲數據，高質量的人聲數據是高質量作品的一個基礎。基于一段時間的 dB 數值的統計以及分析，估算人聲音量或者是爆音的情況，如此可實現結果的一定準確性，且盡可能少的資源占用。基于 MCRA 噪聲預估算法，實現了 0.5 秒數據的背噪預估，配合相關的操作交互，在錄唱中給用戶更好的提示引導。
詞伴對齊是指在錄唱過程中，將歌詞與音樂伴奏進行精確對齊，使得歌詞與伴奏在時間上保持一致。全民K歌使用QRC格式歌詞，歌詞的每個字都有對應的起始時間和持續時間，通過伴奏的進度實時更新歌詞的進度，保證了歌詞和伴奏的實時同步。全民K歌技術團隊也開發一套算法，可校正線上的歌詞和伴奏的對齊精度。
聲伴對齊則是指在人聲和伴奏混合時，對人聲和伴奏的時間進行精確調整，使得它們能夠完美地同步播放。這種對齊技術對錄唱來說非常重要，因為如果人聲和伴奏的時間沒有對齊，就會影響整個演唱的聽感。全民K歌基于人聲和伴奏的音頻指紋，以原唱作為參考選擇最佳的remix延遲，同時也提供了正負600ms范圍的手動調節交互面板供用戶進行精細度調節，達到聽感上的同步。
智能伴唱是指錄唱時，在適當的時候提供伴唱，幫助用戶更好地進入演唱狀態。相比使用原唱，智能伴唱在開頭或者關鍵位置進行伴唱，可以避免用戶唱歌跑調，并且實時分析用戶的聲音，在跑調的時候進行伴唱幫助用戶唱回到原來的調上。全民K歌的實現方案是從人聲引出旁路，結合響度和音準信息評估用戶當前的熟練程度，動態調整伴奏和原唱的比例，智能地給用戶進行伴唱引導，輔助用戶更好地完成演唱。
升降調是指在錄唱過程中，通過調整音樂的升降音調來改變聲音的高低。升調是將低音變為高音，降調則是將高音變為低音。這項功能在K歌等場景中非常實用，可以幫助用戶更好地適應伴奏的音調，提高演唱效果。通常在伴奏中，同時包含了多種樂器演奏的聲音，不同樂器之間的特性并不相同。在升降調的過程中，類似吉他之類的弦樂需要調整音調，但是類似鼓點的聲音因為沒有音調信息反而需要保持原樣避免處理后變得拖沓。全民K歌的實現方案首先會對音樂中瞬態和諧波的分布進行逐幀的分析，只調整諧波的升降，同時保證幀間相位的連續，瞬態信號會只做位置的調整而不進行拉伸，進而保持原有的打擊感。
耳機返聽是一種實時音頻處理技術，可以將錄唱過程中的聲音實時反饋給用戶，通過耳返，用戶可以實時調整自己的音量、音色和節奏，從而提高錄唱質量。目前全民K歌安卓的耳返分為兩種，硬件耳返和軟件耳返。其中硬件耳返通過和硬件廠商深度定制，包括華為、榮耀、Oppo、Vivo、三星、小米、一加等硬件耳返，在硬件HAL層控制有線耳機錄制到的聲音直接送到耳機端，減少數據從硬件往軟件的步驟，減少耗時，同時在部分硬件廠商HAL加入簡單EQ實現了硬件耳返上的音效效果；另一種是軟件耳返，即通過軟件層控制錄制器錄入的聲音回傳給HAL層，軟件耳返的錄制器包括了OpenSL ES和AAudio，其中AAudio作為內部超低延遲能力，在部分手機上達到40ms以內，可以媲美硬件耳返，全民K歌的軟件耳返延遲目前也是處于行業領先位置。iOS端實現的是軟件耳返，耳返的實時性，與錄制數據的回調間隔息息相關，間隔越短才會有更高實時性的耳返。AudioUnit 是目前 iOS 上錄制回調間隔最小的，可達 5ms。通過使用系統提供的 AudioUnit 組件，同時實現「錄」和「播」兩個功能，每錄制到 5ms 數據，便可控制 AudioUnit 立馬進行播放，從而實現僅 17ms 左右延遲的耳返，處于行業領先。
多維打分是全民K歌中一套用戶唱歌表現的評價系統，不但包含業界普遍認可的音準打分，更是行業內首創更豐富的多維度打分系統，使用基于原唱模版的有參考自研算法，對用戶唱歌時的氣息、節奏、技巧等緯度進行多角度評價。在此基礎上還持續引入新生技術，創新性地研發了基于神經網絡模型的無參考的歌聲評價系統，對用戶唱歌時的表現做出客觀評價，幫助用戶提升唱歌水平。全民K歌首創的有參考+無參考的評價體系，已經成為行業領先。
音頻處理技術助力打造高品質音樂作品
在音樂創作領域，音頻處理技術的不斷創新為打造高品質音樂作品提供了強大支持。全民K歌技術團隊致力于提升音頻處理的各個方面，為錄唱音樂作品營造注入流暢、自然的音樂效果，增加音樂表現力，助力全民K歌用戶創作出更為出色和精致的音樂作品。
3A處理是音頻數據采集后的預處理，是指自動增益控制（AGC）、自動噪聲抑制（ANS）和自動回聲消除（AEC）等三種音頻處理技術。全民K歌實現3A處理有傳統DSP方案和自主研發的神經網絡模型方案。傳統DSP方案，是基于經典的Wiener Filter架構實現線性回聲消除，同時疊加非線性處理模塊進一步抑制殘余回聲。模型方案是基于全民K歌大規模的真實歌聲數據，訓練神經網絡模型來學習唱歌場景下的回聲特征，在最大程度保持歌唱音質的前提下，抑制回采信息，獲得清晰高品質的處理后歌聲數據。ANS同樣使用DSP與AI結合的手段實現不同場景下的降噪需求。
音效處理是指在錄制歌唱表演時，對聲音進行后期處理，以增強或調整音頻效果。音效處理可以包括添加或消除某些聲音元素，調整音量、人聲均衡、混響等參數，以及進行其他音頻編輯操作。這些處理可以提高音質，使聲音更加豐富、生動和有趣。全民K歌預置了涵蓋空間渲染、EQ、Filter、Delay在內的各類數字效果器，通過服務器下發配置文件動態組合音效處理鏈路。同時全民K歌支持真實采樣的脈沖文件來實現卷積混響，營造更為真實的現場體驗。
聲伴比是指人聲和伴奏之間的相對音量比例，是一種衡量音頻系統中人聲和伴奏音樂之間平衡的指標。聲伴比決定了人聲和伴奏在最終混合音頻中的相對清晰度和突出程度。一般來說，較高的聲伴比意味著人聲在混合音頻中較為突出，而較低的聲伴比則意味著伴奏在混合音頻中較為突出。錄唱中，為了更好地幫助用戶更清晰地聽到自己的聲音，同時保持音樂的整體效果，全民K歌開發了一套智能聲伴比技術，自動調節和控制錄唱過程中的聲伴比。在作品合成時，通過優化處理鏈路中各環節的增益，保持處理前后人聲的響度不變。同時以原唱中人聲和比例作為參考，動態調節用戶干聲和伴奏 remix 的響度比例。
人聲增強是音頻后處理的一項技術，主要作用是提高錄唱中人聲的清晰度、響亮度和音質，使人聲聽起來更加清晰、明亮和易于聽清。這種技術可以通過濾波、增益、降噪等多種方法來實現，以便在錄制音樂或演唱時使人聲更加突出，同時減少背景噪音或其他音頻元素的干擾。全民K歌通過有機組合降噪、多重濾波、多重激勵器，并根據不同的用戶性別、音色等來應用不同的處理參數，對不同用戶實現了適配，提高了用戶的演唱質量。
后期修音是對錄唱作品進行一番調整修飾處理，比如增加響度、提升清晰度、調整音準和節奏等。錄制干聲合成音樂作品時，經常會遇到一些音質、音準、音色等錄唱質量問題，修音技術可以通過對聲音時頻特性分析，并做針對性的檢測和處理，實現對錄唱干聲的音質、旋律、音效等全方位的調整與修正，美化干聲質量與色彩，讓音樂作品更加流暢和自然，聽感更加和諧出色。全民K歌通過MIR信息分析和獲取用戶干聲多維度特征，使用修音模版對分句、分詞、音準、技巧、效果等多維度參數進行評估和優化，再使用傳統信號處理以及AI技術實現對應維度特征的修音處理，同時高度適配原始歌聲旋律走向，最終得到修音后的和諧歌聲。
綜上所述，全民K歌歷經近10年研發，建設了一套完整的高質量錄唱技術體系，為移動端用戶提供了領先的錄唱體驗，伴隨著軟硬件生態的發展，有效地解決了移動設備錄唱所面臨的獨特技術挑戰。不僅為用戶提供了優質的錄唱工具，讓用戶能夠在移動端輕松享受到高水準的音樂創作和錄制體驗，也為音頻處理領域的技術演進和創新提供了實際案例，為技術的落地運用繪制了更廣闊的發展藍圖。
作者:全民K歌錄唱團隊
來源:微信公眾號:騰訊音樂技術團隊
出處:https://mp.weixin.qq.com/s/m1wXm7uqQEUxYeZEUOMi_w
所周知，智能手機已經成為人們生活中不可或缺的部分，其中人們的大部分娛樂活動都是通過智能手機完成的，這之中智能手機用于聽和玩音樂的占比很大，所以音樂體驗如何，是衡量一部手機體驗好壞與否的一大指標。
好音質需要好硬件來提供，三星Galaxy C9 Pro還采用Galaxy C系列一貫令人驚艷的HiFi+U品原音設計，搭載了專業級硬件解碼芯片+AdaptSound軟件方案，針對耳機進行優化，通過調校可以控制LR聲道的電平輸出水平，讓兩耳聽到的音量更近。不僅是本地音樂，在線音樂也能還原真實聲音，實現最高清的音樂情境。
值得一提的是，考慮到用戶在影音娛樂方面的體驗，手機外放的應用日益增多。之前很多智能手機依舊是單揚聲器，外放聲音小，無法形成環繞立體的效果。C9 Pro設置了雙揚聲器，一個位于機身底部，一個集成在聽筒中，同時對外放的聲音效果進行了徹底優化。讓手機實現“立體雙音響”功能，無論是激烈的游戲對戰，還是專注于精彩的影視欣賞，C9 Pro都能給用戶身臨其境的聽覺享受。
需要說明的是，采用雙揚聲器設計本身是存在技術難點的，因為在智能手機普遍講求機身輕薄設計的當下，雙揚聲器則會占用太多的空間，故而兩個揚聲器的位置就很關鍵。放在正面，音效好,但會壓縮屏占比；放在背面，聲音又會被遮擋；放在下面，聲音方向性明顯，只有揚聲器朝向的這個方向音量比較大，其他方向音量明顯減弱，而Galaxy C9 Pro雙揚聲器一上一下的位置設計，底部的聲音不會被遮擋，集成在聽筒中的美觀又不影響聽覺則做到了兩全其美，再次彰顯出三星的技術實力。
當然，在追求極致音樂體驗的過程中Galaxy C9 Pro并未滿足，因為在生活中，每個人對于音樂有著不同的表達方式，有的喜歡靜靜地聆聽欣賞；有的喜歡展示和宣泄的K歌，尤其是近些年直播平臺的火爆，K歌已經成為音樂生活中的必需。
在這樣的大背景下，Galaxy C9 Pro，用優秀的K歌體驗為眾多K歌用戶帶來福音。作為國際知名手機研發制造商，三星充分融合了中國本地開發團隊、產品企劃等研發力量，力求以細致入微的差異帶給消費者真正的體驗效果。
例如Galaxy C9 Pro與全民K歌、唱吧等優秀K歌平臺進行合作，增加了“實時耳返”功能，需要說明的是，該功能多出現于專業歌手的演唱會上，通過實時耳返，歌手可以實時監聽自己的聲音是否走調，而且還可以直接聽到伴奏，防止因場地過大導致的歌手聽見的伴奏延遲、走調等問題，專業性非常高。目前這一功能在智能手機硬件設備上還是比較少的，如果說以前手機唱歌體驗主要基于軟件應用的優化，那么此次三星Galaxy C9 Pro直接在硬件上保證了音效效果。
正是基于這一技術，開啟Galaxy C9 Pro，戴上耳機，點開唱吧、全民K歌等APP，耳機中不僅有伴奏的聲音，同時也能聽見自己的聲音，真實還原在KTV唱歌的感覺，準確把握節奏和音調，既可以在家中也可暢快唱歌，體驗專業級的環境音效，還能幫助用戶鍛煉自己的歌唱技巧，讓用戶不僅能成為K歌的主角，還更具專業范兒。
綜上所述，我們認為，與大多數智能手機盲目追求新技術特性和硬件的堆砌不同，Galaxy C9 Pro從用戶實際需求痛點出發，尤其是針對用戶最為常用的在意的對于手機音樂（聽和唱）的需求，在硬件配置和軟件應用方面進行細致入微的優化和創新，例如上述的硬件解碼芯片+AdaptSound軟件方案和“實時耳返”功能等，從而以體驗來再次引領手機產業的發展。
你出于好奇心點進來，那么恭喜你了，你又了解了一個手機的強大功能；當你已經知道耳返是怎么回事，那么這篇文章會讓你了解更多！
根據互動百科對于”耳返“詞條的解釋：
在作用方面也有相關介紹：
那么這個東西跟手機又有什么關系呢？
這個可以解釋為以前沒有關系，但是現在有了它可以讓手機的娛樂性更強了，因為你可以使用帶有這個功能的手機唱卡拉OK，像進了KTV唱歌一樣，現在網上賣的手機麥克風是比較火的，比如像這個
帶有耳返功能的話筒，讓你直接使用手機K歌，不過這種K歌方式主要的硬件還是在話筒上。那么又沒有更簡單的不需要這個話筒就能達到K歌目的東西呢？當然有，那就是手機直接配備耳返功能，比如這個
實時耳返，像唱K一樣聽見自己的聲音。
用手機隨便K歌，覺得心情好的時候打開手機就像進KTV一樣哼兩嗓子，感覺是不是很美妙。但是這么好用的功能是不是安卓手機上都有的呢？答案是，是也不是。耳返功能可以通過手機軟件處理合成，但是這種耳返效果一般都不太好，聲音延遲太大，也必然會使你心生厭惡。耳返的重點在于實時，而要實時耳返這種效果就必須要硬件的支持，比如說當前蘋果手機都支持耳返而安卓機以vivo為代表的vivoX5 ，X7都帶有耳返。這里有一些體驗上的提示，大家可以參照一下
好了，了解了這么多，那么趕緊打開手機看看你的手機是否支持耳返吧，如果有就不要閑著，戴上耳機，下載個什么K歌app的，盡情酣暢一曲吧。實時耳返，讓你擁有手機上的KTV！
最后提個小小要求，點擊訂閱關注我吧，數碼GO，期待您的關注！