# Note #
視頻引擎的應用場景多為需要低延遲的實時通訊場景，比如視頻會議和娛樂直播。本次分享我們邀請到了網易云信的工程師韓慶瑞老師，為我們分享網易云信視頻引擎技術的特點和落地方案。
文 / 韓慶瑞
整理 /
大家好，我是來自網易云信的工程師，我叫韓慶瑞。本次我分享的主題是網易云信視頻引擎技術介紹。
本次分享主要分為以下三個部分，第一個部分是網易云信的視頻引擎介紹，第二部分是視頻引擎的相關關鍵技術介紹，第三部分是視頻云信客戶的相關落地案例。
#1.云信視頻引擎介紹
首先我們進入第一部分，網易云信的視頻引擎介紹。
首先我想介紹一下視頻引擎的應用場景。云信的視頻引擎主要用于實時視頻通訊場景，比如：視頻會議，互動直播，互動教學，在線醫療等等。這些場景都有一個共同的特點就是低延時。
然后這張圖是云信視頻引擎服務的整個的一個網絡部署圖。然后云信視頻引擎主要是位于一個端測 ，包括各類的PC、MAC，各種的手機和pad上面。
這是視頻引擎的架構圖。從圖上可以看出云信的視頻引擎主要有六大板塊。我們按照rtc的處理鏈路來介紹，第一個模塊是視頻前處理，第二個模塊是視頻的編碼壓縮，第三個模塊是用于應對各種網絡的視頻QoE，然后是視頻解碼和視頻后處理。為了保證云信視頻業務的高效運行，我們還有一個視頻控制類的模塊。后面我會逐個給大家講解每個模塊一些關鍵的技術。
#2. 云信視頻引擎關鍵技術
好，然后我們進入第二部分。這個部分里面我們給大家詳細介紹一下在云信視頻引擎內部各個模塊的一些關鍵技術。
首先在視頻采集之后我們首先會進行視頻前處理， 然后云信的視頻前處理的目的主要兩個，一是提升實時通信中端到端的視頻效果，第二是指導編碼器更高效的壓縮。目前的話我們視頻引擎前處理主要是有三個技術點，第一個是視頻降噪，第二個是視頻AI增強，第三個是視頻的顯著性檢測。
那么我們首先來看一下視頻的AI增強。視頻增強這個技術已經有多年的研究和應用的歷史，但是實際上它用于RTC場景還有一些難點。比如說在一些RTC場景移動端，移動端居多，而且各種手機類型性能參差不齊，功耗敏感。所以說不能使用過于復雜的算法，對于深度學習來說的話它可能就只有采用小模型。但是采用小模型它的學習能力比較差，訓練容易過擬合。這個就是第一個缺點。第二個缺點就是說在前端做增強的話，它的端到端的效果不一定好，因為增強后的圖像，它的高頻分量會增多，這樣對后面視頻編碼壓縮會有比較大的壓力，如果處理不好視頻質量會損失更大，尤其是在低碼率下面整個損失會更大。比如我們可以看到右邊這兩個圖，左邊這個圖它是沒有增強的，右邊這個圖實際上是做了增強的圖像壓縮技術好不好，然后這兩張圖是在經過增強然后壓縮到最終解碼，最后這樣的效果?？梢钥吹皆鰪娭?，它的塊效應其實是比沒有增強的要明顯一些的。
針對前面提到的困難，云信這里的解決方案是：我們設計了一個分級的網絡，這個網絡前面是有一個場景識別的模塊，它能夠識別出視頻類型，根據不同的類型它能夠走不同的小模型，或者說模型結構不一樣或者說模型的參數不一樣。然后針對前面提到的第二個困難，就是說有時增強之后的效果反而比不增強的效果編碼之后視頻質量要差，這個我們也可以通過場景識別的模塊識別，對于這種場景的視頻我們可以不經過場景增強，直接編碼。然后我們的每個小模型他都是一個輕量級的模型。這個輕量級的模型呢大概參數量1k到2k，然后網絡層數是八層。這個參數量和網絡層數對于業界來說的話可能不算一個輕量級，因為業界輕量級可能只到幾百個參數也是有可能的。但是我們為什么不用更小的模型？因為用更小的模型的話它會帶來一個質量上的下降。但是參數量1-2k的模型的話，它的缺點是它的開銷會大大增加。那么我們為什么有信心用1-2k參數而不擔心它的開銷，是因為我們有自研的高效的AI引擎，這個我們后面會介紹。
這個是我們AI增強的一個效果的展示，大家可以看一下。右邊是我們的增強效果，其實從圖上可以看出來右邊在左邊增強之后它的效果是很有改善的。這個視頻是通過編碼解碼之后的對端解碼之后顯示的效果。
然后我想介紹第二個技術點是我們的視頻降噪。視頻降噪應該說在RTC場景里面是一個很常見的技術點。它的作用主要是在經過一些采集之后，高頻噪聲會消耗不必要的bit，通過降噪我們可以有用于編碼器將bit用于編碼有用的信息，從而提升端到端的視頻質量。但是在RTC里面，降噪也是有很多難點的。
第一個當然也是通用的，就是我們RTC移動端居多，各種類型的pad和手機類型層次不齊，而且對于性能功耗特別敏感，復雜的算法無法使用，而一些速度快的算法效果不夠好。第二個困難點是不合適的降噪，可能會在降噪同時濾除掉有用的邊緣信息，導致整個的E2E的效果下降。
針對這兩個難點，云信這里的解決方案是：我們的降噪分為以下的三個模塊：首先也是比較常用的是噪聲估計模塊，我們會估計這個圖像的噪聲，當然可能噪聲估計的特點是一個非常輕量非?？焖俚脑肼暪烙?。輕量噪聲估計有一個壞處就是它可能噪聲估計得不準。這個時候我們還有一個顯著性檢測模塊。顯著性檢測可以檢測出人眼最敏感的區域，它可以將圖像中人眼敏感的區域進行分級，那么這樣子對于人眼敏感的區域我們可能說降噪的尺度會小一點，而在人眼不敏感的區域我們會對降噪的系數和降噪的尺度大一點。因為人眼不敏感區域即使是說我們開大降噪尺度，把有些有用的信息模糊了，但是由于人眼不敏感，所以對整個主觀的質量也是沒有太大影響的。所以說我們用噪聲估計和顯著性檢測這兩個作為兩個權重，然后送到各向異性的濾波里面去，得到出我們的圖像。
所以我們第一個模塊呢是視頻前處理，完了之后它會進入第二個模塊，也就是視頻編碼這個模塊。視頻編碼在RTC里面主要作用就是它會把碼進行高效的壓縮，然后通過網絡傳輸。云信的視頻編碼的一個特點就是我們的編碼速度特別快，同時壓縮質量特別高。云信視頻編碼主要有以下四個編碼器組成，最主要的是我們自研的H264編碼器，我們叫NE264，然后還有是我們自研的NE265和云信的私有編碼協議NEVC，同時針對屏幕共享這個場景，在264這個場景下面我們針對屏幕共享這個場景進行了單獨的優化，這個我們叫NE264-CC。
下面我們先介紹一下我們的NE264。NE264是云信自研的H264編碼器。在其中我們自研了多個高效壓縮算法，比如說快速模式決策，高效亞像素搜索，自適應參考幀，還有CBR碼控等等。如下的表格是NE264和業界比較知名的幾款編碼器的比較，包括自帶的編碼器，X264編碼器的檔位，還有是蘋果 11的編碼器。從這個表里我們可以看出，我們的編碼器編碼質量和速度都是優于這幾款編碼器的，同時我們的碼率波動性，碼率控制這方面也是高于這幾款編碼器的。因為在實時傳輸網絡中，尤其在弱網的情況下，碼率波動性會對整個視頻的質量會造成較大的影響。
然后我們也和x264-，也就是x264里面最快的那個檔位進行了一個比較。在這個比較里面我們可以看到我們的速度僅比的慢了百分之二十五左右，它是 ，我們是。但是我們的壓縮率整整提升了接近百分之五十（49.85%，接近百分之五十）。
這就是我們的NE264。然后針對屏幕內容場景，我們用NE264針對屏幕內容進行了單獨的優化。關于屏幕內容編碼業界有若干種的解決方案，比如說有AV1，H265 SCC。還有一些業界的廠商是采用了SCC相關的一些編碼方式移植到H264這樣子的一些私有協議。這些都是很棒的方案。云信對于這塊的思考是，針對屏幕內容場景，即使在編碼端也是有很大的優化空間，配合文字的后處理完全可以達到很好的效果。同時用 H264是使用最廣泛的協議，能保證各個設備的互聯互通；H264速度很快，不會消耗過多的資源。所以我們用 H264 標準協議針對屏幕場景來進行了一個單獨優化。下面是我們的優化結果，我們可以看到相對于不加屏幕內容優化的NE264 ，我們的壓縮率平均提升了 36.72%。最大可以提升 62%，同時我們的速度僅減慢3% -- 基本上沒有減慢。而如果我們相對于 內置的屏幕壓縮來說的話，我們的壓縮率提升了41%左右，而速度基本不變。這就可以看到，我們沒有添加任何新的壓縮工具，僅通過對 H264 協議的編碼優化，我們就能夠做到壓縮率提升40%，同時速度基本不變。
下面介紹一下我們自研的 NE265。NE265是云信自研的 H.265編碼器。針對H.265壓縮率高但協議復雜的特點，我們在三個方向做了努力，一是設計了高效的編碼器架構，NE265的軟件架構對cache極為友好。二是高效的快速算法設計，我們設計和實現了超過 20種的快速算法，三是底層的匯編優化，對密集型計算的模塊，我們都使用了simd指令進行了非常精細的優化。下面一些測試結果反映了我們的努力。比如首先是我們和x265 檔位對比。x265 檔位是x265里面編碼質量最好的檔位。但我們相對這個檔位來說，在 RTC 場景下面，我們的PSNR和SSIM的都是相差不多的，我們大家可以看到。我們采用的測試序列是官方提供的 25 個標準序列，再加上我們云信業務的一些序列，還有就是社交娛樂場景相關的一些序列，都是從業務相關的一些序列?？偣?5 個視頻。我們可以看到基本上在上面我們是相差不多的，相差不到百分之一，但是我們的速度相對于x265 檔位來說 提升了40 倍。然后我們也和H.264 進行了比較，我們和 x264 的檔位進行了比較，我們的平均壓縮率可以提升接近35%，同時我們還比它的速度快10%。
當然云信的努力不止于此，我們還研發了自己私有的編碼協議，稱之為NEVC。這個協議的一個核心點是采用了云信自研的多尺度的視頻壓縮技術，當然同時我們也借鑒了AV-1的一些壓縮工具。相對于NE265來說我們的平均壓縮率可以提升12%，其中在官方序列下面我們可以接近18%的提升，同時我們的速度是和NE265是差不多的。
說完視頻編碼，我們進入視頻QoE的環節。因為視頻引擎是RTC業務，視頻編碼之后的數據它會經過網絡傳輸到視頻解碼。但是網絡的狀況是千變萬化的，有的網絡好，有的網絡差，有的網絡帶寬低，有的網絡丟包多。視頻QoE模塊就是保證我們在任何網絡情況下面的用戶都有一個最佳的視頻體驗。我們視頻體驗實際上就是從視頻流暢度，畫面清晰度還有質量平穩度這些視頻內容這幾個維度的綜合評分。視頻QoE的第二個作用就是它減少因為數據丟失而引起的卡頓。
這里面我想介紹一下云信自研的智能網絡自適應技術。講之前我首先要提一下的Per-Title技術。Per-Title技術指出了對于視頻并不是碼率和分辨率越高越好，當碼率或分辨率增加到達一定的閾值時，再增加并不能提升視頻的主觀效果；而不同場景的視頻的閾值是不一樣的；通過對視頻進行離線學習找到了每個視頻對應的最佳碼率和最佳分辨率。云信擴展了這個技術，使之可以用于RTC場景。
我們通過深度學習對視頻進行分類。首先我們會制作數據集，對數據集中的每個視頻我們都會用不同的碼率和分辨率進行編碼然后通過視頻質量評價算法進行打分，找到最佳的碼率和分辨率，生成標簽；利用數據集訓練分類器。然后在實際應用的時候對每一個輸入圖像我們都會送入這個分類器里面，通過分類器我們選擇一個最佳的分辨率，然后將碼率和分辨率然后和當前這個視頻一起送入編碼器進行編碼。編碼之后傳到網絡，網絡之后再通過解碼，解碼之后再通過上采樣。這樣，我們能夠實時根據網絡的變化來尋找一個最佳的視頻分辨率，來獲得最佳的用戶視頻體驗。
我們的視頻QoE也有長參考幀和時域SVC的技術。當然這兩個技術可能大家都是應該是比較熟悉的。在云信，長參考幀主要用于1vs1 的這樣一個場景下面的保護，時域SVC主要適用于在一對多情況下面下行的這樣一個數據保護。
QoE模塊之后我們會進入一個視頻解碼。云信的視頻解碼特點是：他可以支持市面上幾乎所有視頻格式包括視頻和圖像格式的解碼和互聯互通。
視頻解碼之后我們進行到視頻后處理。因為云信的業務場景主要可以分為兩類：一類是使用的場景，比如視頻通訊，另一類是屏幕內容分享這樣的場景，所以我們的視頻后處理一個是對于圖像的視頻超分，另一個是針對屏幕內容的視頻屏幕優化這兩個技術。云信視頻引擎后處理目的主要是恢復或改善視頻的畫質。
我們先介紹視頻超分，同樣的在視頻超分里面我們是用了自研的輕量級網絡。當然這里的輕量是要加引號的，因為我們參數量是1k到2k，網絡層數實際上也是8層，對于業界來說可能不算是輕量。但是我們有自研的AI推理引擎，然后我們有獨有的數據集處理技術，我們對數據集會有我們自研的一些預處理技術。這樣在同樣的網絡下面通過對這些數據集的預處理，我們的超分效果也會更明顯。右圖是我們超分之后的這樣一個CPU占用率，可以看到無論是安卓，mac還是，我們的超分開銷比不開啟超分CPU增長率都不是很大，基本上也在5%以內。然后我們還可以看到就是我們視頻的客觀質量。AI超分的話我們的視頻質量比不開啟超分明顯要好的。
這是一個我們視頻超分的對比圖。右邊是有視頻超分的，左邊是沒有視頻超分的。大家可以看到實際上右邊的視頻質量是明顯要比左邊好的。
進入下一個，桌面共享優化。桌面共享優化的話在RTC的主要挑戰是，桌面共享大部分是一個大屏幕，以的居多，深度學習來做的話開銷過大。那我們解決問題的思路是首先會對有文字的區域做文字識別，然后在針對文字的區域做AI優化。這樣就會把分辨的尺寸就會降低很多。第二個的話也是一個帶引號的輕量級網絡。因為我們有NENN，我們后面會介紹。
下面是我們桌面共享優化的一個效果。可以看到右邊的文字會比左邊清晰很多。
我們進入下面的最后一個部分，視頻控制部分。這個部分實際上主要包括兩個部分，一個部分是視頻策略，一個是AI推理引擎。
我們先講一下AI推理引擎。AI引擎是我們云信自研的一個AI推理引擎，我們叫NENN。當然業界我們知道有很多開源的知名的引擎，那這塊我們和他們不同的地方是，首先我們針對云信自己的模型做了精細的優化，支持更多op，第二個是我們做了優化了數據的拷貝和排布，對稀疏矩陣的計算NENN會更高效。然后對于一個推理引擎框架來說，性能是一個主要的，另外易用也是一個主要的。在NENN我們支持30種以上的圖像處理算法。所以在使用時不需要另加第三方的圖像處理庫就可以直接使用。右邊的話是我們推理速度的對比，上面的是MAC平臺，下面的是我們手機上那個平臺。可以看到NENN無論是在標準的模型上還是在我們自研的模型上，都會比其他的模型有一個更快更好的優勢。
然后就是我們的視頻策略。視頻策略主要是因為視頻引擎主要面對的是終端平臺類型眾多，有不同的平臺，比如說有高性的電腦，有低性的電腦，有筆記本，還有不同的手機和平板。這些平臺他的類型不同，性能也不同，所以我們需要在設備初始時根據不同的平臺類型來配置不同的算法，不同的種類，參數，還有軟硬編解碼。比如說對于一些比較好的設備的話，我們開啟的算法可能比較復雜，開啟的算法種類可能會比較多。對于差的設備，我們會使用一些簡單的算法。因為云信的業務是遍布全球，對于全球不同區域網絡特點不一樣的話我們也會設置不一樣的算法種類和參數。第二個在實際運行方面我們云信有 這樣一個模塊，他可以實時監控當前設備的CPU和網絡狀況和網絡狀況，然后根據這些狀況來進行策略的動態調整，動態調整編碼和參數，軟硬編解碼，來實現無論什么時候用戶體驗的最優。如上就是視頻引擎的關鍵技術。
#3. 視頻引擎客戶案例
現在我們進入第三部分，視頻引擎的一些相關的客戶案例。
目前云信視頻引擎服務服務于全球1000家以上的企業。這里面比較有代表性的就是網易云音樂，網易云音樂的Look直播，網易云音樂的心遇和在線KTV，這些知名的app都用了云信的視頻引擎。
然后就是會議類圖像壓縮技術好不好，諸如網易會議，然后還有會議的通訊工具，網易popo，還有一些第三方的產品，都應用了視頻引擎。