本發明涉及人臉識別技術領域，尤其是涉及一種基于灰度和深度信息的三維人臉重建方法。
背景技術：
3D人臉網格重建方法，可以用于罪犯監控，在不需要罪犯指紋或者身份信息的情況下進行人臉重構，還可以用于三維打印，另外還可以用于三維人臉建模、動畫制作等領域中，對各領域的影響重大。三維人臉識別相對于二維人臉識別，有著其對光照魯棒、受姿態以及表情等因素影響較小等優點，因此在三維數據采集技術飛速發展以及三維數據的質量和精度大大提升之后，很多學者都將他們的研究投入到該領域中。
人臉灰度圖像容易受到光照變化的影響，而人臉深度圖像容易受到數據采集精度以及表情變化等影響，這些因素在一定程度上影響了人臉識別系統的穩定性及準確性。因此多模態融合系統越來越受到人們的關注。多模態系統通過進行多模態數據的采集，可以利用每個模態數據的優點，并通過融合策略來克服單模態系統的某些內在弱點(如灰度圖像的光照，深度圖像的表情)，有效地提升了人臉識別系統的性能。
本發明通過融合灰度和深度信息獲得多模態系統通過進行二維灰度信息和三維深度信息的采集，利用采集信息點通過匹配局部3D模型重建臉部形狀。通過融合策略來克服單模態系統的某些內在弱點(如灰度圖像的光照，深度圖像的表情)，有效地提升了人臉識別系統的性能，使得人臉識別更加準確快捷。采用3D級聯回歸，動作變化中面中標志保持一致，通過選擇致密的3D點集，臉部被完全標記，避免標志的位置發生變化，解決了動作變化定位點不一致和自封閉的問題；計算花費大大減小。3D網格不含背景，通用性強，而且實時效果好。
技術實現要素：
針對人臉灰度圖像容易受到光照變化的影響，而人臉深度圖像容易受到數據采集精度以及表情變化等影響的問題，本發明的目的在于提供一種基于灰度和深度信息的三維人臉重建方法，通過融合灰度和深度信息獲得多模態系統，通過進行二維灰度信息和三維深度信息的采集，利用采集信息點通過匹配局部3D模型重建臉部形狀。
為解決上述問題，本發明提供一種基于灰度和深度信息的三維人臉重建方法，其主要內容包括：
(一)對人臉灰度信息進行識別；
(二)對人臉深度信息進行識別；
(三)多模態人臉識別
(四)通過3D模型進行匹配；
(五)對人臉進行3D重建；
其中，所述的對人臉灰度信息進行識別，包括如下步驟：
(1)特征區域定位，使用人眼檢測器獲取人眼區域，所述的人眼檢測器為層級分類器H，經如下算法得到：
給定訓練樣本集合S＝{(x1,y1),…,(xm,ym)}，弱空間分類器其中xi∈χ為樣本向量，yi＝±1為分類標簽，m為樣本總數，初始化樣本概率分布
對t＝1,…,T中的每個弱分類器作如下操作：
對樣本空間χ進行劃分，得到X1,X2,…,Xn；
其中ε為一小正常數；
計算歸一化因子，
在弱分類器空間中選擇一個，使得Z最小化
更新訓練樣本概率分布
其中Zt為歸一化因子，使得Dt+1為一個概率分布；
最終強分類器H為
(2)使用獲得的人眼區域位置進行配準，利用LBP算法處理人眼位置數據獲得LBP直方
圖特征，取值公式為
將該特征輸入灰度圖像分類器獲取灰度匹配分數。
其中，所述的對人臉深度信息進行識別，包括如下步驟：
(1)特征區域定位，判定人臉鼻尖區域位置；
(2)對于不同姿態的三維數據，得到配準的參考區域后，按照ICP算法進行數據的配準，配準完成后計算輸入數據與注冊庫中的三維人臉模型數據之間的歐式距離；
(3)按照深度信息進行深度圖像的獲取，利用濾波器對于映射后的深度圖像中的噪音點進行補償去噪，最后對表情魯棒區域進行選擇，得到最終的三維人臉深度圖像；
(4)提取三維深度圖像的視覺詞典直方圖特征向量，當測試人臉圖像輸入后，經過Gabor濾波后，將任一濾波向量都與其所在位置相對應的視覺分詞典中的所有基元詞匯比較，通過距離匹配的方式，把它映射到與之距離最為接近的基元上，提取出原始深度圖像的視覺詞典直方圖特征，利用該特征輸入深度圖像分類器獲取匹配分數。
其中，所述的多模態人臉識別，包括多模態融合系統包括多個數據源：如二維灰度圖像，三維深度圖像；
(1)對于二維灰度圖像，首先進行特征點檢測(人眼)，然后利用獲得的特征點位置進行配準，在灰度圖像配準后，利用LBP算法對該數據獲取LBP直方圖特征；
(2)對于三維深度數據，首先進行特征點檢測(鼻尖)并利用獲取的特征點進行配準，然后將配準后的三維空間數據映射為人臉深度圖像，利用視覺詞典算法對該數據獲取視覺詞典直方圖特征；
進一步地，該多模態系統利用特征層融合策略，因此在獲取各數據源特征后，將所有特征拼接在一起形成特征池，特征池中的每一個特征構建一個弱分類器，然后利用算法，在特征池中挑選出對于分類最為有效的特征，最后基于多模態特征層融合得到的特征，利用最近鄰分類器計算出匹配分數，以此實現多模態人臉識別。
其中，所述的通過3D模型進行匹配，包括如下步驟：
(1)迭代算法細化對應關系
之前的二維灰度信息和三維深度信息的采集，從二維形狀重建三維形狀，需要使重構誤差最小化
這里的P代表了矩陣在二維的投影，z是目標的二維形狀，迭代方法在2D特征點上注冊3D模型，建立了剛性(p＝{s，α，β，γ，t})和非剛性(r和s)的轉換；
頂點數量的增加對重建錯誤率的降低效果微弱，而且頂點數量增加影響回歸模型和匹配速度，頂點數量取較低值；迭代算法次數的增加對重建錯誤率的降低效果顯著，對模型尺寸的影響不大，所以迭代算法次數取較大值；
(2)通過矩陣進行矯正
假定在2D和3D特征點之間有語義對應，采用矩陣的形式來選擇正確的3D對應2D的特征點，這里的語義對應在建模階段已經建立，3D標志的二維投影標志通過級聯回歸獲得；
(3)約束可見標志
通過約束可見標志的過程，級聯回歸評估了標志的清晰度
ξ＝{j|vj＝1}表明標志指標的子集是可見的；
(4)二維測量
進入時間同步的二維測量(z(1)，...，z(C))，所有的C測量代表相同的三維人臉，但是從不同的角度，通過對所有測量的重建的限制，將上式進行擴展：
上標(k)代表kth次測量，能見度設置為ξ(k)，因為我們觀察的是相同的人臉但是是從不同角度，整體剛性(r)和部分非剛性(s)的測量方法都相同；
(5)確定剛性、非剛性參數
假定人臉的剛性結構變化很小(參數r)，只有表情會有變化(參數s)，為了解決這種情況，在時間域中進行解決
1)計算剛性變型參數：
т＝{z(t)|t＝1,…,T}代表時間測量的設置，rт代表從т計算出的剛性變型參數，這一步里的非剛性參數設置為0；
2)在任意時間幀計算剛性變型參數t∈[1,…,T]，
其中，所述的對人臉進行3D重建，包括在一個參數向量中
q:p(q)∝N(q；0,∧)
參數的優先原則遵循一個平均值為0、方差為Λ的正態分布，使用主成份分析法確定3維基向量的d部分，則：
分別對剛性和非剛性這兩部分進行建模，
其中3維基向量的d部分(θ＝[θ1；...；θM]∈R3M×d)描述剛性變形，3維基向量的e部分(ψ＝[ψ1；...；ψM]∈R3M×d)描述了非剛性變形。
進一步的，所述的特征區域定位，包括如下步驟：
(1)確定閾值，確定域平均負有效能量密度的閾值，定義為thr；
(2)利用深度信息選取待處理數據，利用數據的深度信息，提取在一定深度范圍內的人臉數據作為待處理數據；
(3)法向量的計算，計算由深度信息選取出的人臉數據的方向量信息；
(4)區域平均負有效能量密度的計算，按照區域平均負有效能量密度的定義，求出待處理數據中個連通域的平均負有效能量密度，選擇其中密度值最大的連通域；
(5)判定是否找到鼻尖區域，當前區域閾值大于預定義的thr時，該區域即為鼻尖區域，否則回到步驟(1)重新開始循環。
進一步地，所述的ICP算法，主要步驟如下：
(1)確定匹配數據集合對，從參考模板中的三維鼻尖數據選取參考點數據點集P；
(2)利用點對點之間的最近的距離來選擇輸入三維人臉中與參考數據相匹配的數據點集Q；
(3)計算剛性運動參數，計算旋轉矩陣R和平移向量t；當X行列式值為1時，R＝X；t＝P-R*Q；
(4)根據剛性變換后的數據集RQ+t和參考數據集P之間的誤差判斷三維數據集是否配準，配準之后通過輸入數據與注冊庫中的三維人臉模型數據之間的歐式距離
其中P，Q分別是待匹配的特征點集合，集合中含有N個特征點。
進一步地，所述的提取三維深度圖像的視覺詞典直方圖特征向量，包括如下步驟：
1)將三維人臉深度圖像分割成一些局部紋理區域；
2)對于每個GaBor濾波響應向量，按照位置的不同將其映射到其對應的視覺分詞典的詞匯中，并依此為基礎建立視覺詞典直方圖向量作為三維人臉的特診表達；
3)將灰度圖像的LBP直方圖特征和深度圖像的視覺詞典直方圖特征拼接起來構成特征池，利用特征選取算法，如，從已經獲取的特征池中選取其中對于人臉識別最為有效地特征組合，實現特征層的數據融合；
4)獲取人臉特征后，將最近鄰分類器用來作為最后的人臉識別，其中L1距離被選作為距離度量。
進一步地，所述的剛性部分，是從每個視頻中選擇中間幀，應用主成份分析法確定基向量(θ)和平均值提供了一個整體的線性子空間，描述了人臉形狀的變化。
進一步地，建立描述非剛性變形(ψ)的線性子空間目標是建立一個模型，由自主訓練并共享軟邊界的PCA模型集合組成，建立基于部分的模型，使頂點高度相關，形成密集的區域，由于這些區域將更好通過PCA壓縮，為了找到面部表情數據驅動分割，使用了數據集中選出的6000幀，數據集D∈R6000×3072由6000幀和1024三維頂點組成；把D分為三個子集Dx，Dy，Dz∈R6000×1024每個包含頂點對應的空間坐標，描述頂點之間的相關測量，通過Dx，Dy，Dz計算相關矩陣歸一化，然后平均成一個相關矩陣C；相同區域的頂點也應該在人臉表面互相接近，因此，我們利用計算了模型頂點間距離形成距離矩陣G歸一化到[0，1]范圍，這兩個矩陣整合成一個矩陣。
附圖說明
圖1是本發明一種基于灰度和深度信息的三維人臉重建方法的系統流程圖。
圖2是本發明一種基于灰度和深度信息的三維人臉重建方法的二維人臉人眼檢測示意圖。
圖3是本發明一種基于灰度和深度信息的三維人臉重建方法的二維人臉LBP特征示意圖。
圖4是本發明一種基于灰度和深度信息的三維人臉重建方法的二維人臉灰度表象特征提取示意圖。
圖5是本發明一種基于灰度和深度信息的三維人臉重建方法的三維人臉鼻尖定位示意圖。
圖6是本發明一種基于灰度和深度信息的三維人臉重建方法的三維人臉空間映射示意圖。
圖7是本發明一種基于灰度和深度信息的三維人臉重建方法的三維人臉深度表象特征提取示意圖。
圖8是本發明一種基于灰度和深度信息的三維人臉重建方法的多模態人臉識別的流程框圖。
圖9是本發明一種基于灰度和深度信息的三維人臉重建方法的多模態人臉識別的系統框圖。
圖10是本發明一種基于灰度和深度信息的三維人臉重建方法的通過3D模型進行匹配流程圖。
圖11是本發明一種基于灰度和深度信息的三維人臉重建方法的迭代次數和定點數量對重建錯誤率的關系曲線圖。
圖12是本發明一種基于灰度和深度信息的三維人臉重建方法的對人臉進行3D重建流程圖。
圖13是本發明一種基于灰度和深度信息的三維人臉重建方法的人臉重構圖。
具體實施方式
需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結合，下面結合附圖和具體實施例對本發明作進一步詳細說明。
圖1是本發明一種基于灰度和深度信息的三維人臉重建方法的系統流程圖，包括對人臉灰度信息進行識別；對人臉深度信息進行識別；多模態人臉識別；通過3D模型進行匹配；對人臉進行3D重建。
圖2是本發明一種基于灰度和深度信息的三維人臉重建方法的二維人臉人眼檢測示意圖。如圖2所示，通過人眼檢測器獲取人眼區域，該人眼檢測器為層級分類器，每一層都是一個強分類器(如)，每一層都會濾過一部分非人眼區域，最后獲得的圖像區域就是人眼區域。算法可總結如下：
給定訓練樣本集合S＝{(x1,y1),…,(xm,ym)}，弱空間分類器其中xi∈χ為樣本向量，yi＝±1為分類標簽，m為樣本總數，初始化樣本概率分布
對t＝1,…,T中的每個弱分類器作如下操作：
對樣本空間χ進行劃分，得到X1,X2,…,Xn；
其中ε為一小正常數；
計算歸一化因子，
在弱分類器空間中選擇一個，使得Z最小化
更新訓練樣本概率分布
其中Zt為歸一化因子，使得Dt+1為一個概率分布；
最終強分類器H為
圖3是本發明一種基于灰度和深度信息的三維人臉重建方法的二維人臉LBP特征示意圖。如圖3所示，使用獲得的人眼區域位置進行配準，利用LBP算法處理人眼位置數據獲得LBP直方圖特征，取值公式為
圖4是本發明二維人臉灰度表象特征提取示意圖。如圖4所示，輸入二維人臉數據，先通過人眼檢測提取關鍵點，然后根據人眼位置將該人臉圖像通過剛性變換調整為正向直立姿態。將通過配準通過的灰度圖提取出LBP直方圖特征。將該特征輸入灰度圖像分類器獲取灰度匹配分數。
圖5是本發明一種基于灰度和深度信息的三維人臉重建方法的三維人臉鼻尖定位示意圖。如圖5所示，對于三維深度數據，首先進行人臉鼻尖區域的檢測，具體通過如下步驟：
(1)確定閾值，確定域平均負有效能量密度的閾值，定義為thr；
(2)利用深度信息選取待處理數據，利用數據的深度信息，提取在一定深度范圍內的人臉數據作為待處理數據；
(3)法向量的計算，計算由深度信息選取出的人臉數據的方向量信息；
(4)區域平均負有效能量密度的計算，按照區域平均負有效能量密度的定義，求出待處理數據中個連通域的平均負有效能量密度，選擇其中密度值最大的連通域；
(5)判定是否找到鼻尖區域，當前區域閾值大于預定義的thr時，該區域即為鼻尖區域，否則回到步驟(1)重新開始循環。
圖6是本發明一種基于灰度和深度信息的三維人臉重建方法的三維人臉空間映射示意圖。如圖6所示，利用獲取的鼻尖區域進行配準，使用ICP算法進行數據的配準，步驟如下：
(1)確定匹配數據集合對，從參考模板中的三維鼻尖數據選取參考點數據點集P；
(2)利用點對點之間的最近的距離來選擇輸入三維人臉中與參考數據相匹配的數據點集Q；
(3)計算剛性運動參數，計算旋轉矩陣R和平移向量t；當X行列式值為1時，R＝X；t＝P-R*Q；
(4)根據剛性變換后的數據集RQ+t和參考數據集P之間的誤差判斷三維數據集是否配準，配準之后通過輸入數據與注冊庫中的三維人臉模型數據之間的歐式距離
其中P，Q分別是待匹配的特征點集合，集合中含有N個特征點。
圖7是本發明一種基于灰度和深度信息的三維人臉重建方法的三維人臉深度表象特征提取示意圖。如圖7所示，當測試人臉圖像輸入后，經過Gabor濾波后，將任一濾波向量都與其所在位置相對應的視覺分詞典中的所有基元詞匯比較，通過距離匹配的方式，把它映射到與之距離最為接近的基元上，提取出原始深度圖像的視覺詞典直方圖特征，流程如下：
1)將三維人臉深度圖像分割成一些局部紋理區域；
2)對于每個GaBor濾波響應向量，按照位置的不同將其映射到其對應的視覺分詞典的詞匯中，并依此為基礎建立視覺詞典直方圖向量作為三維人臉的特診表達；
3)將灰度圖像的LBP直方圖特征和深度圖像的視覺詞典直方圖特征拼接起來構成特征池，利用特征選取算法，如，從已經獲取的特征池中選取其中對于人臉識別最為有效地特征組合，實現特征層的數據融合；
4)獲取人臉特征后，將最近鄰分類器用來作為最后的人臉識別，其中L1距離被選作為距離度量。
圖8是本發明一種基于灰度和深度信息的三維人臉重建方法的多模態人臉識別的流程框圖。圖9是本發明一種基于灰度和深度信息的三維人臉重建方法的多模態人臉識別的系統框圖。如圖8、9所示，多模態融合系統包括多個數據源：如二維灰度圖像，三維深度圖像；
(1)對于二維灰度圖像，首先進行特征點檢測(人眼)，然后利用獲得的特征點位置進行配準，在灰度圖像配準后，利用LBP算法對該數據獲取LBP直方圖特征；
(2)對于三維深度數據，首先進行特征點檢測(鼻尖)并利用獲取的特征點進行配準，然后將配準后的三維空間數據映射為人臉深度圖像，利用視覺詞典算法對該數據獲取視覺詞典直方圖特征；
該多模態系統利用特征層融合策略，因此在獲取各數據源特征后，將所有特征拼接在一起形成特征池，特征池中的每一個特征構建一個弱分類器，然后利用算法，在特征池中挑選出對于分類最為有效的特征，最后基于多模態特征層融合得到的特征，利用最近鄰分類器計算出匹配分數基于主動視覺獲取深度圖的三維人臉重建方法，以此實現多模態人臉識別。
圖10是本發明一種基于灰度和深度信息的三維人臉重建方法的通過3D模型進行匹配流程圖，主要步驟為：
(1)迭代算法細化對應關系
之前的二維灰度信息和三維深度信息的采集，從二維形狀重建三維形狀，需要使重構誤差最小化
這里的P代表了矩陣在二維的投影，z是目標的二維形狀，迭代方法在2D特征點上注冊3D模型，建立了剛性(p＝{s，α，β，γ，t})和非剛性(r和s)的轉換；
(2)通過矩陣進行矯正
假定在2D和3D特征點之間有語義對應，采用矩陣的形式來選擇正確的3D對應2D的特征點，這里的語義對應在建模階段已經建立，3D標志的二維投影標志通過級聯回歸獲得；
(3)約束可見標志
通過約束可見標志的過程，級聯回歸評估了標志的清晰度
ξ＝{j|vj＝1}表明標志指標的子集是可見的；
(4)二維測量
進入時間同步的二維測量(z(1)，...，z(C))，所有的C測量代表相同的三維人臉，但是從不同的角度，通過對所有測量的重建的限制，將上式進行擴展：
上標(k)代表kth次測量，能見度設置為ξ(k)，因為我們觀察的是相同的人臉但是是從不同角度，整體剛性(r)和部分非剛性(s)的測量方法都相同；
(5)確定剛性、非剛性參數
假定人臉的剛性結構變化很小(參數r)，只有表情會有變化(參數s)，為了解決這種情況，在時間域中進行解決
1)計算剛性變型參數：
т＝{z(t)|t＝1,…,T}代表時間測量的設置，rт代表從т計算出的剛性變型參數，這一步里的非剛性參數設置為0；
2)在任意時間幀計算剛性變型參數t∈[1,…,T]，
圖11是本發明一種基于灰度和深度信息的三維人臉重建方法的迭代次數和定點數量對重建錯誤率的關系曲線圖。可以看出，頂點數量的增加對重建錯誤率的降低效果微弱，而且頂點數量增加影響回歸模型和匹配速度，頂點數量取較低值；迭代算法次數的增加對對重建錯誤率的降低效果顯著，對模型尺寸的影響不大，所以迭代算法次數取較大值。使用單目照相機圖像時，對應公式有多個解，避免產生3D幻覺，在這里同時使用多個圖像幀。
圖12是本發明一種基于灰度和深度信息的三維人臉重建方法的對人臉進行3D重建流程圖。在一個參數向量中
q:p(q)∝N(q；0,∧)
參數的優先原則遵循一個平均值為0、方差為Λ的正態分布，使用主成份分析法確定3維基向量的d部分，則：
分別對剛性和非剛性這兩部分進行建模，
其中3維基向量的d部分(θ＝[θ1；...；θM]∈R3M×d)描述剛性變形，3維基向量的e部分(ψ＝[ψ1；...；ψM]∈R3M×d)描述了非剛性變形。
進一步地，建立剛性部分，我們從每個視頻中選擇中間幀，應用主成份分析法確定基向量(θ)和平均值提供了一個整體的線性子空間，描述了人臉形狀的變化；
進一步地，建立描述非剛性變形(ψ)的線性子空間目標是建立一個模型，由自主訓練并共享軟邊界的PCA模型集合組成，建立基于部分的模型，使頂點高度相關，形成密集的區域，由于這些區域將更好通過PCA壓縮，為了找到面部表情數據驅動分割，使用了數據集中選出的6000幀，數據集D∈R6000×3072由6000幀和1024三維頂點組成；把D分為三個子集Dx，Dy，Dz∈R6000×1024每個包含頂點對應的空間坐標，描述頂點之間的相關測量，通過Dx，Dy，Dz計算相關矩陣歸一化，然后平均成一個相關矩陣C；相同區域的頂點也應該在人臉表面互相接近，因此，我們利用計算了模型頂點間距離形成距離矩陣G歸一化到[0基于主動視覺獲取深度圖的三維人臉重建方法，1]范圍，這兩個矩陣整合成一個矩陣。
圖13是本發明一種基于灰度和深度信息的三維人臉重建方法的人臉重構圖。可以看出，采用多幀視頻圖像，獲得3D網格頂點，3D點集將臉部完全覆蓋，動作變化定位點保持一致，并且成功完成人臉重建。
對于本領域技術人員，本發明不限制于上述實施例的細節，在不背離本發明的精神和范圍的情況下，能夠以其他具體形式實現本發明。此外，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍，這些改進和變型也應視為本發明的保護范圍。因此，所附權利要求意欲解釋為包括優選實施例以及落入本發明范圍的所有變更和修改。