基于深度圖像的三維人臉描述方法及裝置制造方法
【專利摘要】一種基于深度圖像的三維人臉描述裝置及其方法，該裝置包括：用于選取表情魯棒區(qū)域的選擇單元；用于存儲蓋博濾波器系數(shù)的第一存儲單元；利用蓋博濾波器系數(shù)對選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計算的蓋博響應(yīng)計算單元；用于存儲三維人臉數(shù)據(jù)的視覺詞典的第二存儲單元；以及獲得第一數(shù)據(jù)計算單元通過計算得到的每個像素獲得的蓋博響應(yīng)向量，并將其與視覺詞典進(jìn)行直方圖映射的映射算單元。本發(fā)明通過蓋博濾波提取三維人臉數(shù)據(jù)細(xì)節(jié)紋理，通過直方圖映射獲取三維人臉數(shù)據(jù)全局屬性，通過視覺詞典方式把細(xì)節(jié)紋理的描述性和直方圖的魯棒性結(jié)合起來，兼顧深度三維人臉數(shù)據(jù)細(xì)節(jié)紋理有效性和全局紋理魯棒性，有效提升三維人臉特征向量的描述能力。
【專利說明】基于深度圖像的三維人臉描述方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人臉識別【技術(shù)領(lǐng)域】，尤其是指基于深度圖像的三維人臉描述方法及裝置。
【背景技術(shù)】
[0002]三維人臉的特征描述是諸如三維人臉識別、三維人臉種族分類以及情感狀態(tài)分析等眾多應(yīng)用的基礎(chǔ)性工作。因此，在三維數(shù)據(jù)采集技術(shù)飛速發(fā)展以及三維數(shù)據(jù)的質(zhì)量和精度大大提升之后，很多研究者都將研究重點投入到該領(lǐng)域中。
[0003]其中，于2010年12月29日公開的2.6號中國發(fā)明專利申請?zhí)岢隽?/p>
采用三維彎曲不變量的相關(guān)特征用來進(jìn)行人臉特性描述的方法基于主動視覺獲取深度圖的三維人臉重建方法，該方法通過編碼三維人臉表面相鄰節(jié)點的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；對所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分，并運用K最近鄰分類方法對三維人臉進(jìn)行識別。但是由于提取變量相關(guān)特征時需要復(fù)雜的計算量，因此在效率上限制了該方法的進(jìn)一步應(yīng)用。
[0004]而2011年5月4日公開的2.4號中國發(fā)明專利申請則提出了一種全自動三維人臉檢測和姿勢糾正的方法，該方法通過對人臉三維曲面進(jìn)行多尺度的矩分析，提出了臉部區(qū)域特征來粗糙地檢測人臉曲面，及提出鼻尖區(qū)域特征來準(zhǔn)確地定位鼻尖的位置，然后進(jìn)一步精確地分割出完整的人臉曲面，根據(jù)人臉曲面的距離信息提出鼻根區(qū)域特征來檢測鼻根的位置后，建立了一個人臉坐標(biāo)系，并據(jù)此自動地進(jìn)行人臉姿勢的糾正應(yīng)用。該方法目的在于對三維人臉數(shù)據(jù)的姿態(tài)進(jìn)行估計，屬于三維人臉識別系統(tǒng)的數(shù)據(jù)預(yù)處理階段。
[0005]有效而魯棒的描述三維人臉數(shù)據(jù)是三維人臉領(lǐng)域中許多應(yīng)用的基礎(chǔ)性工作。因此，該領(lǐng)域的初始工作大部分是利用三維數(shù)據(jù)的信息:如曲率、深度等數(shù)據(jù)對人臉進(jìn)行描述，但是由于三維數(shù)據(jù)的采集中有很多數(shù)據(jù)的噪點，因此曲率等特征數(shù)據(jù)由于其本身對于噪音的敏感特性，使得其作為三維人臉的特征描述向量在識別結(jié)果上精度不高。在將三維數(shù)據(jù)映射到深度圖數(shù)據(jù)后，很多二維人臉的表象特征開始應(yīng)用到該領(lǐng)域，如主成分分析(PCA)以及蓋博(Gabor)濾波器特征；但是這些特征也有各自的缺點:(I)對于PCA特征，由于其隸屬于全局的表象特征，因此對于三維數(shù)據(jù)的細(xì)節(jié)紋理描述能力不足(2)對于蓋博濾波器特征，由于三維數(shù)據(jù)的噪音問題，導(dǎo)致其對于三維人臉數(shù)據(jù)的描述能力依賴于獲取的三維人臉數(shù)據(jù)的質(zhì)量。
【發(fā)明內(nèi)容】
[0006]本發(fā)明所要解決的技術(shù)問題在于，提供一種基于深度圖像的三維人臉描述裝置，以兼顧深度三維人臉數(shù)據(jù)細(xì)節(jié)紋理有效性以及全局紋理魯棒性。
[0007]本發(fā)明進(jìn)一步所要解決的技術(shù)問題在于，提供一種基于深度圖像的三維人臉描述方法，以兼顧深度三維人臉數(shù)據(jù)細(xì)節(jié)紋理有效性以及全局紋理魯棒性。[0008]為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案:一種基于深度圖像的三維人臉描述裝置，其包括:
用于選取原始三維人臉數(shù)據(jù)的表情魯棒區(qū)域的選擇單元；
用于存儲不同尺度和方向的蓋博濾波器系數(shù)的第一存儲單元；
利用不同尺度和方向的蓋博濾波器系數(shù)對選擇單元所選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計算的蓋博響應(yīng)計算單元；
用于存儲訓(xùn)練獲得的三維人臉數(shù)據(jù)的視覺詞典的第二存儲單元；以及獲得第一數(shù)據(jù)計算單元通過計算得到的每個像素獲得的蓋博響應(yīng)向量，并將其與從第二存儲單元中讀取到的視覺詞典進(jìn)行直方圖映射的映射算單元。
[0009]另一方面，本發(fā)明還提供一種基于深度圖像的三維人臉描述方法，包括如下步驟:
選擇步驟，由選擇單元選取三維人臉數(shù)據(jù)表情魯棒區(qū)域；
蓋博響應(yīng)計算步驟，第一數(shù)據(jù)計算單元利用預(yù)定義好并存儲于第一存儲單元中的不同尺度和方向的蓋博濾波器系數(shù)對選擇單元所選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計算；
直方圖映射步驟，由第二計算單元獲得第一數(shù)據(jù)計算單元通過計算得到的每個像素獲得的蓋博響應(yīng)向量，并將其與從第二存儲單元中讀取到的視覺詞典進(jìn)行直方圖映射，從而得到視覺詞典直方圖。
[0010]進(jìn)一步地，所述選擇步驟中，選擇單元對原始三維人臉數(shù)據(jù)的表情魯棒區(qū)域進(jìn)行截取，提取人臉到鼻子的局部有效區(qū)域，并直接過濾額頭、嘴唇以及嘴角區(qū)域。
[0011]進(jìn)一步地，所述蓋博響應(yīng)計算步驟中，所述第一數(shù)據(jù)計算單元基于深度三維人臉數(shù)據(jù)，提取其表象特征，并利用預(yù)定義好的蓋博濾波器系數(shù)，對三維人臉深度圖像進(jìn)行卷積運算，對每個深度圖像像素獲取得到其對應(yīng)的蓋博濾波響應(yīng)向量。
[0012]進(jìn)一步地，所述蓋博響應(yīng)計算步驟中，所述蓋博濾波器系數(shù)的定義如下:
【權(quán)利要求】
1.一種基于深度圖像的三維人臉描述裝置，其特征在于，其包括: 用于選取原始三維人臉數(shù)據(jù)的表情魯棒區(qū)域的選擇單元； 用于存儲不同尺度和方向的蓋博濾波器系數(shù)的第一存儲單元； 利用不同尺度和方向的蓋博濾波器系數(shù)對選擇單元所選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計算的蓋博響應(yīng)計算單元； 用于存儲訓(xùn)練獲得的三維人臉數(shù)據(jù)的視覺詞典的第二存儲單元；以及 獲得第一數(shù)據(jù)計算單元通過計算得到的每個像素獲得的蓋博響應(yīng)向量，并將其與從第二存儲單元中讀取到的視覺詞典進(jìn)行直方圖映射的映射算單元。
2.一種基于深度圖像的三維人臉描述方法，其特征在于，包括如下步驟: 選擇步驟，由選擇單元選取三維人臉數(shù)據(jù)表情魯棒區(qū)域； 蓋博響應(yīng)計算步驟基于主動視覺獲取深度圖的三維人臉重建方法，第一數(shù)據(jù)計算單元利用預(yù)定義好并存儲于第一存儲單元中的不同尺度和方向的蓋博濾波器系數(shù)對選擇單元所選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計算； 直方圖映射步驟，由第二計算單元獲得第一數(shù)據(jù)計算單元通過計算得到的每個像素獲得的蓋博響應(yīng)向量，并將其與從第二存儲單元中讀取到的視覺詞典進(jìn)行直方圖映射，從而得到視覺詞典直方圖。
3.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述選擇步驟中，選擇單元對原始三維人臉數(shù)據(jù)的表情魯棒區(qū)域進(jìn)行截取，提取人臉到鼻子的局部有效區(qū)域，并直接過濾額頭、嘴唇以及嘴角區(qū)域。
4.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述蓋博響應(yīng)計算步驟中，所述第一數(shù)據(jù)計算單元基于深度三維人臉數(shù)據(jù)，提取其表象特征，并利用預(yù)定義好的蓋博濾波器系數(shù)，對三維人臉深度圖像進(jìn)行卷積運算，對每個深度圖像像素獲取得到其對應(yīng)的蓋博濾波響應(yīng)向量。
5.如權(quán)利要求2或4所述的基于深度圖像的三維人臉描述方法，其特征在于，所述蓋博響應(yīng)計算步驟中，所述蓋博濾波器系數(shù)的定義如下:
6.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述方法還包括獲取視覺詞典步驟，利用訓(xùn)練集中的三維人臉圖像的蓋博響應(yīng)向量集合，通過聚類算法，以其聚類中心作為視覺詞匯，將所有的詞匯匯集在一起獲取視覺詞典。
7.如權(quán)利要求6所述的基于深度圖像的三維人臉描述方法，其特征在于，所述聚類算法為K均值算法，包括如下步驟: 步驟1，對于數(shù)據(jù)對象集，任意選取K個對象作為初始的類中心；步驟2，根據(jù)類中對象的平均值，將每個對象重新賦給最相似的類； 步驟3，更新類的平均值，即計算每個類中對象的平均值； 步驟4，跳回步驟2，循環(huán)進(jìn)行步驟2和步驟3，直至所得平均值不再發(fā)生變化即停止。
8.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述第二儲存單元中所儲存的蓋博響應(yīng)向量組是min的數(shù)據(jù)矩陣，其中，m為獲取的聚類中心個數(shù)，η為蓋博響應(yīng)向量的維數(shù)。
9.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述直方圖映射步驟中，通過計算每個像素蓋博響應(yīng)后的向量與其距離最近的視覺詞匯，構(gòu)建基于視覺詞典的直方圖描述，第二儲存單元中存儲的聚類中心為m個，則得到的對于三維人臉數(shù)據(jù)的直方圖描述向量也為m維。
10.如權(quán)利要求9所述的基于深度圖像的三維人臉描述方法，其特征在于，所述直方圖映射步驟的具體步驟如下: 將三維人臉深度圖像分割成一些局部紋理區(qū)域； 對每個蓋博濾波響應(yīng)向量，按照位置的不同將其映射到其對應(yīng)的視覺分詞典的詞匯中，并以此為基礎(chǔ)建立視覺詞典直方圖向量作為三維人臉的特征表達(dá)； 最近鄰分類器被用來作為最后的人臉識別，并以LI距離作為距離度量，所述LI距離的
定義為
【文檔編號】G06K9/
【公開日】2014年8月6日 申請日期:2014年4月30日 優(yōu)先權(quán)日:2014年4月30日
【發(fā)明者】夏春秋 申請人:深圳市唯特視科技有限公司