1.本發(fā)明涉及人臉三維重建技術(shù)領(lǐng)域，具體為一種帶紋理的人臉三維網(wǎng)格模型獲取方法。
背景技術(shù)：
2.人臉三維重建技術(shù)是一種獲得真實(shí)人臉數(shù)字化三維模型的技術(shù)，在醫(yī)療美容、公共安全、虛擬形象交互等領(lǐng)域有著重要的應(yīng)用前景。相比傳統(tǒng)二維的人臉圖片，三維人臉數(shù)據(jù)同時(shí)提供了紋理色彩和三維結(jié)構(gòu)信息，可以直觀逼真地展示人臉外觀，更好地實(shí)現(xiàn)展示交互功能。利用增加的三維結(jié)構(gòu)信息還能增加人臉識(shí)別的準(zhǔn)確性，相比基于二維圖像的人臉識(shí)別可以在不同角度下完成識(shí)別，保障了人臉識(shí)別在公共安全領(lǐng)域的運(yùn)用。現(xiàn)有的人臉三維掃描裝置主要包含兩類，一類是通過手持方式對(duì)人臉實(shí)現(xiàn)多角度掃描，另一類是通過機(jī)械控制掃描設(shè)備環(huán)繞人臉進(jìn)行運(yùn)動(dòng)完成全臉掃描，這些掃描裝置的主要問題是數(shù)據(jù)采集時(shí)間過長，人臉晃動(dòng)以及表情變化造成不同時(shí)刻采集的數(shù)據(jù)存在偏差，最終影響人臉三維模型重建的精度以及降低紋理重建的效果。
3.色彩紋理是最直觀的感受對(duì)象，沒有豐富逼真的紋理細(xì)節(jié)，就難以讓消費(fèi)者產(chǎn)生深刻印象的體驗(yàn)感，要得到逼真的物體視覺除了準(zhǔn)確物體幾何信息，離不開高保真的紋理信息支持，因此紋理映射技術(shù)在三維重建的實(shí)際應(yīng)用中發(fā)揮著重要的作用。
4.傳統(tǒng)主流的紋理映射方法分為兩步：
5.第一步為網(wǎng)格的每個(gè)網(wǎng)格面片選擇一幅紋理圖像，將面片頂點(diǎn)映射到該幅圖像中，獲得頂點(diǎn)對(duì)應(yīng)紋理圖像的圖像坐標(biāo)；
6.第二步對(duì)紋理接縫進(jìn)行優(yōu)化，消除紋理接縫；
7.由于設(shè)備測(cè)量精度，點(diǎn)云拼接精度，紋理相機(jī)與深度相機(jī)標(biāo)定等問題使重建模型存在一定的偏差，不同紋理圖像投影到重建網(wǎng)格模型中不能完全對(duì)齊。當(dāng)相鄰兩個(gè)幾何面片采用不同的紋理圖像貼圖時(shí)不規(guī)則區(qū)域紋理提取與3d模型貼圖，就會(huì)在其公共邊上生成紋理接縫，即使紋理接縫優(yōu)化后依舊可能存在紋理錯(cuò)位。在現(xiàn)有解決方法中，基于馬爾可夫隨機(jī)場(chǎng)選擇紋理圖的方法得到不斷改進(jìn)，其方法的優(yōu)化模型有紋理圖像選擇能量項(xiàng)和接縫能量項(xiàng)，通過最小化能量減少接縫出現(xiàn)在紋理豐富區(qū)域來規(guī)避紋理錯(cuò)位帶來的較差觀感，但是馬爾可夫隨機(jī)場(chǎng)模型求解較為復(fù)雜，其結(jié)果魯棒性不足，不能有效規(guī)避紋理錯(cuò)位問題，為此提出一種帶紋理的人臉三維網(wǎng)格模型獲取方法。
技術(shù)實(shí)現(xiàn)要素：
8.(一)解決的技術(shù)問題
9.針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種帶紋理的人臉三維網(wǎng)格模型獲取方法，以解決上述背景技術(shù)中提出的問題。
10.(二)技術(shù)方案
11.為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種帶紋理的人臉三維網(wǎng)格模型獲
取方法，包括采集模塊、人臉三維網(wǎng)格模型生成模塊以及紋理映射模塊，其中：
12.采集模塊用于獲取人臉的深度圖和紋理圖；
13.人臉三維網(wǎng)格模型生成模塊是用于計(jì)算拼接深度圖和生成人臉三維網(wǎng)格模型，同時(shí)獲得網(wǎng)格模型與紋理圖的映射關(guān)系；
14.紋理映射模塊是用于選取紋理圖映射至人臉三維網(wǎng)格模型中，優(yōu)化紋理接縫，最終獲得帶紋理的人臉三維網(wǎng)格模型。
15.優(yōu)選的，人臉三維網(wǎng)格模型獲取方法包括以下獲取步驟：
16.s1、采集人臉的深度圖和紋理圖數(shù)據(jù)；
17.s2、計(jì)算生成人臉三維網(wǎng)格模型；
18.s3、確定人臉三維網(wǎng)格模型與紋理圖的映射關(guān)系；
19.s4、對(duì)正臉紋理圖進(jìn)行人臉五官區(qū)域識(shí)別，獲得五官區(qū)域掩膜；
20.s5、使用正臉五官區(qū)域掩膜引導(dǎo)人臉三維網(wǎng)格模型貼圖選擇，完成整個(gè)人臉模型的紋理映射,優(yōu)化接縫輸出結(jié)果。
21.優(yōu)選的，采集模塊包括獲取裝置，包括支架，所述支架頂部一側(cè)安裝有二號(hào)深度相機(jī)，所述支架頂部遠(yuǎn)離二號(hào)深度相機(jī)的一側(cè)設(shè)置有三號(hào)深度相機(jī)，所述支架位于二號(hào)深度相機(jī)和三號(hào)深度相機(jī)之間的頂部安裝有一號(hào)深度相機(jī)，所述支架位于一號(hào)深度相機(jī)的下方安裝有四號(hào)深度相機(jī)，所述二號(hào)深度相機(jī)、一號(hào)深度相機(jī)、三號(hào)深度相機(jī)以及四號(hào)深度相機(jī)采用主動(dòng)式投影或者被動(dòng)式匹配的重建方式。
22.優(yōu)選的，根據(jù)步驟s1中所提出的，人臉數(shù)據(jù)采集時(shí)，被測(cè)者兩眼間正對(duì)二號(hào)深度相機(jī)，多個(gè)深度相機(jī)同步采集多個(gè)方向的人臉深度數(shù)據(jù)和紋理圖(t1、 t2、t3、t4)，將數(shù)據(jù)采集時(shí)間縮短，減少人臉變化和抖動(dòng)影響，提高獲得的人臉三維點(diǎn)云與紋理圖映射的準(zhǔn)確性。
23.優(yōu)選的，根據(jù)步驟s2中所提出的，通過步驟s1的各個(gè)深度相機(jī)在其自身相機(jī)坐標(biāo)系(o
c1
、o
c2
、o
c3
、o
c4
)下獲得人臉各個(gè)方向局部三維點(diǎn)云(pc1、pc2、 pc3、pc4)，需要拼接成完整人臉三維點(diǎn)云pc，再生成人臉三維網(wǎng)格模型。
24.優(yōu)選的，根據(jù)步驟s3中所提出的，深度相機(jī)模塊中的紋理相機(jī)通過相機(jī)標(biāo)定得到其內(nèi)參數(shù)矩陣[k]和紋理相機(jī)坐標(biāo)系與深度相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移矩陣[r3|t3]。上步驟得到的人臉三維網(wǎng)格模型可以通過旋轉(zhuǎn)平移矩陣[r1|t1] 和[r2|t2]轉(zhuǎn)換至深度相機(jī)坐標(biāo)系下，然后再通過旋轉(zhuǎn)平移矩陣[r3|t3]轉(zhuǎn)換至紋理相機(jī)坐標(biāo)系。紋理相機(jī)坐標(biāo)系下人臉三維網(wǎng)格模型的頂點(diǎn)通過內(nèi)參數(shù)矩陣[k]投影至紋理圖中，獲得對(duì)應(yīng)紋理圖的圖像坐標(biāo)，確定所有紋理圖與人臉三維網(wǎng)格模型的映射關(guān)系。
[0025]
優(yōu)選的，根據(jù)步驟s4中所提出的，包括以下步驟：
[0026]
①
、首先獲取訓(xùn)練后用于識(shí)別人臉五官感興趣區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)模型，包括預(yù)采人臉正面圖像數(shù)據(jù)；
[0027]
②
、人工對(duì)所述臨人臉正面圖像中的五官區(qū)域進(jìn)行區(qū)分；
[0028]
③
、訓(xùn)練微調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型；
[0029]
④
、將步驟s1中采集的正臉紋理圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，識(shí)別人臉獲得五官區(qū)域掩膜。
[0030]
優(yōu)選的，根據(jù)步驟s5中所提出的，人臉三維網(wǎng)格模型由n個(gè)網(wǎng)格面片f
j (j∈n)組成，使用步驟s4獲得的掩膜引導(dǎo)人臉三維網(wǎng)格模型貼圖選擇，完成整個(gè)人臉模型的紋理映
射，并優(yōu)化紋理接縫。
[0031]
(三)有益效果
[0032]
與現(xiàn)有技術(shù)相比不規(guī)則區(qū)域紋理提取與3d模型貼圖，本發(fā)明提供了一種帶紋理的人臉三維網(wǎng)格模型獲取方法，具備以下有益效果：
[0033]
1、人臉三維采集系統(tǒng)通過利用多個(gè)深度相機(jī)模組同步采集深度圖和紋理圖數(shù)據(jù)，減少后續(xù)三維點(diǎn)云拼接和紋理映射的誤差。
[0034]
2、通過對(duì)采集的正臉紋理圖進(jìn)行人臉五官感興趣區(qū)域識(shí)別，得到人臉五官識(shí)別區(qū)域掩膜，掩膜在人臉三維網(wǎng)格模型紋理貼圖中為模型五官選擇正臉紋理圖進(jìn)行貼圖，避免人臉模型五官出現(xiàn)紋理接縫錯(cuò)位，同時(shí)正臉紋理圖對(duì)于人臉三維網(wǎng)格模型的五官有較好貼圖效果，提高紋理映射效果。
[0035]
3、在網(wǎng)格面片紋理圖選擇上，使用面片法向和面片映射至紋理圖的面積等權(quán)重，輔以神經(jīng)網(wǎng)絡(luò)的人臉五官識(shí)別區(qū)域的權(quán)重，計(jì)算量相對(duì)馬爾科夫隨機(jī)場(chǎng)等方法較少，魯棒性更高。
附圖說明
[0036]
圖1為本發(fā)明的裝置圖；
[0037]
圖2為本發(fā)明裝置的俯視結(jié)構(gòu)示意圖；
[0038]
圖3為本發(fā)明帶紋理的人臉三維網(wǎng)格模型獲取系統(tǒng)框圖；
[0039]
圖4為本發(fā)明獲取帶紋理的人臉三維網(wǎng)格模型流程圖。
[0040]
圖中：1、二號(hào)深度相機(jī)；2、一號(hào)深度相機(jī)；3、三號(hào)深度相機(jī)；4、四號(hào)深度相機(jī)；5、支架。
具體實(shí)施方式
[0041]
下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0042]
本發(fā)明提供一個(gè)技術(shù)方案，一種帶紋理的人臉三維網(wǎng)格模型獲取方法，一種帶紋理的人臉三維網(wǎng)格模型的獲取方法，如圖3和圖4所示，帶紋理的人臉三維網(wǎng)格模型獲取系統(tǒng)包括采集模塊、人臉三維網(wǎng)格模型生成模塊以及紋理映射模塊，其中：
[0043]
采集模塊用于獲取人臉的深度圖和紋理圖；
[0044]
人臉三維網(wǎng)格生成模型模塊是用于計(jì)算拼接深度圖和生成人臉三維網(wǎng)格模型，同時(shí)獲得網(wǎng)格模型與紋理圖的映射關(guān)系；
[0045]
紋理映射模塊是用于選取紋理圖映射至人臉三維網(wǎng)格模型中，優(yōu)化紋理接縫，最終獲得帶紋理的人臉三維網(wǎng)格模型。
[0046]
人臉三維網(wǎng)格模型獲取方法包括以下獲取步驟：
[0047]
s1、采集人臉的深度圖和紋理圖數(shù)據(jù)；
[0048]
s2、計(jì)算生成人臉三維網(wǎng)格模型；
[0049]
s3、確定人臉三維網(wǎng)格模型與紋理圖的映射關(guān)系；
[0050]
s4、對(duì)正臉紋理圖進(jìn)行人臉五官區(qū)域識(shí)別，獲得五官區(qū)域掩膜；
[0051]
s5、使用正臉五官區(qū)域掩膜引導(dǎo)人臉三維網(wǎng)格模型貼圖選擇，完成整個(gè)人臉模型的紋理映射,優(yōu)化接縫輸出結(jié)果。
[0052]
如圖1和圖2所示，采集模塊包括獲取裝置，包括支架5，支架5頂部一側(cè)安裝有二號(hào)深度相機(jī)1，支架5頂部遠(yuǎn)離二號(hào)深度相機(jī)1的一側(cè)設(shè)置有三號(hào)深度相機(jī)3，支架5位于二號(hào)深度相機(jī)1和三號(hào)深度相機(jī)3之間的頂部安裝有一號(hào)深度相機(jī)2，支架5位于一號(hào)深度相機(jī)2的下方安裝有四號(hào)深度相機(jī)4，二號(hào)深度相機(jī)1、一號(hào)深度相機(jī)2、三號(hào)深度相機(jī)3以及四號(hào)深度相機(jī)4采用主動(dòng)式投影或者被動(dòng)式匹配的重建方式。
[0053]
根據(jù)步驟s1中所提出的，人臉數(shù)據(jù)采集時(shí)，被測(cè)者兩眼間正對(duì)二號(hào)深度相機(jī)1，多個(gè)深度相機(jī)同步采集多個(gè)方向的人臉深度數(shù)據(jù)和紋理圖(t1、t2、t3、 t4)，將數(shù)據(jù)采集時(shí)間縮短，減少人臉變化和抖動(dòng)影響，提高獲得的人臉三維點(diǎn)云與紋理圖映射的準(zhǔn)確性。
[0054]
根據(jù)步驟s2中所提出的，通過步驟s1的各個(gè)深度相機(jī)在其自身相機(jī)坐標(biāo)系(o
c1
、o
c2
、o
c3
、o
c4
)下獲得人臉各個(gè)方向局部三維點(diǎn)云(pc1、pc2、pc3、pc4)，需要拼接成完整人臉三維點(diǎn)云pc，再生成人臉三維網(wǎng)格模型。
[0055]
根據(jù)步驟s3中所提出的，深度相機(jī)模塊中的紋理相機(jī)通過相機(jī)標(biāo)定得到其內(nèi)參數(shù)矩陣[k]和紋理相機(jī)坐標(biāo)系與深度相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移矩陣 [r3|t3]。上步驟得到的人臉三維網(wǎng)格模型可以通過旋轉(zhuǎn)平移矩陣[r1|t1]和 [r2|t2]轉(zhuǎn)換至深度相機(jī)坐標(biāo)系下，然后再通過旋轉(zhuǎn)平移矩陣[r3|t3]轉(zhuǎn)換至紋理相機(jī)坐標(biāo)系。紋理相機(jī)坐標(biāo)系下人臉三維網(wǎng)格模型的頂點(diǎn)通過內(nèi)參數(shù)矩陣[k]投影至紋理圖中，獲得對(duì)應(yīng)紋理圖的圖像坐標(biāo)，確定所有紋理圖與人臉三維網(wǎng)格模型的映射關(guān)系。
[0056]
根據(jù)步驟s4中所提出的，包括以下步驟：
[0057]
①
、首先獲取訓(xùn)練后用于識(shí)別人臉五官感興趣區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)模型，包括預(yù)采人臉正面圖像數(shù)據(jù)；
[0058]
②
、人工對(duì)所述臨人臉正面圖像中的五官區(qū)域進(jìn)行區(qū)分；
[0059]
③
、訓(xùn)練微調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型；
[0060]
④
、將步驟s1中采集的正臉紋理圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，識(shí)別人臉獲得五官區(qū)域掩膜。
[0061]
根據(jù)步驟s5中所提出的，人臉三維網(wǎng)格模型由n個(gè)網(wǎng)格面片fj(j∈n) 組成，使用步驟s4獲得的掩膜引導(dǎo)人臉三維網(wǎng)格模型貼圖選擇，完成整個(gè)人臉模型的紋理映射，并優(yōu)化紋理接縫。
[0062]
本裝置的工作原理：由多個(gè)深度相機(jī)組成二號(hào)深度相機(jī)1、一號(hào)深度相機(jī) 2、三號(hào)深度相機(jī)3以及四號(hào)深度相機(jī)4；深度相機(jī)采用主動(dòng)式投影或者被動(dòng)式匹配的重建方式，此外還設(shè)置有一個(gè)rgb彩色相機(jī)用于紋理圖采集，測(cè)量裝置按照對(duì)掃描人臉數(shù)據(jù)完整度的需求增添減少深度相機(jī)模組，其中需一個(gè)紋理采集相機(jī)位于測(cè)量裝置中間正向固定存在，如二號(hào)深度相機(jī)1，用于采集正臉紋理圖供后續(xù)的紋理映射方法使用。采集裝置的二號(hào)深度相機(jī)1、一號(hào)深度相機(jī)2、三號(hào)深度相機(jī)3以及四號(hào)深度相機(jī)4分別采集人臉正前、左側(cè)、右側(cè)、下方的深度信息和紋理圖，用于重建帶紋理的人臉三維網(wǎng)格模型。
[0063]
圖3為帶紋理的人臉三維網(wǎng)格模型獲取系統(tǒng)，系統(tǒng)裝置包括：包括采集模塊，用于獲取人臉的深度圖和紋理圖；人臉三維網(wǎng)格模型生成模塊，用于計(jì)算拼接深度圖生成人臉
三維網(wǎng)格模型和獲得網(wǎng)格模型與紋理圖的映射關(guān)系；紋理映射模塊，用于選取紋理圖映射至人臉三維網(wǎng)格模型中，優(yōu)化紋理接縫，最終獲得帶紋理的人臉三維網(wǎng)格模型。
[0064]
如圖4所示：
[0065]
s1、采集人臉的深度圖和紋理圖數(shù)據(jù)：人臉數(shù)據(jù)采集時(shí)，被測(cè)者兩眼間正對(duì)測(cè)量裝置正向固定的二號(hào)深度相機(jī)1，多個(gè)深度相機(jī)同步采集多個(gè)方向的人臉深度數(shù)據(jù)和紋理圖(t1、t2、t3、t4)，縮短了數(shù)據(jù)采集時(shí)間，減少人臉變化和抖動(dòng)影響，同時(shí)提高獲得的人臉三維點(diǎn)云與紋理圖映射的準(zhǔn)確性；
[0066]
s2、計(jì)算生成人臉三維網(wǎng)格模型：步驟s1是基于各個(gè)深度相機(jī)的自身相機(jī)坐標(biāo)系(o
c1
、o
c2
、o
c3
、o
c4
)獲得人臉各個(gè)方向局部三維點(diǎn)云(pc1、pc2、pc3、 pc4)，需要拼接成完整人臉三維點(diǎn)云pc，再生成人臉三維網(wǎng)格模型，如下：
[0067]
1)為了簡單高效拼接點(diǎn)云，確定一個(gè)世界坐標(biāo)系ow和各個(gè)相機(jī)坐標(biāo)系與世界坐標(biāo)系旋轉(zhuǎn)平移矩陣([r1|t1]1、[r1|t1]2、[r1|t1]3、[r1|t1]4)，各個(gè)局部三維點(diǎn)云通過與對(duì)應(yīng)旋轉(zhuǎn)平移矩陣叉乘轉(zhuǎn)換到同一個(gè)世界坐標(biāo)系ow中；
[0068]
2)上1)小節(jié)相當(dāng)于對(duì)各個(gè)局部點(diǎn)三維云完成粗拼接，此時(shí)還需要對(duì)各個(gè)局部三維點(diǎn)云進(jìn)行最近點(diǎn)迭代(icp)算法進(jìn)一步優(yōu)化局部三維點(diǎn)云的拼接準(zhǔn)確性。通過迭代優(yōu)化旋轉(zhuǎn)平移矩陣[r2|t2]，使得各個(gè)局部點(diǎn)云對(duì)應(yīng)點(diǎn)誤差e 最小化，迭代模型如下式子：
[0069][0070]
上式子中pti為對(duì)齊目標(biāo)點(diǎn)云，psi為對(duì)齊點(diǎn)云。當(dāng)誤差e最小時(shí)，旋轉(zhuǎn)平移矩陣[r2|t2]使對(duì)齊點(diǎn)云psi最優(yōu)拼接在對(duì)齊目標(biāo)點(diǎn)云pti上。正臉點(diǎn)云與其他部位點(diǎn)云均擁有較高重疊性，因此將正臉點(diǎn)云作為對(duì)齊目標(biāo)點(diǎn)云，將其他局部點(diǎn)云拼接在正臉點(diǎn)云上；
[0071]
3)通過上兩小節(jié)得到旋轉(zhuǎn)平移矩陣[r1|t1]和[r2|t2]將所有局部點(diǎn)云拼接成完整人臉點(diǎn)云pc，由于深度相機(jī)的深度測(cè)量誤差和點(diǎn)云拼接誤差不可能完全消除，拼接完成人臉點(diǎn)云剖面可能存在一定厚度，影響后續(xù)點(diǎn)云重采樣和生成網(wǎng)格的平滑度，通過移動(dòng)最小二乘法( lest )對(duì)人臉點(diǎn)云進(jìn)行曲面擬合，使人臉點(diǎn)云剖面呈薄曲面平滑分布，之后人臉點(diǎn)云進(jìn)一步濾波降噪和降采樣，生成并輸出人臉三維網(wǎng)格模型；
[0072]
s3、確定人臉三維網(wǎng)格模型與紋理圖的映射關(guān)系：一個(gè)深度相機(jī)模塊中的紋理相機(jī)通過相機(jī)標(biāo)定得到其內(nèi)參數(shù)矩陣[k]和紋理相機(jī)坐標(biāo)系與深度相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移矩陣[r3|t3]。上步驟得到的人臉三維網(wǎng)格模型通過旋轉(zhuǎn)平移矩陣[r1|t1]和[r2|t2]轉(zhuǎn)換至深度相機(jī)坐標(biāo)系下，然后再通過旋轉(zhuǎn)平移矩陣[r3|t3]轉(zhuǎn)換至紋理相機(jī)坐標(biāo)系。紋理相機(jī)坐標(biāo)系下人臉三維網(wǎng)格模型頂點(diǎn)的通過內(nèi)參數(shù)矩陣[k]投影至紋理圖中，獲得對(duì)應(yīng)紋理圖的圖像坐標(biāo)，確定所有紋理圖與人臉三維網(wǎng)格模型的映射關(guān)系。
[0073]
s4、對(duì)正臉紋理圖進(jìn)行人臉五官區(qū)域識(shí)別，獲得五官區(qū)域掩膜：卷積神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)技術(shù)的最新發(fā)展也是近幾年學(xué)術(shù)研究的最大熱門，它通過大量的數(shù)據(jù)訓(xùn)練具有很多隱含層的模型，實(shí)現(xiàn)復(fù)雜的學(xué)習(xí)任務(wù)。卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上，相比其他傳統(tǒng)方法能做到更加快速準(zhǔn)確識(shí)別不同圖像內(nèi)的物體，因此選擇卷積神經(jīng)網(wǎng)絡(luò)識(shí)別人臉五官區(qū)域制作掩膜使比較合適的選擇。首先獲取訓(xùn)練后用于識(shí)別人臉五官感興趣區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)模
型，包括預(yù)采人臉正面圖像數(shù)據(jù)；人工對(duì)所述臨人臉正面圖像中的五官區(qū)域進(jìn)行區(qū)分；訓(xùn)練微調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型，將s1采集的正臉紋理圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，識(shí)別人臉獲得五官區(qū)域掩膜。
[0074]
s5、使用正臉五官區(qū)域掩膜引導(dǎo)人臉三維網(wǎng)格模型貼圖選擇，完成整個(gè)人臉模型的紋理映射,優(yōu)化接縫輸出結(jié)果：人臉三維網(wǎng)格模型由n個(gè)網(wǎng)格面片 fj(j∈n)組成，而這一步驟主要是如何為人臉三維網(wǎng)格模型的每個(gè)網(wǎng)格面片選擇一幅紋理圖進(jìn)行映射。首先利用八叉樹判斷紋理圖ti是否可見網(wǎng)格面片 fj，不可見時(shí)紋理圖ti對(duì)于網(wǎng)格面片fj的權(quán)重q
ij
為0。然后根據(jù)先驗(yàn)經(jīng)驗(yàn)，當(dāng)網(wǎng)格面片法線與紋理圖視角方向夾角較大時(shí)，紋理圖可以近似平鋪映射于網(wǎng)格面片上，網(wǎng)格面片紋理貼圖效果有較好觀感。當(dāng)夾角較小時(shí)，紋理圖拉伸變形映射于網(wǎng)格面片上，網(wǎng)格面片紋理貼圖會(huì)有較大拉伸變形觀感，因此將網(wǎng)格面片法向量與紋理圖視角方向向量夾角作為紋理圖選擇權(quán)重。其次當(dāng)網(wǎng)格面片投影至紋理圖的面積較大時(shí)，幾何網(wǎng)格紋理貼圖有高的紋理信息，將網(wǎng)格面片投影面積也作為紋理圖選擇權(quán)重，此時(shí)可以用下式表達(dá)某一張紋理圖ti對(duì)于某個(gè)網(wǎng)格面片fj的權(quán)重；
[0075]qi，j
＝(a
ij
)+αb
ij
[0076]
上式中α為權(quán)重加權(quán)系數(shù)，a
ij
為網(wǎng)格面片fj法向量與紋理圖ti視角方向向量叉乘，b
ij
為網(wǎng)格面片fj投影在紋理圖ti面積大小，當(dāng)q
ij
越大，則認(rèn)為紋理圖ti對(duì)于網(wǎng)格面片fj貼圖效果越好；
[0077]
實(shí)際由于設(shè)備測(cè)量精度，點(diǎn)云拼接精度，紋理相機(jī)與深度相機(jī)標(biāo)定等問題使人臉三維網(wǎng)格模型存在一定的偏差，網(wǎng)格模型紋理圖選擇交界處存在紋理錯(cuò)位，特別人臉三維網(wǎng)格模型的五官區(qū)域如眼睛眉毛，這些區(qū)域重建誤差較其他部位大，因此紋理圖選擇交界的紋理錯(cuò)位明顯。正臉紋理圖像對(duì)人臉三維網(wǎng)格模型的五官有較好紋理貼圖效果，使用上步驟獲得的正臉五官區(qū)域掩膜附加選擇權(quán)重值。當(dāng)網(wǎng)格面片投影在正臉五官區(qū)域掩膜中，此時(shí)網(wǎng)格面片屬于五官區(qū)域，賦予正臉紋理圖選擇權(quán)重最大值，避免了紋理細(xì)節(jié)豐富的五官出現(xiàn)接縫，上述為網(wǎng)格面片選取紋理圖的操作計(jì)算量相對(duì)馬爾科夫隨機(jī)場(chǎng)較少，結(jié)果相對(duì)可控穩(wěn)定。
[0078]
根據(jù)上面方法為每個(gè)網(wǎng)格面片選擇權(quán)重最大的紋理圖，將網(wǎng)格面片的頂點(diǎn)映射到紋理圖中得到紋理圖坐標(biāo)，完成人臉三維網(wǎng)格模型的紋理映射，然后對(duì)網(wǎng)格紋理貼圖交界處做接縫優(yōu)化處理。首先對(duì)紋理接縫兩側(cè)網(wǎng)格的貼圖做色差最小化的全局勻光處理，然后對(duì)紋理接縫兩側(cè)網(wǎng)格的貼圖做泊松融合處理，進(jìn)一步優(yōu)化局部接縫。
[0079]
需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。
[0080]
盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同物限定。
技術(shù)特征：
1.一種帶紋理的人臉三維網(wǎng)格模型獲取方法，其特征在于：包括采集模塊、人臉三維網(wǎng)格模型生成模塊以及紋理映射模塊，其中：采集模塊是用于獲取人臉的深度圖和紋理圖；人臉三維網(wǎng)格模型生成模塊是用于計(jì)算拼接深度圖和生成人臉三維網(wǎng)格模型，同時(shí)獲得網(wǎng)格模型與紋理圖的映射關(guān)系；紋理映射模塊是用于選取紋理圖映射至人臉三維網(wǎng)格模型中，優(yōu)化紋理紋理接縫，最終獲得帶紋理的人臉三維網(wǎng)格模型。2.根據(jù)權(quán)利要求1所述的一種帶紋理的人臉三維網(wǎng)格模型獲取方法，其特征在于：人臉三維網(wǎng)格模型獲取方法包括以下獲取步驟：s1、采集人臉的深度圖和紋理圖數(shù)據(jù)；s2、計(jì)算生成人臉三維網(wǎng)格模型；s3、確定人臉三維網(wǎng)格模型與紋理圖的映射關(guān)系；s4、對(duì)正臉紋理圖進(jìn)行人臉五官區(qū)域識(shí)別，獲得五官區(qū)域掩膜；s5、使用正臉五官區(qū)域掩膜引導(dǎo)人臉三維網(wǎng)格模型貼圖選擇，完成整個(gè)人臉模型的紋理映射，優(yōu)化接縫輸出結(jié)果。3.根據(jù)權(quán)利要求1所述的一種帶紋理的人臉三維網(wǎng)格模型獲取方法，其特征在于：采集模塊包括獲取裝置，包括支架(5)，所述支架(5)頂部一側(cè)安裝有二號(hào)深度相機(jī)(1)，所述支架(5)頂部遠(yuǎn)離二號(hào)深度相機(jī)(1)的一側(cè)設(shè)置有三號(hào)深度相機(jī)(3)，所述支架(5)位于二號(hào)深度相機(jī)(1)和三號(hào)深度相機(jī)(3)之間的頂部安裝有一號(hào)深度相機(jī)(2)，所述支架(5)位于一號(hào)深度相機(jī)(2)的下方安裝有四號(hào)深度相機(jī)(4)，所述二號(hào)深度相機(jī)(1)、一號(hào)深度相機(jī)(2)、三號(hào)深度相機(jī)(3)以及四號(hào)深度相機(jī)(4)采用主動(dòng)式投影或者被動(dòng)式匹配的重建方式。4.根據(jù)權(quán)利要求2所述的一種帶紋理的人臉三維網(wǎng)格模型獲取方法，其特征在于：根據(jù)步驟s1中所提出的，人臉數(shù)據(jù)采集時(shí)，被測(cè)者兩眼間正對(duì)二號(hào)深度相機(jī)(1)，多個(gè)深度相機(jī)同步采集多個(gè)方向的人臉深度數(shù)據(jù)和紋理圖(t1、t2、t3、t4)，將數(shù)據(jù)采集時(shí)間縮短，減少人臉變化和抖動(dòng)影響，提高獲得的人臉三維點(diǎn)云與紋理圖映射的準(zhǔn)確性。5.根據(jù)權(quán)利要求2所述的一種帶紋理的人臉三維網(wǎng)格模型獲取方法，其特征在于：根據(jù)步驟s2中所提出的，通過步驟s1的各個(gè)深度相機(jī)在其自身相機(jī)坐標(biāo)系(o
c1
、o
c2
、o
c3
、o
c4
)下獲得人臉各個(gè)方向局部三維點(diǎn)云(pc1、pc2、pc3、pc4)，需要拼接成完整人臉三維點(diǎn)云pc，再生成人臉三維網(wǎng)格模型。6.根據(jù)權(quán)利要求2所述的一種帶紋理的人臉三維網(wǎng)格模型獲取方法，其特征在于：根據(jù)步驟s3中所提出的，深度相機(jī)模塊中的紋理相機(jī)通過相機(jī)標(biāo)定得到其內(nèi)參數(shù)矩陣[k]和紋理相機(jī)坐標(biāo)系與深度相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移矩陣[r3|t3]。上步驟得到的人臉三維網(wǎng)格模型可以通過旋轉(zhuǎn)平移矩陣[r1|t1]和[r2|t2]轉(zhuǎn)換至深度相機(jī)坐標(biāo)系下，然后再通過旋轉(zhuǎn)平移矩陣[r3|t3]轉(zhuǎn)換至紋理相機(jī)坐標(biāo)系。紋理相機(jī)坐標(biāo)系下人臉三維網(wǎng)格模型的頂點(diǎn)通過內(nèi)參數(shù)矩陣[k]投影至紋理圖中，獲得對(duì)應(yīng)紋理圖的圖像坐標(biāo)，確定所有紋理圖與人臉三維網(wǎng)格模型的映射關(guān)系。7.根據(jù)權(quán)利要求2所述的一種帶紋理的人臉三維網(wǎng)格模型獲取方法，其特征在于：根據(jù)步驟s4中所提出的，包括以下步驟：
①
、首先獲取訓(xùn)練后用于識(shí)別人臉五官感興趣區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)模型，包括預(yù)采人
臉正面圖像數(shù)據(jù)；
②
、人工對(duì)所述臨人臉正面圖像中的五官區(qū)域進(jìn)行區(qū)分；
③
、訓(xùn)練微調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型；
④
、將步驟s1中采集的正臉紋理圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，識(shí)別人臉獲得五官區(qū)域掩膜。8.根據(jù)權(quán)利要求2所述的一種帶紋理的人臉三維網(wǎng)格模型獲取方法，其特征在于：根據(jù)步驟s5中所提出的，人臉三維網(wǎng)格模型由n個(gè)網(wǎng)格面片f
j
(j∈n)組成，使用步驟s4獲得的掩膜引導(dǎo)人臉三維網(wǎng)格模型貼圖選擇，完成整個(gè)人臉模型的紋理映射，并優(yōu)化紋理接縫。
技術(shù)總結(jié)
本發(fā)明涉及人臉三維重建技術(shù)領(lǐng)域，且公開了一種帶紋理的人臉三維網(wǎng)格模型獲取方法，帶紋理的人臉三維網(wǎng)格模型獲取系統(tǒng)包括采集模塊、人臉三維網(wǎng)格模型生成模塊以及紋理映射模塊，采集模塊通過利用多個(gè)深度相機(jī)模組同步采集深度圖和紋理圖數(shù)據(jù)，加快采集速度，減少后續(xù)三維點(diǎn)云拼接和紋理映射的誤差。通過對(duì)采集的正臉紋理圖進(jìn)行人臉五官感興趣區(qū)域識(shí)別，得到人臉五官識(shí)別區(qū)域掩膜，掩膜在人臉三維網(wǎng)格模型紋理貼圖中為模型五官選擇正臉紋理圖進(jìn)行貼圖，避免人臉模型五官出現(xiàn)紋理接縫割裂不連續(xù)，同時(shí)正臉紋理圖對(duì)于人臉三維網(wǎng)格模型的五官有較好貼圖效果，提高紋理映射效果。提高紋理映射效果。提高紋理映射效果。
技術(shù)研發(fā)人員：江溢騰 曾祥軍 張佰春 呂廣志
受保護(hù)的技術(shù)使用者：深圳市菲森科技有限公司
技術(shù)研發(fā)日：2022.03.14
技術(shù)公布日：2022/6/7