摘 要: 采用基于二維圖像的三維重建對人臉特征進行提取。首先應用平行雙目視覺原理獲取人臉的二維圖像,然后對圖像進行預處理,消除圖像上的噪音點,增強圖像,以便提取特征點,對這些二維圖像上的特征點進行優化計算,最后得到整體人臉的三維特征點信息。
關鍵詞: 雙目視覺; 人臉特征點; 三維重建
身份識別與驗證是人類社會日常生活的基本活動之一,而作為生物特征識別技術的人臉識別具有巨大的潛在應用前景。但是,由于人臉檢測問題的復雜性,人臉識別一般只針對人臉2D圖像檢測領域內某個或某些特定的問題,而利用三維數據進行人臉識別,可以避免姿態、光照、表情等因素的影響,解決二維人臉識別所無法解決的問題,彌補二維人臉識別方法的不足。
獲取臉部的三維數據形成特定三維人臉模型是三維人臉識別的基礎,目前主要有兩種方法:
(1)基于激光掃描的三維數據獲取方法。激光掃描裝置獲取的數據精度高、速度快,可精確獲取物體空間細節,但是對計算機和處理設備的性能要求較高,價格昂貴。另外,激光束有可能會對人體產生一定的傷害。因此,該方法不宜應用到人臉識別領域。
(2)基于二維圖像的三維數據獲取技術。它是利用普通攝像機獲取的兩幅或多幅圖像來合成三維信息。這種方法硬件設備比較普通,但是要求處理算法有足夠高的魯棒性和實用性。現有的成果尚不成熟,多處于理論研究的探索階段,還沒有達到廣泛應用的水平。
1 平行雙目視覺原理
雙目立體視覺基于視差原理, 圖1所示為一種理想的平行雙目立體視覺模型,它由兩個完全相同的攝像機構成,攝像機焦距為f,兩個圖像平面位于一個平面上,兩個攝像機的光軸相互平行,且x軸重合,攝像機之間在x軸方向上的間距為基線距離B。空間特征點P分別在左、右攝像機上獲得了投影圖像,坐標分別為P1(X1,Y1,Z1)、P1(X2,Y2,Z2)。設置兩個攝像機在同一平面上,那么坐標P1(X1,Y1,Z1)、P1(X2,Y2,Z2)中Y1=Y2,Z1=Z2。根據相似三角形原理,可得:
由式(1)可得特征點P在攝像機坐標系下的三維坐標,其中f是相機的焦距。該方法基于雙目視覺原理,理論上可以得到人臉任意位置的3D圖像信息,但是由于圖像分辨率等原因,很難用這種方法從2D圖像中獲取準確的3D信息。如果對人臉進行多角度的2D圖像獲取,則對于人臉上同一點,由式(1)計算出的位置信息就會有多個。由于種種原因(圖像拍攝時的光照變化、人臉的角度不同、圖像傳輸中的噪音等),這些冗余的位置信息對于同一個空間點的位置肯定存在差異。
如圖2所示,鼻尖點的位置在側臉圖中很容易區分,而在正臉圖中區分就比較困難。在側臉圖中,人面部的顏色與背景顏色區別很大,反映在圖像的灰度值上,其灰度值的級別相差較大。而在正臉圖像中,鼻尖點只是面部的一個點,它的顏色與周圍的面部點顏色差別不大,甚至由于光照的因素,鼻尖點上面的位置點處顏色更亮一些。
所以,在三維情況下,臉部的各個特征位置,對于某一特定觀測角度,有最佳的觀測效果。而這個特定的觀測角度主要考慮兩點:臉部的幾何結構特征較突出以及有比較強烈的顏色對比度。例如,觀測鼻尖點的位置的最佳角度是側臉的位置,這是因為鼻子輪廓和背景顏色差別較大,容易選取;人臉部輪廓在正臉時就比較清楚,而在側臉時就不容易選取。
首先明確人臉有哪些特征部位,人臉圖像中比較明顯的特征位置像鼻尖點、眉毛內外側點、內外眼角點、鼻翼點、鼻下點、嘴角點、下巴點、臉部輪廓點等,如圖3所示。
不同的觀測角度,對同一點都會有選取,例如下巴最低點在正面圖與側面圖中都可以選取,但是很明顯側面圖的該點選取較為容易。如果以雙目3D視覺為基礎,采用一對相機照射人臉正面,而用另外一對相機照射人臉側面,這樣就會有兩組人臉面部特征點的3D坐標值。那么一些點的選取采用正面照的3D坐標就會比較接近實際值(例如臉部輪廓點、內衛眼角點、鼻翼點、嘴角點、眉毛的內外側點等);而另一些點的坐標值采取側面照得到的坐標值就會比較準確(例如鼻尖點、鼻下點、下巴最低點、嘴唇的上下點)。
選取的特征點越多,對于建立人臉的3D模型就會越豐富。同時,如果增加照射人臉的相機數目越多,獲得同一特征點的3D坐標信息就越多,對這些坐標進行優化計算,就會越接近實際值。
2 人臉特征點提取
積分投影法是根據圖像在某些方向上的投影分布特征來進行檢測的,這種方法在本質上是一種統計方法,主要有水平投影和垂直投影:
在式(2)中,(x,y)表示圖片像素所處的位置,I(x,y)表示該像素的灰度值,n表示一行所有的像素點數,可見水平投影就是將一行所有的像素點的灰度值進行累加后再顯示。式(3)中,(x,y)表示像素所處的位置,I(x,y)表示該像素的灰度值,m表示一行所有的像素點數,可見垂直投影就是將一行所有的像素點的灰度值進行累加。通過這種方法,可以將目標與背景區分,并且可以找到特征點的大致一個矩形區域。特征點還可以通過對圖像各個像素點灰度值的一階與二階微分處理來取得。特征點像素的灰度值與相鄰像素點的灰度值差別較大時,I(x,y)的一階與二階的梯度、微分拉普拉斯算子的值較大,取其變化較為明顯的點即為特征點。
綜合運用積分法與一階、二階微分法,可以得到人臉的特征點的位置信息。先對圖像直方圖做均衡化處理,使整個圖像對比度增強,圖像清晰;再對圖像進行二階微分,即為高斯型拉普拉斯算子(Laplacian of a Gaussian)處理得到的圖像邊緣,如圖4所示。可以看出面部有許多噪音點,為了更加精確地提出特征點的位置信息,對圖像進行濾波處理。
對圖片在頻域內進行處理,圖像中的噪音點屬于高頻信號,所以采用低通濾波在傅氏平面內把這些高頻信號濾除,并對圖像進行增強,如圖5所示。
3 實驗結果
實驗采用兩個數碼相機,按照雙目視覺的原理,兩個相機光軸平行放置,用于采集人的臉部圖像。為了拍攝人臉的不同角度,采用一個棋盤網格圖面作為拍攝參考,對不同角度下的特征點進行歸一化處理。實驗采取了5組人臉在不同角度的圖像,5組圖像又分為上下兩個,分別是兩個CCD相機對同一目標同時拍攝的圖像,如圖6所示。從圖6可以看出上下兩個圖像稍有差異。
圖7是對圖像進行處理后,通過平行目視覺原理得到的人臉面部特征點。
根據實際的人臉的特征信息(例如兩內眼角間的距離,兩嘴角間的距離),對獲取到的實驗點的三維位置坐標數據進行判斷,可知雙目視覺原理獲得的實驗數據基本符合實際值,這些特征值可以作為三維人臉識別技術的依據(三維形變模型等)。
參考文獻
[1] 張翠平,蘇光大.人臉識別技術綜述[J].中國圖象圖形學報,2002,7(11):7-16.
[2] 張欣,徐彥君,杜利民.彩色圖像中主要人臉特征位置的全自動標定[J].中國圖象圖形學報,2000,5(2):52-57.
[3] 周杰,盧春雨,張長永,等.人臉自動識別方法綜述[J].電子學報,2000(4):102-106.
[4] ZHAO W. Robust image based 3D face recongnition[D]. University of Maryland, College Park, 1999.
[5] 山世光,高文,陳熙霖.基于紋理分布和變形模板的面部特征提取[J].軟件學報, 2001,12(4):570-577.
[6] 焦峰,山世光,崔國勤,等.基于局部特征分析的人臉識別方法[J].計算機輔助設計與圖形學學報,2003,15(1):53-58.