一些經驗記錄：
經過我的實踐證明，不管人臉庫多大，都不要用svm或者knn去分類，相似度搜索是保證準確率的前提（某群大佬如是說）
一、人臉識別技術基本認識1、文獻綜述與基本認識
本節來源于：人臉檢測與深度學習
關于人臉檢測算法的文獻 總結：
商用算法總結：
列舉出共十七項商用算法，百度IDL提出第三版（加粗藍色）是性能最優算法。表中有十項是基于深度學習方法的人臉檢測算法（加底紋），這些算法普遍比傳統算法提高了十幾個百分點，在誤檢數限制為10的情況下（基本沒有誤檢），準確率仍能達到75%-80%，甚至有88.43%之高。在上述兩表中提到的文獻算法和商用算法只是為了說明深度學習方法的優勢，然而相比于人臉比對評測集中許多公司刷到的99.00%+來說，FDDB人臉檢測評測集還遠未達到頂點（目前最高97.31%），雖然只有僅僅兩個百分點左右的差距，如果用比較相似的額外數據作訓練集，完全能夠刷出更高的分數，但是對于算法研究和實際應用卻是極難突破的，因為實際遇到的情況遠比FDDB測試集上的復雜多變，隨著深度學習和機器視覺技術的發展，我們可以用更好的策略、更優的特征學習、更深的網絡將非約束情況下的人臉檢測性能逐步提高。
專利情況
.
2、人臉檢測過程
要實現這個過程，我們需要完成下面幾個關鍵技術的分析：
（1）人臉檢測：檢測到圖像中的人臉區域，快速定位。
（2）人臉識別：識別人的身份。
（3）人臉跟蹤：定位并跟蹤視頻中的人臉。
（4）姿態估計：得到人臉方向和眼睛注視位置。
（5）表情識別：識別人的面部表情。
檢測人臉相對應的參數有：檢測參數：年齡，胡須，表情，性別，眼鏡，人種
參考了 趙麗紅《人臉檢測方法綜述》
來源于：
.
**公眾號“素質云筆記”定期更新博客內容：**![這里寫圖片描述]()二、人臉識別難點與傳統方法介紹
極市平臺：
1、人臉識別出現的問題
? 圖像質量
人臉識別系統的主要要求是期望高質量的人臉圖像，而質量好的圖像則在期望條件下被采集。圖像質量對于提取圖像特征很重要，因此，即使是最好的識別算法也會受圖像質量下降的影響；
? 照明問題
同一張臉因照明變化而出現不同，照明可以徹底改變物體的外觀；
? 姿勢變化
從正面獲取，姿勢變化會產生許多照片，姿態變化難以準確識別人臉；
? 面部形狀/紋理隨著時間推移的變化
有可能隨著時間的推移，臉的形狀和紋理可能會發生變化；
? 相機與人臉的距離
如果圖像是從遠處拍攝的，有時從較長的距離捕獲的人臉將會遭遇質量低劣和噪音的影響；
? 遮擋
用戶臉部可能會遮擋，被其他人或物體（如眼鏡等）遮擋，在這種情況下很難識別這些采集的臉。
人臉尺度多變、數量冗大、姿勢多樣包括俯拍人臉、戴帽子口罩等的遮擋、表情夸張、化妝偽裝、光照條件惡劣、分辨率低甚至連肉眼都較難區分等
2、人臉檢測傳統方法介紹：
人臉檢測算法，是基于積分圖、級聯檢測器和算法的方法，該方法能夠檢測出正面人臉且檢測速度快。其核心思想是自動從多個弱分類器的空間中挑選出若干個分類器，構成一個分類能力很強的強分類器。
缺點：而在復雜背景中，人臉檢測算法容易受到復雜環境的影響，導致檢測結果并不穩定，極易將類似人臉區域誤檢為人臉，誤檢率較高。
基于特征的方法實質就是利用人臉的等先驗知識導出的規則進行人臉檢測。
①邊緣和形狀特征：人臉及人臉器官具有典型的邊緣和形狀特征，如人臉輪廓、眼瞼輪廓、虹膜輪廓、嘴唇輪廓等都可以近似為常見的幾何單元；
②紋理特征：人臉具有特定的紋理特征，紋理是在圖上表現為灰度或顏色分布的某種規律性，這種規律性在不同類別的紋理中有其不同特點；
③顏色特征：人臉的皮膚顏色是人臉表面最為顯著的特征之一，目前主要有RGB，HSV，YCbCr，YIQ，HIS等彩色空間模型被用來表示人臉的膚色，從而進行基于顏色信息的人臉檢測方法的研究。
基于模板匹配的方法的思路就是通過計算人臉模板和待檢測圖像之間的相關性來實現人臉檢測功能的
基于統計理論的方法是指利用統計分析與機器學習的方法分別尋找人臉與非人臉樣本特征，利用這些特征構建分類，使用分類進行人臉檢測。它主要包括神經網絡方法，支持向量機方法和隱馬爾可夫模型方法。基于統計理論的方法是通過樣本學習而不是根據人們的直觀印象得到的表象規律，因此可以減小由于人眼觀測不完整和不精確帶來的錯誤而不得不擴大檢測的范圍，但是這種方法需要大量的統計特性，樣本訓練費時費力。
以上也都是通過快速閱讀得到的一些結論，大部分都是直接引用文章作者的語句。其中在這些方法中，都有很多改進，比如PCA+，HMM等。
現在流行了DL架構，打破了人類的極限，又將檢測，識別，跟蹤等技術上升到另一個高度。
模型有：RCNN、RINN、PCA & ANN、 of 、 (MLP)
可參考論文：《 in Face 》
.
延伸一：的
是FAIR開發的一套人臉識別系統，主要應用卷積神經網絡來提取人臉特征完成識別?，F在用戶每天上傳的圖片數量達到了8億張，擁有大量的數據供機器訓練與學習。
此外，Yann LeCun還提到了一項FAIR開發的，用于檢測、分割、識別單張圖像中每個物體的技術，比如在一盤菜里檢測、分割、并識別出西蘭花來、又或是在一堆羊群里分割出每只羊報錯己阻擊應用程序對圖像，其核心流程為以下三步
中使用了一種新型的對象實例分割（ ）框架：Mask R-CNN。它是 R-CNN的擴展形式，能夠有效地檢測圖像中的目標，同時還能為每個實例生成一個高質量的分割掩膜（ Mask）。
.
延伸二：用Dlib 人臉識別實踐
參考：40行代碼的人臉識別實踐
人臉檢測解決的問題是確定一張圖上有木有人臉，而人臉識別解決的問題是這個臉是誰的。可以說人臉檢測是是人識別的前期工作。今天我們要做的是人臉識別。
Dlib里面有人臉檢測器，有訓練好的人臉關鍵點檢測器，也有訓練好的人臉識別模型。今天我們主要目的是實現，而不是深究原理。
girl-face-rec.py是我們的腳本。.dat是已經訓練好的人臉關鍵點檢測器。.dat是訓練好的人臉識別模型。是何凱明在微軟的時候提出的深度殘差網絡，獲得了 2015 冠軍，通過讓網絡對殘差進行學習，在深度和精度上做到了比CNN 更加強大。
.
延伸三：用檢測人臉
參考：用10行代碼自己寫個人臉識別程序
界面：
在機器深度學習領域，針對識別不同物體都有不同的,比如有的來識別洗車，還有識別飛機的，有來識別照片中的笑容，眼睛等等。而我們這個例子是需要去做人臉識別，因此需要一個面部識別的。
物體識別的原理
一般來說報錯己阻擊應用程序對圖像，比如想要機器學習著去識別“人臉”，就會使用大量的樣本圖片來事先培訓，這些圖片分為兩大類，和的，也就是分為包“含有人臉”的圖片和“不包含人臉”的圖片，這樣當使用程序去一張一張的分析這些圖片，然后分析判斷并對這些圖片“分類” (),即合格的圖片與不合格的圖片，這也就其為什么叫做 ， 這樣學習過程中積累的"知識"，比如一些判斷時的到底臨界值多少才能判斷是還是什么的，都會存儲在一個個XML文件中，這樣使用這些前人經驗（這里我們使用了 哈爾 分類器）來對新的圖片進行‘專家判斷’分析，是否是人臉或者不是人臉。
這里的 是 層級分類器 的意思。為什么要 分層 呢？剛才提到在進行機器分析照片時，其實是對整個圖片從上到下，從左到右，一個像素一個像素的分析，這些分析又會涉及很多的 特征分析 ，比如對于人臉分析就包含識別眼睛，嘴巴等等，一般為了提高分析的準確度都需要有成千上萬個特征，這樣對于每個像素要進行成千上萬的分析，對于整個圖片都是百萬甚至千萬像素，這樣總體的計算量會是個天文數字。但是，科學家很聰明，就想到分級的理念，即把這些特征分層，這樣分層次去驗證圖片，如果前面層次的特征沒有通過，對于這個圖片就不用判斷后面的特征了。這有點像是系統架構中的 FF (Fail Fast),這樣就提高了處理的速度與效率。
import cv2,sys
faceClassifier=cv2.CascadeClassifier('haarcascade_frontalface_default.xml') # the HAAR cascade file, which contains the machine learned data for face detection
objImage=cv2.imread(sys.argv[1]) # use cv2 to load image file
cvtImage=cv2.cvtColor(objImage,cv2.COLOR_BGR2GRAY) # convert the image to gray scale
foundFaces=faceClassifier.detectMultiScale(cvtImage,scaleFactor=1.3,minNeighbors=9,minSize=(50,50),flags = cv2.cv.CV_HAAR_SCALE_IMAGE) # to detect faces
print(" There are {} faces in the input image".format(len(foundFaces)))
for (x,y,w,h) in foundFaces:# to iterate each faces founded
cv2.rectangle(objImage,(x,y),(x+w,y+h),(0,0,255),2)
cv2.imshow("Facial Recognition Result, click anykey of keyboard to exit", objImage) #show the image
cv2.waitKey(0)
延伸四:自編碼器進行人臉數據降維
參考實驗樓實驗：自編碼器進行人臉數據降維
雖然目前深度學習取得了非常不錯的成果，但是由于網絡結構復雜，訓練非常耗時。而且目前要進行深度學習的分類訓練需要大量的帶標記數據，對這些數據進行標記是非常耗時耗人力的。因此我們可用無監督學習利用無標記數據提取特征，并且利用無標記數據基于無監督學習對數據進行降維后，結合有標記數據基于有監督學習進行分類訓練，實現人臉識別，圖像分類等任務。
神經網絡由兩部分組成，第一部分為自編碼器訓練完畢后的編碼部分，第二部分為有監督訓練單層網絡，在基于無監督學習的自編碼器實現中我們已經詳細地介紹過自編碼器的原理，這里我們將運用其作為對人臉進行數據降維,再結合有監督學習結合有標記數據進行分類訓練。
自編碼器結構：
.
延伸五：利用的
import cv2
face_patterns = cv2.CascadeClassifier('/usr/local/opt/opencv3/share/OpenCV/haarcascades/haarcascade_frontalface_default.xml')
sample_image = cv2.imread('/Users/abel/201612.jpg')
faces = face_patterns.detectMultiScale(sample_image,scaleFactor=1.1,minNeighbors=5,minSize=(100, 100))
for (x, y, w, h) in faces:
cv2.rectangle(sample_image, (x, y), (x+w, y+h), (0, 255, 0), 2)
cv2.imwrite('/Users/abel/201612_detected.png', sample_image);
開源是偉大的，使我們視野更開闊，而且不用重復造輪子。這里沒有用PIL，再結合特定算法，而是直接使用了()。是一個基于BSD許可發行的跨平臺計算機視覺庫，可以運行在Linux、和Mac OS操作系統上，輕量而且高效，用C／C++編寫，同時提供了、Ruby、等接口，實現了圖像處理和計算機視覺方面的很多通用算法。
是中做人臉檢測時候的一個級聯分類器，該類中封裝的是目標檢測機制即滑動窗口機制+級聯分類器的方式。數據結構包括Data和兩個主要部分。Data中存儲的是從訓練獲得的xml文件中載入的分類器數據；而中是關于特征的載入、存儲和計算。這里采用的訓練文件是中默認提供的.xml。至于Haar，LBP的具體原理，可以參考的相關文檔，簡單地，可以理解為人臉的特征數據。
人臉識別系統一般分為：人臉圖像采集、人臉圖像預處理、人臉圖像特征提取以及匹配與識別。 簡化起見，之間讀入圖片，這是一張去年中生代北京閉門會的集體照。
調用 中的調函數進行多尺度檢測，多尺度檢測中會調用單尺度的方法。 參數說明：
是 圖像的縮放因子
為每一個級聯矩形應該保留的鄰近個數，可以理解為一個人周邊有幾個人臉
是檢測窗口的大小
這些參數都是可以針對圖片進行調整的，處理結果返回一個人臉的矩形對象列表。
循環讀取人臉的矩形對象列表，獲得人臉矩形的坐標和寬高， 然后在原圖片中畫出該矩形框，調用的是的 方法，其中矩形框的顏色等是可調整的。
萬事具備了，調用，將檢測后的結果保存到指定的位置。
.
延伸六：高效處理框架(人臉檢測識別/關鍵幀/圖片搜索等): Video at Scale
地址：
視頻中人臉識別、高效，而且開源
.
延伸七：
項目地址：/
技術介紹
人臉識別技術
face_recognition
The world's simplest facial recognition api for Python and the command line
ageitgey/face_recognition
手機推送技術
jpush-api-python-client
JPush's officially supported Python client library for accessing JPush APIs.
jpush/jpush-api-python-client
依賴安裝
pip install face_recognition
pip install jpush
python bosscoming.py
體驗人臉識別部分命令：
python bosswatching.py
打開電腦上攝像頭，開始捕捉畫面。然后調整角度，對準需要觀察的位置。
.
延伸八：微動作模式（MAP）表達學習
來源文章
面部動作編碼（FACS）理論的關鍵成分是一個觀察到的表情可以被分解成若干個局部外觀的變化。為了學習高層表情具體特征，應該先編碼這些后續使用的局部變化?？紤]到AU的局部性，我們從所有的訓練表情圖像中密集采樣大量的小塊（即MAP原型），去共同表達由面部表情引起的所有局部變化。
提出了自動學習：
（1）可提供信息的局部外觀變化；
（2）優化方法去結合局部變化；
（3）最后表情識別的高層表達。
所提出的AUDN由三個連續的模塊組成，主要為微動作模式（MAP）表達學習、感受野構造和group-wise子網絡學習。實驗最后選擇在CK+、MNI和SFEW三個表情數據庫進行，學習的特征通過采用線性分類器，在所有數據庫中都到達了優異的結果且驗證了AUDN的有效性。
.
延伸九：
基本數據庫：
主要根據四個面部表情數據庫（CK+，JAFFE，KDEF和Pain PICS）建立了一個面部表情數據庫含有七個基本情緒狀態和2062個不平衡樣本。
模型
深度由四個卷積層和最大池化層去特征提取，全連接的高層特征層和輸出層預測識別類，具體如圖1所示。
每一層的特征數量在減少，最后將高層特征層固定在120個特征，其可表達豐富的人臉信息。最后一個輸出層全連接的高層特征預測1580個識別類。
.
延伸十：基于mtcnn和的實時人臉檢測與識別系統開發
來源知乎
文章的主要內容為：
是谷歌研發的人臉識別系統，該系統是基于百萬級人臉數據訓練的深度卷積神經網絡，可以將人臉圖像（映射）成128維度的特征向量。以該向量為特征，采用knn或者svm等機器學習方法實現人臉識別。
對人臉進行后，得到128維度的特征向量 。
其中的（with r1.0）：