1引言
行人檢測可定義為判斷輸入圖片或視頻幀是否包含行人,如果有將其檢測出來,并輸出 box 級別的結果。由于行人兼具剛性和柔性物體的特性 ,外觀易受穿著、尺度、遮擋、姿態和視角等影響,使得行人檢測成為計算機視覺領域中一個既具有研究價值同時又極具挑戰性的熱門課題。
行人檢測系統的研究起始于二十世紀九十年代中期,是目標檢測的一種。從最開始到2002 年,研究者們借鑒、引入了一些圖像處理、模式識別領域的成熟方法,側重研究了行人的可用特征、簡單分類算法。自2005 年以來,行人檢測技術的訓練庫趨于大規模化、檢測精度趨于實用化、檢測速度趨于實時化。隨著高校、研究所以及汽車廠商的研究持續深入,行人檢測技術得到了飛速的發展。本文主要介紹行人檢測的特征提取、分類器的發展歷程以及行人檢測的現狀。
2特征提取 2.12001~2005 特征提取
在早期的 PDS 中,在早期的 PDS 中 ,大多數工作僅使用一種外觀 特征或者一種運動特征,外觀特征主要有原始灰度 和輪廓 ,也有少量工作使用了顏色. 由于每種特征的針對性不同 ,只使用一種特征的PDS 都難以獲得較好的檢測性能。
隨著時間的發展,出現了倆種不同的研究趨勢,一種是對人的外觀特征和運動特性更具針對性。
(a)新的外觀特征:
( Ⅰ) Amnon 等提出了基于人體的 9 個關鍵部位及其相對位置關系構成的 13 個關鍵特征 ;
(Ⅱ) 提出了基于人腿的三次對稱性特征
(b) 新的運動特征: Ran 等提出了人腿形態周期性特征。
(c)新的抽象特征:Lowe 提出來SIFT 特(一種計算機視覺的算法,用來偵測與描述影像中的局部性特征,它在空間尺度中尋找極值點,并提取出其位置、尺度、旋轉不變量),它具有尺度不變的良好特征;Amnon 也將在這一特征引入到起 PDS 用于形狀特征的表示。
另一種是使用多種特征綜合的表示方法.Viola在2003年提出綜合使用外觀和運動特征的特征聯合表示方法,使用結合串聯的組合分類機制。
此外,在一些工作中,也開始實行在全局特征中加入局部特征作為補充,此種方法可以提高檢測率,降低誤差率,部分解決障礙物的遮擋問題。
2.2 2005~2011 特征提取 2.2.1行人特征
隨著行人特征提取類型 逐漸發展,提取類型不僅僅只是外觀和運動特征,慢慢增加,可分為三類:底層特征,基于學習的特征,以及混合特征。
2.2.2底層特征 基于學習的特征 混合特征
注:0 底層特征 1 基于學習的特征 2 混合特征
3行人檢測的進程 3.1行人檢測方法
(1)以 為代表的全局模板方法:基于輪廓的分層匹配算法,構造了將近 2500 個輪廓模板對行人進行匹配, 從而識別出行人。為了解決模板數量眾多而引起的速度下降問題,采用了由粗到細的分層搜索策略以加快搜索速度。另外,匹配的時候通過計算模板與待檢測窗口的距離變換來度量兩者之間的相似性。
(2)以 為代表的局部模板方法:利用不同大小的二值圖像模板來對人頭和肩部進行建模,通過將輸入圖像的邊緣圖像與該二值模板進行比較從而識別行人,該方法被用到意大利 Parma 大學開發的ARGO 智能車中。
(3)以 為代表的光流檢測方法:計算運動區域內的殘余光流;
(4)以 為代表的運動檢測方法:提取行人腿部運動特征;
(5)以 為代表的神經網絡方法:構建一個自適應時間延遲神經網絡來判斷是否是人體的運動圖片序列;
以上方法,存在速度慢、檢測率低、誤報率高的特點。
3.2分類器
分類器的構造和實施大體會經過以下幾個步驟:
選定樣本(包含正樣本和負樣本),將所有樣本分成訓練樣本和測試樣本兩部分。
在訓練樣本上執行分類器算法,生成分類模型。
在測試樣本上執行分類模型,生成預測結果。
根據預測結果,計算必要的評估指標,評估分類模型的性能。
4行人檢測的現狀 4.1 基于背景建模
背景建模方法,提取出前景運動的目標,在目標區域內進行特征提取,然后利用分類器進行分類,判斷是否包含行人;
背景建模目前主要存在的問題:必須適應環境的變化(比如光照
的變化造成圖像色度的變化)svm cnn 行人檢測 比較,機抖動引起畫面的抖動(比如手持相機拍照時候的移動),圖像中密集出現的物體(比如樹葉或樹干等密集出現的物體,要正確的檢測出來),必須能夠正確的檢測出背景物體的改變(比如新停下的車必須及時的歸為背景物體,而有靜止開始移動的物體也需要及時的檢測出來)svm cnn 行人檢測 比較,以及物體檢測中往往會出現Ghost 區域。
4.2 基于統計學習的方法
這也是目前行人檢測最常用的方法,根據大量的樣本構建行人檢測分類器。提取的特征主要有目標的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經網絡、SVM、 以及現在被計算機視覺視為寵兒的深度學習。
統計學習目前存在的難點:
(a)行人的姿態、服飾各不相同、復雜的背景、不同的行人尺度以及不同的關照環境。
(b)提取的特征在特征空間中的分布不夠緊湊;
(c)分類器的性能受訓練樣本的影響較大;
(d)離線訓練時的負樣本無法涵蓋所有真實應用場景的情況;目前的行人檢測基本上都是基于法國研究人員 Dalal 在 2005 的
CVPR 發表的HOG+SVM 的行人檢測算法。HOG+SVM 作為經典算法也別集成到 里面去了,可以直接調用實現行人檢測為了解決速度問題可以采用背景差分法的統計學習行人檢測,前提是背景建模的方法足夠有效(即效果好速度快),目前獲得比較好的檢測效果的方法通常采用多特征融合的方法以及級聯分類器。(常用的特征有Harry-like、Hog 特征、LBP 特征、 特征、CSS 特征、COV 特征、積分通道特征以及 特征。
圖:基于場景模擬與統計學習的行人檢測框架
5關于 R-CNN 的行人檢測 5.1 R-CNN 的缺點及處理方法
R-CNN 在目標檢測上準確,但在行人檢測上效果一般, R-CNN 用于行人檢測效果不好的原因有兩個:
(1)行人在圖像中的尺寸較小,對于小物體, 提出的特征沒有什么區分能力。
針對該情況,可以淺層池化,通過hole (“ a trous”or )來增加特征圖的尺寸。
(2)行人檢測中的誤檢主要是背景的干擾,廣義物體檢測主要受多種類影響,存在大量困難負樣本。
可以使用 來提取困難負樣本,然后對樣本進行賦予權重。直接訓練 RPN 提出的深度卷積特征。
5.2 方法
通過RPN 生成卷積特征圖和候選框, R-CNN 的RPN 主要是用于在多類目標檢測場景中解決多類推薦問題,因此可以簡化 RPN 來進行單一問題檢測。
通過 作為分類器來提取卷積特征,從RPN 提取的區域,我們使用RoI 池化提取固定長度的特征。在此時要注意的是,不同于以前方法中會 fine-tune 膨脹之后的卷積核,只是來提取特征而不進行fine-tune(在這里有可能fine-tune之后RPN的整體效果下降了,但是可能提取高分辨特征的能力提升了),接下來實現細節。
6總結
本文通過從特征提取和分類器等來簡單介紹行人檢測的發展進程,同時也大致介紹了行人檢測的現狀以及較為詳細的敘述了關于 R-cnn 的行人檢測一些問題的處理方法和方法。
閱讀文獻:
[ 1] 許言午, 曹先彬, 喬紅. 行人檢測系統研究新進展及關鍵
技術展望[ J] , 電子學報, 2008, 36( 5) : 368- 376.
Xu Yan-wu, Cao Xian- bin, and Qiao Hong . on the
of and its key tech nolog ies
[J] . Acta , 2008, 36( 5) :
368- 376. ( in )
[2]蘇松志,李紹滋,陳淑媛,蔡國榕,吳云東. 行人檢測技術綜述 0372-2112
( 2012) 04- 0814- 07
[3] of for Human ,
Dalel,Bill ,
[4]蔡蘇亞,劉璟. 基于計算機仿真的行人檢查算法研究 1674-6236(2014)
23-0051-03
[5] 朱文佳. 基于機器學習的行人檢測關鍵技術研究[D]. 第一章, 碩士學位
論文, 上海交通大學. 2008. 指導教師: 戚飛虎.
[6]Is R-CNN Doing Well for ?
L Zhang, L Lin, X Liang, K He - on ,
2016 -