2022
關注并星標
從此不迷路
計算機視覺研究院
學習群｜掃碼在主頁獲取加入方式
01
概述
研究者研究了視覺物體檢測器的可解釋性問題。具體來說，研究者在YOLO目標檢測器的示例中演示了如何將Grad-CAM集成到模型架構中并分析結果。最后展示了如何計算個體檢測的基于歸因的解釋，并發現結果的歸一化對其解釋有很大影響。
02
背景
當今復雜的計算機視覺模型需要解釋其行為的機制。這推動了可擴展人工智能（XAI）[Adadi and , “ the black-box: A on (XAI),” IEEE ]的深入研究。視覺領域中關于XAI的大多數工作都集中于解釋視覺分類器，即它們學習到的表示和/或它們的決策。
目前，缺乏用于視覺目標檢測器的XAI方法，因為它們的特殊架構阻礙了XAI方法的應用。在今天分享中，研究者以YOLO檢測器為例，研究了視覺目標檢測器的XAI問題。研究者將Grad-CAM集成到模型中，以生成單個目標檢測的解釋，即邊界框。在檢測級別計算注意力圖，以評估哪些信息導致某個決策。為此，研究者關注YOLO檢測器估計的兩個分數電腦上怎么創建y群，即目標性和類概率，以獲得更全面的解釋。
研究者批判性地分析了結果，并提出了不同的標準化策略，以使輸入圖像內或不同圖像之間的不同目標檢測的注意力圖具有可比性。研究者分析了真檢測和假檢測的結果，并比較了不同的標準化變量以顯示結果。
在目標檢測和XAI方面都有大量相關工作。令人驚訝的是，這兩個領域的結合幾乎沒有被研究過。罕見的例外是等人的工作[H. , Y. , H. Lee, Y. , and N. ,“ for by -shot ,” in 2019 Joint (IJCNN).]，他們提出了用于單鏡頭多框檢測器，基于傳播的XAI方法（逐層相關傳播，LRP）的擴展，以及等人[V. , R. Jain, V. , V. I. , A. Mehra, V. ,and K. , “Black-box of via ,” in of the IEEE/CVF on and ]，他們提出基于隨機輸入采樣的用于目標檢測器的事后模型不可知XAI方法。缺乏文獻可能是目標檢測器高度特定的架構阻礙XAI方法集成的結果。目標檢測器需要解釋定位和分類方面電腦上怎么創建y群，并提供影響檢測可能性的多個分數。這使得許多特別是自學的解釋方法的直接應用變得困難。
03
新方法
檢測模型基于Tiny YOLO v3架構，對可重新配置的硬件進行了推理優化，并包含兩個檢測頭，以說明具有不同規模的目標。每個頭部的最后一個卷積層存儲每個潛在邊界框的多個分數：（i），它提供了一般觀察目標的可能性；（ii）所有目標類的類概率向量。對于頭部1，該層的大小為，對于頭部2，該層為。這些層中的特定神經元代表Grad-CAM的輸入，用于生成解釋。在這些層之后，YOLO架構應用非極大抑制（NMS），并且決策閾值過濾掉最可能的檢測結果。
Grad-CAM最初是為傳統的CNN架構提出的，用于根據在最后一個卷積層中學習到的抽象特征來解釋決策。考慮到YOLO基于卷積濾波器堆棧，Grad-CAM是適用的，但并非沒有某些修改。對于給定的檢測，首先通過反轉NMS過程來識別相應頭部的最后一個卷積層中的神經元，該層對應于所研究的邊界框的類概率和目標。這些神經元代表計算朝向下層卷積層（即卷積堆棧的頂層特征圖）神經元的梯度的起點。
研究者采用兩步方法來獲得兩個分數的解釋。梯度首先用于對底層卷積層的激活圖進行加權。然后在層的所有通道上對加權激活圖進行平均，并放大（即插值）和映射（即顏色編碼）到輸入圖像（416px x 416px），見上圖。放大的激活模式突出顯示了輸入圖像中與所調查邊界框的類或目標有密切關系的部分。注意，由于YOLO的架構，Grad-CAM的結果是全局圖像級別的激活，即，它們不限于觀察到的邊界框，如下圖所示。
漸變CAM激活默認情況下為最小-最大標準化，以提高可見性。這導致在同一圖像中和不同圖像中的不同目標檢測之間的不可比較的激活模式。為了解決這一問題，研究者提出了三種不同的標準化級別：檢測級別（默認）、圖像級別（圖像中所有解釋的聯合標準化）和數據集級別（一組圖像中所有說明的聯合標準）。
04
實驗及結果
下圖顯示了在同一輸入圖像上錯誤檢測到的卡車。紅色海報上的白色矩形文字似乎誤導了探測器，使其看到了一輛卡車。目標和類概率在檢測級別都會強烈激活，這會給人一種印象，即檢測器以高置信度失敗。這實際上是不正確的，這可以通過數據集級別（未顯示）的歸一化來看出，在數據集級別，兩種激活都被強烈衰減，這表明檢測器實際上對檢測不確定。
研究者通過將Grad-CAM集成到YOLO中，研究了目標檢測的可解釋性。我們可以可視化其內部決策得分，從而幫助解釋目標檢測。
結果表明，標準化對于使不同的解釋具有可比性至關重要，例如，在不同的圖像中。研究者的方法很有效：生成一個解釋大約需要半秒鐘。未來，我們的目標是使用這些解釋來識別運行時的潛在錯誤檢測。
END