這是專欄《圖像分割模型》的第11篇文章。在這里，我們將共同探索解決分割問題的主流網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)計(jì)思想。
本文介紹了用于實(shí)例分割任務(wù)的模型結(jié)構(gòu)——。
作者 | 孫叔橋
編輯 | 言有三
本期論文
《 to 》
1 實(shí)例分割
區(qū)別于本系列之前介紹的語義分割任務(wù)，實(shí)例分割任務(wù)有其自己的任務(wù)需求與度量矩陣。簡單來講，語義分割只分割視野內(nèi)目標(biāo)的類型，而實(shí)例分割則不僅分割類型，同時(shí)還需要分割同類型的目標(biāo)是否為同一個(gè)實(shí)例。
舉個(gè)例子，下面圖片中所有的目標(biāo)都是“貓”，但只有藍(lán)色的那只是你家的，其他都是借來拍照湊數(shù)的。那么，拍照結(jié)束回家時(shí)，只能分辨眼前的目標(biāo)是否是“貓”已經(jīng)不夠了，還需要能夠知道哪只是自己的。否則，別家的主人可能會(huì)請(qǐng)你喝茶。
由此可以看出，在某些應(yīng)用場景下，我們需要對(duì)視野內(nèi)相同實(shí)例進(jìn)行區(qū)別標(biāo)注，比如cat1，cat2，等。這時(shí)就可以用到實(shí)例分割的網(wǎng)絡(luò)，比如本文中會(huì)介紹的。
2
網(wǎng)絡(luò)其實(shí)實(shí)現(xiàn)了三個(gè)任務(wù)：前背景分割、前景語義分割與前景實(shí)例分割。這三個(gè)任務(wù)是基于同一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行的，只是各自有單獨(dú)的分支。下圖是的網(wǎng)絡(luò)模型概況：
與大部分分割網(wǎng)絡(luò)相同，同樣應(yīng)用了VGG模型作為特征提取的主要模塊，在訓(xùn)練中也用了下訓(xùn)練得到的VGG參數(shù)初始化這一部分模型。
隨后，用兩條分支來分別實(shí)現(xiàn)分割任務(wù)和前景目標(biāo)識(shí)別任務(wù)。下面我們來具體看一下這兩個(gè)分支：
(1) 分割部分
分割部分要實(shí)現(xiàn)的是對(duì)圖塊內(nèi)場景的類別的識(shí)別，由一個(gè)1x1卷積層后接分類層實(shí)現(xiàn)。這里的分類是稠密的，也就是對(duì)每一個(gè)像素都有其對(duì)應(yīng)的標(biāo)注。
這里需要注意的是，為了實(shí)現(xiàn)實(shí)例分割用ai切割圖片，分割部分的分支必須能夠看到輸入圖塊的所有信息，從而在多個(gè)目標(biāo)同時(shí)存在時(shí)判斷是否屬于同一個(gè)我們需要的目標(biāo)。比如下圖中有多頭大象：
但是我們只希望標(biāo)注出其中的一頭：
(2) 前景Score部分
網(wǎng)絡(luò)的第二個(gè)分支要完成的任務(wù)是，判斷一個(gè)圖塊是否滿足下面兩個(gè)要求：
這一部分由一個(gè)2x2的最大池化層，后接兩個(gè)全連接層組成。最終的輸出是一個(gè)目標(biāo)score，用來顯示該目標(biāo)是否滿足上面的要求。
3 訓(xùn)練細(xì)節(jié)
的訓(xùn)練過程對(duì)于分割任務(wù)是很有借鑒意義的。這里，網(wǎng)絡(luò)的兩個(gè)分支共同訓(xùn)練，損失函數(shù)如下：
除了基本的分割要求，還做了一個(gè)限定，使得在測試推理階段，網(wǎng)絡(luò)會(huì)嘗試對(duì)所有的圖塊都進(jìn)行分割，即使該圖塊中不存在目標(biāo)。為了實(shí)現(xiàn)這個(gè)目的，其采用的策略是，對(duì)于不存在目標(biāo)的圖塊用ai切割圖片，只訓(xùn)練分割分支。
下圖是的訓(xùn)練輸入，包括圖塊（左圖）、是否是目標(biāo)（右圖）和目標(biāo)類型（顏色框）。
網(wǎng)絡(luò)與VGG-A相同，接收的RGB輸入尺寸為，生成的特征尺寸為。由于網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致輸出尺寸小于原始尺寸（分割分支為1/16，目標(biāo)分支為1/32），因此需要應(yīng)用雙線性插值將結(jié)果恢復(fù)成原始尺寸。這么做的原因是考慮到網(wǎng)絡(luò)的體量和計(jì)算量。這個(gè)設(shè)定下，約包含75M的參數(shù)。
4 實(shí)驗(yàn)結(jié)果
在MS COCO數(shù)據(jù)集下進(jìn)行了測試，下圖是測試結(jié)果：
這里選擇的學(xué)習(xí)率為0.001，batch size為32，動(dòng)量0.9，權(quán)重下降0.00005，訓(xùn)練需要5天左右。
下表是分割結(jié)果比較：
歡迎大家加入圖像分割星球
總結(jié)
本期我們一起了解了用于實(shí)例分割任務(wù)的。然而，除了語義分割與實(shí)例分割，分割任務(wù)中還有一個(gè)“新來的”——全景分割。那么全景分割與它們有何不同，又該如何實(shí)現(xiàn)呢？我們下回見！
本周直播(點(diǎn)擊圖片跳轉(zhuǎn))
今日網(wǎng)絡(luò)結(jié)構(gòu)
有三AI生態(tài)
更多精彩內(nèi)容請(qǐng)關(guān)注知乎專欄《有三AI學(xué)院》
轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系
侵權(quán)必究
往期精選