織物紋理對(duì)于缺陷檢測(cè)的影響是相當(dāng)巨大的。由于缺陷通常在規(guī)模和長(zhǎng)寬比上變化很大，可能會(huì)降低檢測(cè)精度，所以這篇文章針對(duì)織物缺陷主要進(jìn)行的是語(yǔ)義分割，而不是進(jìn)行bounding box的檢測(cè)。

方法以及模型框架寫(xiě)的相當(dāng)清晰，首先針對(duì)現(xiàn)有的缺陷數(shù)據(jù)集，我們使用DeepLab V3對(duì)齊進(jìn)行語(yǔ)義分割，生成預(yù)訓(xùn)練模型用于后續(xù)的訓(xùn)練過(guò)程。文章的創(chuàng)新點(diǎn)在于下方的GAN網(wǎng)絡(luò)分支，對(duì)于新的紋理的織物，文章訓(xùn)練了一個(gè)生成器，以輸入不同紋理的織物而生成織物缺陷。但是，生成的缺陷在肉眼看去像是“假缺陷”，因此在這篇文章的工作中，訓(xùn)練了一個(gè)缺陷融合網(wǎng)絡(luò)，以將缺陷粘貼后的圖像進(jìn)行相應(yīng)的調(diào)整，使其更加接近真實(shí)的缺陷情況。然后生成的缺陷織物樣本作為訓(xùn)練數(shù)據(jù)，對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，這樣我們就可以得到一個(gè)新的織物樣本的檢測(cè)模型。文章所提出的兩階段的生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)如下所示：

由于步幅卷積會(huì)導(dǎo)致feature map在卷積過(guò)程中的尺度會(huì)逐步變小，在block4，文章提出了一種新的模塊ASPP，使用空洞卷積來(lái)增加原卷積的感受野，而不改變輸出的feature map的大小，最后進(jìn)行語(yǔ)義分割進(jìn)行缺陷的檢測(cè)。文章中詳細(xì)的說(shuō)明了對(duì)于stride的調(diào)整過(guò)程。

損失函數(shù)的設(shè)計(jì)方面：

1、對(duì)于背景損失以及缺陷損失設(shè)計(jì)不同的權(quán)重：

Stage1:生成缺陷方面：

1、設(shè)計(jì)“style label”，通過(guò)VGG提取的織物特征Gram矩陣設(shè)計(jì)新面料的style label。

2、生成器對(duì)抗損失的計(jì)算：

Stage2: 融合缺陷方面：

1、由于生成的假缺陷與真缺陷之前完全一樣是不可能的，因此設(shè)計(jì)一個(gè)合頁(yè)重構(gòu)損失：

其中m為定義松弛重構(gòu)約束的合頁(yè)閾值。

2、對(duì)預(yù)處理VGGNet提取的缺陷融合補(bǔ)丁的特征圖進(jìn)行約束，使其與對(duì)應(yīng)的真實(shí)補(bǔ)丁相似，特征重建損失：

3、鑒別器對(duì)抗性損失函數(shù)定義：

其中，T(·)表示提出的缺陷融合網(wǎng)絡(luò)，x和y分別為不完善樣本和訓(xùn)練缺陷樣本。

評(píng)價(jià)指標(biāo)：IoU閾值0.5條件下的：

生成效果：

無(wú)缺陷圖像、粘貼缺陷圖像、缺陷融合圖像

檢測(cè)效果：

簡(jiǎn)單織物

復(fù)雜織物

小結(jié):

1、從正常樣本生成缺陷樣本進(jìn)行數(shù)據(jù)的增強(qiáng)可以有效的緩解數(shù)據(jù)集難以獲取以及人工標(biāo)注費(fèi)時(shí)費(fèi)力的問(wèn)題，對(duì)于這種缺陷生成的適用情況進(jìn)行了一定的思考。第一、生成的缺陷并不能保證最后落在某個(gè)特定的位置，因此這種方法其實(shí)可能很難應(yīng)用到PCB缺陷檢測(cè)這種任務(wù)中。

2、出現(xiàn)的問(wèn)題：由于內(nèi)存的限制，在訓(xùn)練時(shí)將訓(xùn)練樣本裁剪成512*512的小patch進(jìn)行網(wǎng)絡(luò)的輸入，然而這種情況會(huì)導(dǎo)致對(duì)于占比較大的大尺度缺陷的檢測(cè)效果不佳。使用multi-scale方法可以有效減小這種現(xiàn)象但是也會(huì)引起復(fù)雜織物的缺陷誤判，因此兩者之前需要舍棄一個(gè)。

大尺度缺陷的檢測(cè)效果（復(fù)雜紋理織物白條）

3、數(shù)據(jù)集存在一些人工標(biāo)注并沒(méi)有標(biāo)注到的地方會(huì)導(dǎo)致假負(fù)例率大幅提升。有些人工標(biāo)注的數(shù)據(jù)集對(duì)所有缺陷標(biāo)注不完全會(huì)導(dǎo)致這種情況。雖然指標(biāo)會(huì)相對(duì)降低但是仍然可以認(rèn)為算法可以繼續(xù)完成我們的任務(wù)。標(biāo)注數(shù)據(jù)不完全導(dǎo)致召回率上不去。會(huì)對(duì)最終指標(biāo)為mAP以及F-measure有一定的影響。

來(lái)源：互聯(lián)網(wǎng)