PIoU Loss怎么實現復雜場景下的精確定向目標檢測

這篇文章給大家介紹PIoU Loss怎么實現復雜場景下的精確定向目標檢測，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

摘要

使用定向包圍框（oriented bounding box）進行目標檢測可以通過減少與背景區域的重疊來更好地定位有旋轉傾斜的目標。現有的OBB方法大多是在水平包圍框檢測器（horizontal bounding box）上通過引入額外的角度尺度（通過距離損失進行優化）構建的。 但是，由于距離損失只將OBB的角度誤差優化至最小，而且與IoU的相關性較松散，因此它對具有高長寬比的目標不敏感。 因此，本文提出了一種新的損失，即Pixels-IoU（PIoU）損失，以利用角度和IoU實現更精確的OBB回歸。 PIoU損失是從IoU指標以像素的形式導出的，形式簡單但適用于水平和定向包圍框。為了證明其有效性，本文評估了ancho-based和anchor-free框架下使用PIoU損失的效果。實驗結果表明，PIoU損失可以顯著提高OBB檢測器的性能，特別是在具有高長寬比和復雜背景的目標檢測上。此外，現有的評估數據集不含有大量高長寬比目標，因此引入了新的數據集Retail50K，以鼓勵大家應用OBB檢測器來處理更加復雜的環境。

OBB：oriented bounding box，定向目標框，指不限制傾斜角的目標框

HBB：Horizontal bounding box，水平目標框，默認傾斜角度是0

PIOU：Pixels-IoU loss：用像素累加的方法（而不是坐標）近似計算兩box的交并集面積

解決的問題：非水平狀態的box識別（對比普通的水平目標框），具有很大的長寬比的目標（對比下圖和Retail50k數據集的例圖），復雜背景下的OBB識別（對比下圖中空曠簡單的背景）

提出了一個數據集：Retail50K（超市零售貨架數據集），兼具復雜背景（各色飲料瓶等）和HBB目標（非水平box，具備很大的長寬比）

Related work

1. 基于SSD訓練一個具有旋轉不變性的檢測器

2. 基于Faster RCNN訓練一個旋轉檢測器

3. 設計RoI 變換器以學習從BB到OBB的旋轉不變特征

4. 利用生成式模型抽取OBB候選框，依靠局部最大似然確定選值

存在的問題：針對遙感航空圖像，背景簡單，且物體不是具有大長寬比的目標。

Pixels-IOU Loss：

和傳統的loss相比，OBB（非水平box）多了一個傾斜角的維度，所以無法直接用常見的Loss計算。

從IoU出發，我們在計算IoU時，需要計算兩個box的交集和并集，既然一張圖像是由若干像素點構成的，那交并集的區域是不是也可以用其內部的像素點數量近似代替？

如上圖，p(i,j)綠點是圖像上的一個像素點，c是OBB框的中心點，t(i,j)是p到box中心線的垂線的交點，p到t的距離記為dh(i,j)，c到t的距離記為dw(i,j)。

作者提出用一個二元約束關系來判斷像素點p是否在OBB框中：

用距離dh和dw來判定p是否在box中

其中θ代表box的傾斜角，計算關系可見下圖：

用累加像素點的方法計算兩框的交集和并集

由于前述的二元約束關系是不連續不可導的，作者將其轉換為兩個核的乘積（核方法）：

k是一個可調系數，控制對目標像素p的靈敏度

此時，上述的F函數是連續，可導的，同時也保持了正確的取值趨勢。

如上所示，核函數在像素點p接近box中心c的時候趨向于1，在遠離時趨向于0，基本近似反映了像素點相對box內部的概率分布。

此時，求兩box的交并集的方法更新為：

為了減少計算量，可以用框的w,h關系簡化上述計算：

最后，我們得到PIoU的計算形式：

記(b,b')為一對正結果，b為基于一個正anchor（當一個anchor以0.5+的IoU匹配到一個GTbox時，記為正）的預測框，b‘為匹配到的ground-truth框。M代表所有正樣本對的數量。

則PIoU的Loss可以表示為：

數據集Retial50K

基于來自不同國家和地區的志愿拍攝的超市圖像，唯一標注類型為貨架層。

例圖：

具備如下特點：

1. 復雜的背景：貨架層可能被價簽或者促銷條等遮擋。同時周圍混雜了各色飲料、零食等。

2. 極大的長寬比：貨架層大部分都長度很長，寬度很小。

3. 有實用價值：可用于貨架零售標簽檢測，自動貨架分層，貨架層和圖像偏角估計等等。

上圖說明了數據集中，長寬比、傾斜角、實例數量的分布情況。

實驗結果

對核函數中可調參數k的實驗：

對DOTA數據集，對比PIoU Loss的效果實驗：

（DOTA數據集是航拍的遙感數據集，地面物體，但有傾角）

其中HPIoU是使用w,h計算并集以簡化計算的版本，精度略微下降，但節約了時間

PASCAL數據集上的測試結果：

PIoU在Retail50K數據集上的測試如下：

PIoU和SmoothL1損失的對比實驗結果，下圖紅色框為PIoU，明顯效果更好。

關于PIoU Loss怎么實現復雜場景下的精確定向目標檢測就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。