1. 介紹

現在的物體檢測方法中的其中一個問題是，目標的分類得分無法代表對于其位置預測的質量，這導致有些位置預測很準的框的置信度不高，在做NMS的時候會被抑制掉。為了解決這個問題，也提出了很多的方法，比如用一個額外的IoU得分或者centerness的得分來對位置的預測質量進行評估，然后在做NMS的時候，把分類得分和位置質量得分相乘起來使用。但是這種方法并不是最優的，甚至會導致更差的結果，后面會說。如果是用一個小的網絡去預測位置評分的話，這種方法不夠優雅，需要額外的計算量。

為了克服這些缺點，我們可以思考一個問題：我們能不能將這個位置的質量預測合并到分類得分里面，而不是單獨去預測一個定位的質量？也就是說，預測一個和定位相關的分類得分，或者是IoU相關的分類得分，叫做IACS。

我們的貢獻如下：

1、我們展示了使用合適的分數對大量的候選框進行準確的排序是提升dense目標檢測器表現的關鍵因素。

2、我們提出了Varifocal Loss來訓練dense目標檢測器，去回歸IACS。

3、我們提出了一種新的星型的目標框的特征表示方式來預測IACS并對框進行優化。

4、我們基于FCOS開發了一種新的目標檢測器，叫做VarifocalNet或者VFNet，我們的方法的示意圖如下。

2. 動機

這部分中，我們研究了FCOS+ATSS的performance的上限，展示了將IoU-aware的分類得分作為排序bias的重要性。在研究FCOS+ATSS的上限的時候，在做NMS之前，我們把dense的預測分類得分，距離的offset以及centerness的得分都換成了ground truth值，然后在coco val2017上進行評估。對于分類概率向量，我們有兩種選擇，一個是直接把對應的類別置為1，另一個方法是置為gt和預測框的gt-IoU的值。對于centerness值，我們也考慮使用其真實值或者是gt-IoU的值。結果如表1，原始的FCOS+ATSS的AP是39.2，當我們在推理的時候對centerness得分使用gt值（gt_ctr）的時候，只提升了2個點，類似的，我們把centerness值替換為gt_IoU（gt_ctr_iou）的值之后，也只是提升到了43.5。這表明用類別概率和centerness相乘并不能得到顯著的提升。

相比之下，使用gt包圍框的FCOS+ATSS在沒有centerness的情況下，達到了56.1的AP。但是，如果將gt_label位置的類別概率(gt_cls)設為1，是否使用centerness就變得很重要了（43.1 AP vs 58.1 AP），因為centerness可以在某種程度上區分開正確和不正確的包圍框。

最令人驚訝的是，如果把分類得分替換為gt_IoU（gt_cls_iou），也就是IACS，在推理的時候不需要centerness，可以得到74.7的AP。上面的結果表明，對于大多數的gt目標，在龐大的候選結果的池子里是存在準確定位的包圍框的，那么，關鍵就是如何把這些高質量的檢測結果從候選池子里挑選出來，上面的結果顯示了，IACS就是選擇候選結果的最佳的度量方法。

3.  VarifocalNet

基于上面的發現，我們提出去學習一個IoU-aware的分類得分（IACS）來排序檢測結果，然后我們基于FCOS+ATSS，去掉了centerness分支，構建了一個新的dense物體檢測器，叫做VarifocalNet或者VFNet。相比于FCOS+ATSS，有3個新東西：varifocal loss，星型包圍框以及包圍框優化。

3.1 Varifocal Loss

我們設計了Varifocal Loss用來訓練IACS，這是從Focal Loss演化而來的。Focal Loss的定義如下：

其中，α是用來平衡正負樣本的權重，    和    用來調制每個樣本的權重，使得困難樣本有較高的權重，避免大量的簡單的負樣本主導了訓練時候的loss。我們借用了Focal Loss中的這種加權的思想，我們用Varifocal Loss來訓練回歸連續的IACS，和Focal Loss不一樣的是，Focal Loss對于正負樣本的處理是相同的，而我們這里是不對等的，我們的Varifocal Loss定義為：

其中p是預測的IACS，q是目標IoU得分，對于正樣本，q是預測包圍框和gt框之間的IoU，對于負樣本，q為0。見上面的圖1。

從式子中可以看到，VFL只對負樣本進行了    的衰減，這是由于正樣本太少了，我們希望充分利用正樣本的監督信號。另一方面，受到PISA和IoU-balanced Loss的啟發，我們對正樣本使用q進行了加權，如果正樣本具有很高的gt_iou，那么，loss的貢獻就要大一些，這樣使得訓練可以聚焦在那些質量高的樣本上。為了平衡總體的正負樣本，我們同樣使用了α進行了負樣本的加權。

3.2 星型包圍框的特征表示

我們還設計了一種高效的星型的包圍框的表示方法來預測IACS，使用了固定的9個采樣點（圖1中的黃色圓圈），通過可變形卷積來表示包圍框。這種表示方法可以獲取包圍框的幾何信息以及附近的上下文的信息，這對于預測框和gt框在編碼時的不對齊問題很重要。

具體來說，給定一個采樣點（x，y），我們首先使用一個3x3的卷積回歸一個初始框，和FCOS一樣，包圍框編碼為4D向量(l’, t’, r’, b’)，表示采樣點到四條邊的距離，使用這個距離向量，我們啟發式的選擇了9個采樣點：(x, y), (x-l’, y), (x, y-t’), (x+r’, y), (x, y+b’), (x-l’, y-t’), (x+l’, y-t’), (x-l’, y+b’) 和 (x+r’, y+b’)，然后，這9個點被映射到特征圖上，使用可變形卷積來表示包圍框，由于這些點是手工選取的，不需要額外的預測，所以計算上非常高效。

3.3 包圍框優化

我們通過包圍框的優化步驟進一步提升了物體的定位準確率。包圍框的優化在dense的物體檢測中并不常用，但是，使用星型的包圍框的表示，我們可以在dense的物體檢測器中利用包圍框優化而不損失計算效率。

我們將包圍框的優化建模為一個殘差學習的問題。對于初始的回歸框(l’, t’, r’, b’)，我們首先提取星型的表示并編碼，然后，我們學習4個距離縮放因子，(△l, △t, △r, △b)來縮放這個距離向量，這樣優化后的包圍框可以表示為(l, t, r, b) = (△l×l’,△t×t’, △r×r’, △b×b’)，更加接近gt。

3.4 VarifocalNet

加上上面的三個組件，然后去掉centerness分支，就得到了VarifocalNet，圖3顯示了VarifocalNet的結構，主干和FCOS一樣，區別就在于檢測頭上。定位子網絡需要進行包圍框的回歸和refine。

3.5 損失函數和推理

損失函數如下：

其中，bbox‘和bbox分別表示初始的和refine之后的預測包圍框，我們使用訓練的target的qi進行加權。

推理：推理就是直接圖像的前向傳播然后NMS去除冗余框。

4. 實驗

訓練細節：初始學習率0.01，使用線性warmup策略，warmup比例是0.1，使用了8個V100 GPU，batchsize為16。輸入圖像的最大尺寸為1333x800，數據增強方面只使用了水平翻轉。

4.1 消融實驗

4.1.1 Varifocal Loss

不同超參數(α，γ)以及損失加權的效果，如表2，效果最好的是γ=2，α=0.75。

4.1.2 每個組件的貢獻

每個組件的影響見表3：

4.2 和其他最先進方法的對比

4.3 通用性和優勢

和GFL進行了對比，將VFL用到其他的方法上看是否有效果：