百度 PaddlePaddle開源視頻分類模型Attenti

Attention Cluster 模型

視頻分類問題在視頻標簽、監控、自動駕駛等領域有著廣泛的應用，但它同時也是計算機視覺領域面臨的一項重要挑戰之一。

目前的視頻分類問題大多是基于 CNN 或者 RNN 網絡實現的。眾所周知，CNN 在圖像領域已經發揮了重大作用。它具有很好的特征提取能力，通過卷積層和池化層，可以在圖像的不同區域提取特征。RNN 則在獲取時間相關的特征方面有很強的能力。

Attention Cluster 在設計上僅利用了 CNN 模型，而沒有使用 RNN，主要是基于視頻的以下幾個特點考慮：

圖 1 視頻幀的分析

首先，一段視頻的連續幀常常有一定的相似性。在圖 1（上）可以看到，除了擊球的動作以外，不同幀幾乎是一樣的。因此，對于分類，可能從整體上關注這些相似的特征就足夠了，而沒有必要去特意觀察它們隨著時間的細節變化。

其次，視頻幀中的局部特征有時就足夠表達出視頻的類別。比如圖 1（中），通過一些局部特征，如牙刷、水池，就能夠分辨出『刷牙』這個動作。因此，對于分類問題，關鍵在于找到幀中的關鍵的局部特征，而非去找時間上的線索。

最后，在一些視頻的分類中，幀的時間順序對于分類不一定是重要的。比如圖 1（下），可以看到，雖然幀順序被打亂，依然能夠看出這屬于『撐桿跳』這個類別。

基于以上考慮，該模型沒有考慮時間相關的線索，而是使用了 Attention 機制。它有以下幾點好處：

1. Attention 的輸出本質上是加權平均，這可以避免一些重復特征造成的冗余。

2. 對于一些局部的關鍵特征，Attention 能夠賦予其更高的權重。這樣就能夠通過這些關鍵的特征，提高分類能力。

3. Attention 的輸入是任意大小的無序集合。無序這點滿足我們上面的觀察，而任意大小的輸入又能夠提高模型的泛化能力。

當然，一些視頻的局部特征還有一個特點，那就是它可能會由多個部分組成。比如圖 1（下）的『撐桿跳』，跳、跑和著陸同時對這個分類起到作用。因此，如果只用單一的 Attention 單元，只能獲取視頻的單一關鍵信息。而如果使用多個 Attention 單元，就能夠提取更多的有用信息。于是，Attention Cluster 就應運而生了！在實現過程中，百度計算機視覺團隊還發現，將不同的 Attention 單元進行一次簡單有效的『位移操作』（shifting operation），可以增加不同單元的多樣性，從而提高準確率。

接下來我們看一下整個 Attention Cluster 的結構。

整個模型可以分為三個部分：

1. 局部特征提取。通過 CNN 模型抽取視頻的特征。提取后的特征用 X 表示，如公式（1）所示：

（1）。X 的維度為 L，代表 L 個不同的特征。

2. 局部特征集成。基于 Attention 來獲取全局特征。Attention 的輸出本質上相當于做了加權平均。如公式（2）所示，v 是一個 Attention 單元輸出的全局特征，a 是權重向量，由兩層全連接層組成，如公式（3）所示。實際實現中，v 的產生使用了 Shifting operation，如公式（4）所示，其中α和β是可學習的標量。它通過對每一個 Attention 單元的輸出添加一個獨立可學習的線性變換處理后進行 L2-normalization，使得各 Attention 單元傾向于學習特征的不同成分，從而讓 Attention Cluster 能更好地學習不同分布的數據，提高整個網絡的學習表征能力。由于采用了 Attention clusters，這里會將各個 Attention 單元的輸出組合起來，得到多個全局特征 g，如公式（5）所示。N 代表的是 clusters 的數量。

3. 全局特征分類。將多個全局特征拼接以后，再通過常規的全連接層和 Softmax 或 Sigmoid 進行最后的單標簽或多標簽分類。

用 PaddlePaddle 訓練 Attention Cluster

PaddlePaddle 開源的 Attention Cluster 模型，使用了 2nd-Youtube-8M 數據集。該數據集已經使用了在 ImageNet 訓練集上 InceptionV3 模型對特征進行了抽取。

如果運行該模型的樣例代碼，要求使用 PaddlePaddle Fluid V1.2.0 或以上的版本。

數據準備：首先請使用 Youtube-8M 官方提供的鏈接下載訓練集和測試集，或者使用官方腳本下載。數據下載完成后，將會得到 3844 個訓練數據文件和 3844 個驗證數據文件（TFRecord 格式）。為了適用于 PaddlePaddle 訓練，需要將下載好的 TFRecord 文件格式轉成了 pickle 格式，轉換腳本請使用 PaddlePaddle 提供的腳本 dataset/youtube8m/tf2pkl.py。

訓練集：http://us.data.yt8m.org/2/frame/train/index.html

測試集：http://us.data.yt8m.org/2/frame/validate/index.html

官方腳本：https://research.google.com/youtube8m/download.html

模型訓練：數據準備完畢后，通過以下方式啟動訓練（方法 1)，同時我們也提供快速啟動腳本 (方法 2)

# 方法 1

# 方法 2

用戶也可下載 Paddle Github 上已發布模型通過--resume 指定權重存放路徑進行 finetune 等開發。

數據預處理說明： 模型讀取 Youtube-8M 數據集中已抽取好的 rgb 和 audio 數據，對于每個視頻的數據，均勻采樣 100 幀，該值由配置文件中的 seg_num 參數指定。

模型設置： 模型主要可配置參數為 cluster_nums 和 seg_num 參數。其中 cluster_nums 是 attention 單元的數量。當配置 cluster_nums 為 32, seg_num 為 100 時，在 Nvidia Tesla P40 上單卡可跑 batch_size=256。

訓練策略：

采用 Adam 優化器，初始 learning_rate=0.001

訓練過程中不使用權重衰減

參數主要使用 MSRA 初始化

模型評估：可通過以下方式（方法 1）進行模型評估，同樣我們也提供了快速啟動的腳本（方法 2）:

# 方法 1

# 方法 2

使用 scripts/test/test_attention_cluster.sh 進行評估時，需要修改腳本中的--weights 參數指定需要評估的權重。

若未指定--weights 參數，腳本會下載已發布模型進行評估

模型推斷：可通過如下命令進行模型推斷：

模型推斷結果存儲于 AttentionCluster_infer_result 中，通過 pickle 格式存儲。

若未指定--weights 參數，腳本會下載已發布模型 model 進行推斷

模型精度：當模型取如下參數時，在 Youtube-8M 數據集上的指標為：

參數取值：

評估精度：