引言

很久沒有看基于FPGA的神經網絡實現的文章了，因為神經網絡加速設計做的久了就會發現，其實架構都差不多。大家都主要集中于去提高以下幾種性能：FPGA算力，網絡精度，網絡模型大小。FPGA架構也差不多這幾個模塊：片上緩存，卷積加速模塊，pool模塊，load，save，指令控制模塊。硬件架構上并不是太難，難的反而是軟件編譯這塊。因為其要去適應不同的網絡模型，還要能兼容FPGA硬件的變化，同時要為客戶提供一個容易操作的接口。這些在目前情景下還比較困難。首先是FPGA硬件的變化太多，各個模塊可配參數的變化（比如卷積模塊并行數的變化），另外一個是網絡模型多種多樣以及開源的網絡模型平臺也很多（tensorflow，pytorch等）。網絡壓縮也有很多種算法，這些算法基本上都會導致網絡模型精度的降低。一般基于FPGA的網絡加速設計都會強調模型被壓縮了多少以及FPGA上可以跑得多快，卻很少集中于去改善精度。

這篇文獻從概念上提出了硬件和網絡的協同設計，是很好的一個思路。因為之前神經網絡加速硬件設計和網絡壓縮是分開的，只是在網絡壓縮的時候盡可能考慮到硬件的特點，讓網絡模型更加適合硬件架構。這篇論文其實也是在做這樣類似的工作，我并不認為它真正的實現了硬件和網絡設計的協同（雖然其標榜自己如此）。但是它確實給我們提供了一個新的研究思路：如何從一開始就設計一個能夠適用于硬件的網絡。好的，廢話不多說，來看論文。

1.  來自作者的批判

發表論文，總是要先去總結以往論文的優缺點，然后指出其中不足，凸顯自己的優勢。這篇文章也花費了很大篇幅來批判了過去研究的不足。總結起來有以下幾點：

總之，意思就是之前的文章都撿軟柿子捏，而且比較落后了。那么我們來看看在這樣狂妄口氣之下的成果如何。

2.  shuffleNetV2到DiracDeltNet

shuffleNetV2是新發展出來的一個神經網絡，它的網絡模型中參數更小（比VGG16小60倍），但是精度只比VGG16低2%。shuffleNet不再像resnet將skip連接的數據求和，而是skip連接的數據進行concat，這樣的操作降低了加法操作。Skip連接可以擴展網絡的深度和提高深層網絡精度。但是加法skip不利于FPGA實現，一個是加法消耗資源和時間，另外一個是skip數據增加了遷移時間。Concat連接也和加法skip有相同的功能，增加網絡深度和精度。

作者對shuffleNetV2網絡結構進行了更有利于FPGA部署的微調。有以下三個方面：

3.  量化

為了進一步降低網絡參數量，作者采用了DoReFa-Net網絡的量化方式，對全精度權重進行了量化。同時作者還對activation進行了量化。量化結果如下：

精度損失很小。

文獻中使用了很多對網絡修改的微調技術，細節很多，可以看出對這樣一個已經很少參數的網絡來說，要進一步壓縮確實要花費很大功夫。這可能不太具有普遍性。這些微調應該會花費很多時間和精力。

4.  硬件架構

硬件主要實現的操作很少，只有一下幾種：

所以硬件架構上也變得很簡潔，作者在文章中說兩個人用HLS只做了一個月。

使用資源很少。

看以下和其他人的結果對比：