圖像識別——強大的低功耗嵌入式AI方案海思Hi3519AV1

  強大的低功耗嵌入式AI方案海思Hi3519AV100介紹

海思Hi3519AV100是2018年10月在北京安防展展會上第一次進入我們視線的，然后11月初北京一家公司委托我們先研究一下，并從代理拿到初始版本的SDK資料，本人認真看了芯片DATASHEET，當時發覺比公司主推的Hi3519V101+Intel Movidius Myriad 2 MA2450強大，就決定動手做這個芯片方案，為了降低風險，我們只能先出自己的V1.0版本開發板玩玩，等軟件工程師和硬件工程師調試SDK軟件跑起來，我們才答應北京客戶，進行Hi3519AV100項目定制。2019年1月底樣機回來，能跑Hi3519AV100 的SDK程序，我們就立刻動手給北京客戶定制Hi3519AV100的產品，反而本公司的對外銷售的開發板沒那么快出來，客戶定制優先。本公司2019年3月份才對外出售Hi3519AV100方案的開發板，博客這邊一直沒多少時間來打理，去年寫《圖像識別VPU——易用的嵌入式AI支持深度學習平臺介紹》里面介紹了Hi3559A這個更強悍的嵌入式AI平臺，但是由于海思不對小公司開放SDK資源，我們就沒必要這里詳細介紹。
時間來到2019年6月，發覺這個上半年推出很多價格適中低功耗嵌入式AI方案，比較有代表性的：
英偉達的JETSON NANO
（JETSON TX1的簡化版本，注意是TX1的簡化，核心板把價格降低到1000元內，性能是相當不錯，不過看到那個散熱片我們就不考慮了。當然如果你的產品放在室內使用，這個NANO還是相當不錯的，因為性能強大是擺在那里的）
GOOGLE的CORAL USB（TPU）加速棒
）GOOGLE 的CORAL USB 這個TPU性能也是相當強悍，我們還沒玩過，不好評論，也是學人家Intel Movidius NCS加速棒模式）
瑞芯微RK3399PRO，RK1808加速棒
（RK3399PRO的AI核就和Hi3519AV100 NNIE的AI相當類似，ARM 方面的性能RK3399PRO比Hi3519V100強悍，功耗比Hi3519AV100大多了，用在室外我們還是不敢拿來給客戶做產品，RK1808加速棒也是學人家Intel Movidius NCS加速棒模式）
百度基于賽靈思Zynq的EdgeBoard（比較貴）
還有RISC-V+KPU低成本方案（超級便宜）
加上去年主推的Intel Movidius Myriad X MA2485（今年才發布支持樹莓派OpenVINO開發包，本人上個月才在樹莓派3和RK3288平臺上面跑通車牌識別和人臉識別的例子，基于l_openvino_toolkit_raspbi_p_2019.1.094 包，本公司VPU模組板子正在做）

說實在的，我們小公司精力也有限，有現成的客戶定制，就做對應的芯片方案，其他沒時間折騰，而且Hi3519AV100軟硬件資料SDK比較容易搞到手。詳細介紹Hi3519AV100前，我們這里提示一下：
海思芯片命名比較頭疼（很多客戶反饋），單單在安防監控IPC網絡攝像機領域，Hi3519AV100和Hi3519V101、Hi3519V100性能相差非常遙遠，我們圖-2看到Hi3519AV100不單單是雙核CORTEX-A53+IVE，而且增加支持深度學習的NNIE和DSP；Hi3519V101只是CORTEX-A17+CORTEX-A7+IVE組合而已，不帶支持深度學習的加速引擎，所以本公司去年推出的Hi3519V101 +VPU，就是必須外加Intel Movidius Myriad 2 MA2450 VPU芯片才能跑Caffe深度學習算法（必須是C/C++程序），而最差勁的Hi3519V100已經停產，這3個Hi3519芯片型號工藝制程不一樣，所以性能就不一樣。都叫Hi3519，但是后綴的字母和數字不一樣，性能相差非常大，很多客戶被搞暈了。在做IPC（網絡攝像機）產品方面，海思還有一個性價比很高的型號叫Hi3516，這個型號衍生至少9個后綴，性能也相差非常大，這里就不多說了，見海思官網：http://www.hisilicon.com/en/Products/ProductList/Surveillance 。其他拿來做NVR-DVR-機頂盒-手機等等型號這里也不描述，我們這里只關注圖像識別的平臺。

Hi3519AV100我們可以從下圖圖-1看看Hi3519AV100應用框圖。

圖-1 Hi3519AV100應用框圖

Hi3519AV100是一顆面向監控 IP 攝像機、運動相機、全景相機、后視鏡、航拍無人機、雙目機器人等多個產品領域推出的高性能、低功耗的 4K Ultra HD Mobile Camera SOC（臺積電12nm工藝）。

Hi3519AV100 MIPI接口4-LANE模式可以同時接3個CMOS SENSOR， 2-LANE模式可以同時接5路CMOS SENSOR。內置高性能全景拼接引擎，可實現4K級的2~4實時視頻全景拼接。主攝像頭 ISP0支持4K x 2K(3840 x 2160)@30fps 編碼，用于 SD 卡存儲 + 1080p@30fps 子碼流編碼并通過網口或 USB 送給無線傳輸模塊。ISP1/2 接向雙目攝像頭，采用 DPU 模塊提取雙目深度圖，送飛控 MCU 用于避障。ISP3/4 接朝下的單目或雙目攝像頭，在 向量DSP 運行 SLAM 算法，計算結果送飛控MCU 用于懸停。
NNIE （寒武紀AI核）是一個強大的可編程神經網絡推理引擎，用于運行人臉識別/檢測、目標檢測或手勢識別算法。

圖-2 Hi3519AV100芯片內部結構圖

從上圖-2我們可以看到Hi3519AV100還是比較強悍的：
1、2*ARM Cortex A53@1.5GHz，32KB I-cache，32KB Dcache /256KB L2 cache
2、支持 Neon 加速，集成 FPU 處理單元
3、DSP集成Tensilica Vision P6 DSP@630MHz，32KB I-Cache/32KB I-RAM/512KB Data RAM， 0.3Tops 神經網絡運算性能，支持 Huawei LiteOS
4、支持DDR4
圖像識別的芯片現在最差的都得備DDR3的內存了，而Hi3519AV100是外接DDR4 內存芯片，深度學習訪問內存速度是很關鍵的指標，DDR3還是比較落后。
5、NNIE
支持 AlexNet、VGG、ResNet、GoogLeNet 等多種分類神經網絡
支持 Faster R-CNN、SSD、YoloV2 等多種目標檢測神經網絡
2.0Tops 神經網絡運算性能
支持完整的 API 和工具鏈（編譯器、仿真器），易于適配客戶定制網絡
（做過深度學習算法的朋友對上面列的算法應用很熟悉了，呵呵）
Hi3519AV100板上集成NNIE核支持深度學習：
加速引擎 NNIE 是一款基于 CNN、RCNN 等神經網絡結構的深度學習專用加速器，可
用于圖片分類、目標檢測等應用場景。

NNIE性能：
支持深度學習算法AlexNet、VGG、ResNet、GoogLeNet 等多種分類神經網絡
支深度學習算法Faster R-CNN、SSD、YoloV2 等多種目標檢測神經網絡
2.0Tops 神經網絡運算性能
支持完整的 API 和工具鏈（編譯器、仿真器） ，易于適配客戶定制網絡

NNIE 加速引擎特性如下：
支持 N * N 卷積
支持 Pooling（Max 和 Average）
支持 Stride
支持 Pad
支持激活函數（Relu、Sigmoid 和 TanH）
支持 LRN 運算
支持 BN(Batch Normalization)
支持向量與矩陣的乘加運算(Inner Product)
支持 Concat
支持 Eltwise
支持 8bit 的數據與參數模式
支持數據與參數位寬可配置
支持參數壓縮和參數稀疏
支持輸入圖像為單通道（灰度圖）和三通道（RGB 格式）
支持圖像預處理(均值化和像素值縮放)
支持圖像批處理
支持中間層結果上報

在海思SDK開發包的路徑：Hi3519AV100R001C02SPC010\ReleaseDoc\zh\01.software\board\SVP下面，有一個《HiSVP 開發指南.pdf》和《HiSVP API 參考.pdf》
（提示：這些資料不得對外隨便公布，必須采購華為海思Hi3519AV100芯片得到代理授權拿到資料，才能在公司內部公開的，所以本人也遵守一定原則）

圖-3 Hi3519AV100 NNIE介紹1

圖-4 Hi3519AV100 NNIE介紹2

圖-5 Hi3519AV100 NNIE開發流程

我們從以上3個圖片可以看到一些深度學習的算法的知識，深度學習模式訓練和開發都是在PC端或者借助云端來處理，而最終程序是放在SoC Hi3519AV100板子上面運行，總之內容很多很大，這里就不搬弄過來了。
Hi3519AV100板上集成向量DSP:
向量DSP （Tensilica Vision P6 DSP@630MHz， 0.3Tops 神經網絡運算性能）是給視覺處理加速的專用處理器，具有可編程的能力，基于 DSP 既可以開發供智能分析算法用的一系列基礎運算功能，也可以實現復雜的算法。Hi3519AV100 支持 1個 向量DSP.
DSP 有如下主要規格點：
支持標量定點和浮點運算；
支持矢量定點和（單精度）浮點運算；
支持直方圖統計加速；
支持 Gather/Scatter 操作；
支持 ICache 大小為 32KB，不支持數據 DCache；
支持 32KB 大小的 IRAM;
支持總共 512KB 大小的 DRAM，DRAM0 和 DRAM1 各 256KB;
支持 18 個電平觸發中斷；
支持 Input Queue 和 Output Queue；
支持內置 IDMA 用于在片上 DRAM 和 DDR 之間交換數據;
支持 JTAG 調試。
Hi3519AV100板上集成DPU：
DPU(Depth Process Unit)對輸入的左圖像和右圖像經過校正和匹配計算得出深度圖。
DPU 有如下主要規格點：
支持校正和匹配，可同時使用，也可單獨使用；
支持左圖和右圖同時校正；
支持最大分辨率 1080P；
支持最大搜索視差數目 224；
支持起始視差可配置，范圍 0~64；
只支持單分量輸入；
支持亞像素深度圖輸出；
只支持以右圖為參考圖像，左圖作為搜索圖像；
匹配支持左圖寬度大于右圖寬度；
校正支持左圖和右圖分辨率不同，輸入輸出分辨率不同。
Hi3519AV100板上集成IVE：
IVE (Intelligent Video Engine)模塊提供智能分析算法中所用到的一系列基礎運算功能，以及部分耗時較大的特殊功能，是智能分析系統中的硬件加速模塊。支持 IVE 2.1 智能算子，支持特征點檢測、光流、計算機形態學處理等多種算子硬件加速。
IVE 模塊支持如下功能特點：
DMA：支持直接拷貝、間隔拷貝、內存填充。
Filter：支持 5x5 模板濾波。
CSC：支持 YUV2RGB、YUV2HSV、YUV2LAB、RGB2YUV 顏色空間轉換。
FilterAndCSC：支持 5x5 模板濾波和 CSC 的復合功能。
Sobel：支持 5x5 模板 Sobel-like 梯度計算。
MagAndAng\Canny：支持 5x5 模板梯度幅值和幅角計算、Canny 邊緣提取。
Erode：支持 5x5 模板腐蝕。
Dilate：支持 5x5 模板膨脹。
Thresh\Thresh_S16\Thresh_U16：支持圖象閾值化處理。
And\Or\Xor：支持兩幅圖象相與、或、異或。
Add\Sub：支持兩幅圖象相加權加、減。
Integ：支持積分圖計算。
Hist：支持直方圖統計。
Map：支持對圖像通過 256 級 map 映射賦值。
16BitTo8Bit：支持 16bit 數據到 8bit 數據線性轉換。
OrdStatFilter：支持順序統計量濾波：中值濾波、最大值濾波、最小值濾波。
NCC：支持兩相同大小圖像互相關系數計算。
CCL：支持連通區域標記。
GMM：支持灰度圖與 RGB 圖的混合高斯背景建模。
LBP：支持簡單局部二值模式計算。
NormGrad：支持歸一化梯度計算。
LKOpticalFlow：支持 LK 光流跟蹤。
STCorner：支持 ShiTomasi 角點檢測。
GradFg：支持梯度前景運算。
MatchBgModel\UpdateBgModel：支持背景匹配、背景更新。
ANN_MLP_Predict：支持 ANN_MLP 預測。
SVM_Predict：支持 SVM 預測。
SAD：支持分塊計算兩幅圖像對應像素差值絕對值的累加和。
Resize：支持雙線性、區域圖像縮放。
GMM2：支持灰度圖、RGB 圖的快速混合高斯背景建模。
CNN_Predict：支持卷積神經網絡計算。
支持單獨進行軟復位。
支持 SP400、SP420 (semi-plannar 420)、SP422 (semi-plannar 422)、package、planar
等輸入格式。
支持 SP400、SP420、SP422、package、plannar 等輸出格式。
部分算子支持讀寫地址非 16-byte 對齊。
在海思SDK開發包的路徑：Hi3519AV100R001C02SPC010\ReleaseDoc\zh\01.software\board\SVP下面，有一個《HiIVE API 參考.pdf》；解壓SVP_PC.rar里面的HiIVE_PC_V2.1.0.7_64bit.tar.gz，也得到《HiIVE工具使用指南.pdf》
（提示：這些資料不得對外隨便公布，必須采購華為海思Hi3519AV100芯片得到代理授權拿到資料，才能在公司內部公開的，所以本人也遵守一定原則）
Hi3519AV100視頻輸入接口介紹：
支持 12-lane Image Sensor 串行輸入，支持 MIPI/subLVDS/HiSPI/SLVS-EC 多種接口；
最大可支持 5 路 Sensor 串行輸入；
支持12-lane/8-lane+4-lane/4-lane+4x2-lane等多種組合方式；
最大輸入分辨率：7680x4320；
支持 10/12/14 bit Bayer RGB DC 時序視頻輸入；支持 BT.656、BT.1120 視頻輸入；
支持通過 MIPI 虛擬通道輸入 1~4 路 YUV。
Hi3519AV100 ISP與圖像處理介紹：
ISP 支持多路時分復用，可處理多路 sensor 輸入視頻；
支持 3A（AE/AWB/AF）功能，3A 參數用戶可調節；
支持去固定模式噪聲（FPN）；
支持兩幀曝光 WDR 及 Local Tone Mapping，支持強光抑制、背光補償；
支持壞點校正、鏡頭陰影校正；
支持多級 3D 去噪，提供優秀的低照度圖像效果，去除運動拖尾和色噪；
支持 3D-LUT 色彩調節；
支持圖像動態對比度增強及邊緣增強處理；
支持色差校正(CAC)及去紫邊；
支持去霧；
支持 6-Dof 數字防抖及 Rolling-shutter 校正；
支持鏡頭畸變幾何校正及魚眼矯正；
支持圖像 90 度/270 度旋轉；
支持圖像 Mirror、Flip；
支持多路縮放輸出，縮放倍數：1/15.5～16x；
支持最大 8 個區域的編碼前處理 OSD 疊加；
提供 PC 端 ISP 調節工具。
Hi3519AV100其他功能介紹
支持H.264/H.265編碼和解碼；
支持HDMI2.0輸出接口；
支持視頻拼接硬件加速引擎；
支持音頻接口，集成 Audio codec，支持 16bit 語音輸入和輸出；
支持音頻編碼和解碼；
支持1000M網口；
Hi3519AV100功耗
臺積電12nm工藝；(這個12nm工藝確實很不錯)
典型場景（4K x 2K(3840 x 2160)@30fps編碼+ 神經網絡算法）功耗：1.9W
支持多級省電模式；
最大功耗場景：環境溫度70°，結溫110°，運行4K +神級網絡等等模塊全部打開：功耗2.9W，不過這種情況幾乎很少出現。
Hi3519AV100工作溫度
溫度范圍：-25°C——70°C，商業級，本公司高低溫實際測試結果。

Hi3519AV100 SDK包
Hi3519AV100的SDK包需要安裝在ubuntu16.04 LST 64bit環境，這里就不累贅，SDK包里面有介紹如何安裝SDK，簡單的幾個命令。不過這里還是提醒一下從來沒安裝過海思SDK包的朋友，由于在ubuntu16.04 LST 64bit環境，下面幾個命令需要做的：
使用root登錄ubuntu，
1、./sdk.unpack: run_command_progress_float: not found
#dpkg-reconfigure dash，選擇no

2、/bin/sh: /opt/hisi-linux/x86-arm/arm-himix200-linux/bin/arm-himix200-linux-size: No such file or directory
#apt-get install lib32z1-dev

3、"mkimage" command not found - U-Boot images will not be built
#apt-get install u-boot-tools

4、/usr/bin/ld: cannot find -lncurses
#apt-get install libncurses5-dev

5、makeinfo: command not found
#apt-get install texinfo

最后提到Hi3519AV100 SDK包里面的SVP_PC
1） HiIVE_PC_Vx.x.x.x.rar
IVE PC端組件包，包含/tool目錄，文檔《HiIVE工具使用指南.pdf》
2） HiSVP_PC_Vx.x.x.x.rar
SVP PC端組件包，包含include/lib/sample/tool
3） HiDPU_PC_Vx.x.x.x.rar
DPU PC端組件包，包含tool

上面是公司自己做的Hi3519AV100核心板和開發板，淘寶上面有賣，輸入Hi3519AV100應該能看到，或者鏈接：https://shop472233692.taobao.com/?spm=2013.1.0.0.304c52653E7qVS。 還有本人的聯系方式QQ：2505133162周1---周6在線。總之做這個Hi3519AV100需要一定實力，而且對深度學習一些經典Caffe算法在PC上的開發需要一定功力。圖-3、圖-4 和圖-5 NNIE開發指南，涉及的知識點還比較多。Hi3519AV100上面提到Hi3519AV100除了能做人臉識別，而且能做手勢識別的產品，本人也希望更多算法軟件公司基于這些嵌入式AI平臺，在邊緣端做出更多識別算法服務老百姓，比如現在一直存在的反人類的搶奪和拐賣兒童的事件，配合人臉識別、手勢識別、行為分析和云端處理，讓犯罪份子無地藏身等等。越往后，嵌入式AI的芯片越強大，比如1W功耗10.0T運算能力很快就出來。
這些天（2019-05-25）貿易戰打得很火，這對于我們這些科技公司殺傷力很大，活下去是短期最大目標了，還好海思拿到ARM公司的ARMV7和ARMV8的永久授權，臺積電那邊也支持這些大客戶，應該對Hi3519AV100這些都沒有影響。當然，我們公司不單單拿海思的芯片設計嵌入式AI產品，也拿Intel Movidius的芯片做產品，后面還會做其他平臺的產品，根據自己的實力，哪個好用，資料容易搞到，性價比最優，就選擇誰。從上面的介紹，Hi3519AV100性價比真的還不錯的。