CNN的相關知識點有哪些

這篇文章主要介紹了CNN的相關知識點有哪些的相關知識，內容詳細易懂，操作簡單快捷，具有一定借鑒價值，相信大家閱讀完這篇CNN的相關知識點有哪些文章都會有所收獲，下面我們一起來看看吧。

CNN(卷積神經網絡)

圖像識別中采用卷積神經網絡，這里大致的介紹下CNN的運行原理。在很久以前呢其實圖像識別采用的是傳統的方法，比如SVM。在12年的ImageNet大會中，來自多倫多大學的 Geoffrey Hinton、Ilya Sutskever 和 Alex Krizhevsky 提交了名為“AlexNet”的深度卷積神經網絡算法，這種算法的圖形識別錯誤率低至 16%，比第二名低超過 40%。可以這么說，人工智能在“看特定的圖”這件事上第一次接近了人類。 
這里提一下上面提到的深度學習課程就是由Geoffrey Hinton 講授的。 
而圖像識別中的神經網絡一般會采用卷積神經網絡，即CNN。

層級結構

一般的神經網絡采用了全連接的方式，這樣的話會導致參數量太大。Cnn以及rnn都修改了網絡結構以使其能達到特定的功能。 
全連接的神經網絡如下： 

隱層的話其實可以是0~N多層，如果沒有隱層，而激活函數又采用了邏輯函數，那么就成了邏輯回歸模型了。這里只畫了兩層。 
而卷積神經網絡主要有以下幾種層次 
1）數據輸入層 
2）卷積計算層 
3）Relu激活層 
4）池化層 
5）全連接層 
6）輸出層

數據輸入層

數據輸入層和全連接層一樣的，就是第0層。一般來說圖形圖像處理前需要進行數據的預處理，比如圖片的大小放縮到一致，主要有如下的處理方法： 
1）去均值，比如一個圖片的像素，RGB形式的吧，范圍都在0~256之間。將其都減去均值，得到每個特征的維度均值為0. 
2）歸一化，就是降維度的數值縮放到一個幅度內。 
3）降維

卷積計算層

這個應該是CNN的一個比較關鍵的地方了，首先看卷積運算，卷積是對兩個實變函數的一種數學運算。這里不想講的太復雜，比如 

這里x是輸入，w是核函數就是需要將x轉換到其他的特征中。下面將二維平面的情況展示： 

這是進行了一次的卷積運算，這里我們很明顯的知道參數共享的。在一次卷積運算的過程中，這些kernel是保持不變的。變得是每次滑動窗口的數據。 
這里介紹三個相關的概念： 
1）步長，如上圖是1。 
2）滑動窗口，上面的是一個2*2的大小。 
3）填充值，因為在步長大于1的情況下，可能導致滑動窗口在向右移動的過程中，右邊沒有值了，這個時候需要值進行填充，一般采用0值填充。還有一個原因就是當步長為1的時候，如果不進行填充會導致輸出的維度低于輸入的維度，這樣經過幾次迭代，就沒有輸入了…… 
形象化的如下圖，周圍補了一圈的0填充。 

注意這里只是一個下一層的一個神經元的情況如果是n個，就會有n次卷積運算了。

Relu激活層

當通過卷積運算之后需要經過激活函數進行非線性變換。常的激活函數如下： 
1)Sigmoid 
2)Relu 
3)Tanh 
4)Elu 
5)Maxout 
6)Leaky relu 
可以參考：https://en.wikipedia.org/wiki/Activation_function 

在cnn中有如下一些經驗： 
1）CNN盡量不要用sigmoid ，因為sigmoid會導致梯度消失問題。 
2）首先使用relu 
3）然后使用leaky relu 
4）如果不行，采用maxout

池化層

由于圖片的像素點很多，如果不進行壓縮處理，那么會導致參數過多，就過擬合啦。所以需要將圖片大小進行壓縮。那咋個壓縮呢？只能采用下采樣啦。如下圖所示： 

這個有點像卷積計算，但是呢，沒有kernel。一般采用的是 
1）Max 
2）Average 
兩種下采樣方式，不過用的多的還是max。因為average會帶來新的特征值，不太好。

全連接層

經過了若干的卷積層，池化層，在輸出層的前一層，加一個全連接層，用于最后的輸出。 
輸出層 
最后就是再次通過一個激活函數輸出數據了。 
總的層級結構如下： 

一般來說，CNN的結構中，會有若干的卷積層，然后通過激活層，然后池化，然后繼續卷積等等，最后全連接輸出數據。不過有的也不用全連接做最后一層，用一維的卷積層代替。

正則化

在深度學習中，優化算法基本都是采用的SGD。正則化不是像傳統的方式L1或者L2。而是通過一定的概率丟棄神經網絡節點，這就被稱為dropout 
如下圖所示，每次運算的時候隨機的使一些節點失效。或者可以理解，選擇神經節點服從一個概率分布。 

通過dropout的方式可以防止過擬合 
1）神經元的個數少了，參數減小，那么根據機器學習的VC維可以得到過擬合風險減小。 
2）通過隨機的丟棄一些神經元，可以組成不同的神經網絡，最后做到一個aggregation的神經網絡，就像隨機森林一樣的的想法。

典型結構

CNN常見的結構有： 
1）LeNet ，最早用于數字識別 
2）AlexNet ，2012年的視覺大賽冠軍 
3）ZF Net，2013年的視覺大賽冠軍 
4）Google Net，2014年 
5）VGG Net，2014年 
6）ResNet，2015年，152層。 

關于“CNN的相關知識點有哪些”這篇文章的內容就介紹到這里，感謝各位的閱讀！相信大家對“CNN的相關知識點有哪些”知識都有一定的了解，大家如果還想學習更多知識，歡迎關注億速云行業資訊頻道。