降維是一個去掉冗余的不重要的變量，而只留下主要的可以保持信息的變量的過程。通常通過兩種途徑來實現:

• 一個是特征選擇（Feature Selection）
• 一種是特征提取(Feature Extraction)

在我們實際的工作中，往往會遇到大數據。這些大數據不僅僅是樣本量大，往往有時候變量很多，可能會有成千上萬個變量，或者稱之為特征。而有時候有些特征根本就不重要，也提供不了重要的信息，它們只是一些噪音。在這種情況下，降低特征個數就非常重要。

比如在圖像處理分析中，通常會有很多幅圖像，比如圖像是從不同角度，不同位置得到的一組龐大的圖像集，而每一幅圖像又包含太多的像素，這時候降維就很重要，尤其是你的任務不是需要檢測每一幅圖像里的每一個像素的時候。

降維的一個很流行的方法就是主成分分析(Principal Component Analysis (PCA))方法，這也是我最開始學到的第一個降維方法。PCA是一種映射法， 它會把原來的特征映射到新的空間，新的空間中的特征表示成原來特征的線性組合。而在新的主成分空間中，特征的個數會極大的減少，而研究表明PCA可以很好的保持原來特征所提供的信息，也就是說雖然維數大大降低了，但是PCA仍然可以最大程度的保留著原來的信息量。

PCA是一種成功的降維方法，當然也可以用它來Visualize高維空間的數據。但是它也有一些局限的地方，比如有些研究稱它是一種映射方法，映射后新的特征就變成了原來特征的線性組合，這樣它的解釋性就沒有那么強。比如，你跟醫生合作，如果你說線性組合，他們可能根本不關心，他們更想知道的是原來的特征。

所以，鑒于上面的局限性, 于2002年，Isabelle Guyon等人發表了一篇文章，題目是 “Gene Selection for Cancer Classification using Support Vector Machines“。他們提出了一種新的降維方法，那就是 Recursive feature elimination（RFE）。這種方法沒有像PCA那樣做了線性變換，而是保持了原始的特征，而且它還考慮了原始特征之間的關系（interactions）。這個方法出來之后，變得非常流行，從它的引用率就可以看出來。

當時的SVM-RFE是很流行的，后來又有了別的模型的RFE，比如 Random forest-RFE 等等。你自己也可以搜搜看看。如果感興趣的話，也建議自己運行一遍試試，看看他的輸出到底是什么，自然你就會一目了然了。

另外一種特別流行的, 不得不說的降維方法就是t-Stochastic Neighbor Embedding (tSNE)，它是一種非線性的降維方法。我們可以這種方法來降低特征的個數，也就是可以用它來做特征選擇，從而把選擇后的特征作為機器學習模型的出入。通常情況下，我們經常使用tSNE來做數據的可視化（data visualization).

圖片來自這里（http://www.nlpca.org/pca-principal-component-analysis-matlab.html）