機器學習的中心極限定律怎么理解

本篇內容介紹了“機器學習的中心極限定律怎么理解”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

大數定律
   當數據量很大的時候可以用頻率表示概率，

   在試驗不變的條件下，重復試驗多次，隨機事件的頻率近似于它的概率。偶然中包含著某種必然。

中心極限定理
  樣本的平均值約等于總體的平均值。
  不管總體是什么分布，任意一個總體的樣本平均值都會圍繞在總體的整體平均值周圍，并且呈正態分布。
  除以n和n-1  中心極限定理

一.中心極限定理

下圖形象的說明了中心極限定理

當樣本量N逐漸趨于無窮大時，N個抽樣樣本的均值的頻數逐漸趨于正態分布，其對原總體的分布不做任何要求，意味著無論總體是什么分布，其抽樣樣本的均值的頻數的分布都隨著抽樣數的增多而趨于正態分布，如上圖，這個正態分布的u會越來越逼近總體均值，并且其方差滿足a^2/n，a為總體的標準差，注意抽樣樣本要多次抽取，一個容量為N的抽樣樣本是無法構成分布的。

二.中心極限定理和大數定律的區別

下面援引一段知乎上的回答：https://www.zhihu.com/question/48256489/answer/110106016

大數定律是說，n只要越來越大，我把這n個獨立同分布的數加起來去除以n得到的這個樣本均值（也是一個隨機變量）會依概率收斂到真值u，但是樣本均值的分布是怎樣的我們不知道。

中心極限定理是說，n只要越來越大，這n個數的樣本均值會趨近于正態分布，并且這個正態分布以u為均值，sigma^2/n為方差。

綜上所述，這兩個定律都是在說樣本均值性質。隨著n增大，大數定律說樣本均值幾乎必然等于均值。中心極限定律說，他越來越趨近于正態分布。并且這個正態分布的方差越來越小。

直觀上來講，想到大數定律的時候，你腦海里浮現的應該是一個樣本，而想到中心極限定理的時候腦海里應該浮現出很多個樣本。

中心極限定理是說一定條件下，當變量的個數趨向于無窮大時，變量總體趨向于正態分布。而大數定律是當重復獨立試驗次數趨于無窮大時，平均值（包括頻率）具有穩定性。兩者是完全不同的

最大似然估計: 是利用已知的樣本的結果，在使用某個模型的基礎上，反推最有可能導致這樣結果的模型參數值。

舉個通俗的例子：假設一個袋子裝有白球與紅球，比例未知，現在抽取10次（每次抽完都放回，保證事件獨立性），假設抽到了7次白球和3次紅球，在此數據樣本條件下，可以采用最大似然估計法求解袋子中白球的比例（最大似然估計是一種“模型已定，參數未知”的方法）。當然，這種數據情況下很明顯，白球的比例是70%。

說的通俗一點啊，最大似然估計，就是  利用已知的樣本結果，  反推最有可能（最大概率）導致這樣結果的參數值(模型已知，參數未知）。

基本思想

當從模型總體隨機抽取n組樣本觀測值后，最合理的參數估計量應該使得從模型中抽取該n組樣本觀測值的概率最大，而不是像最小二乘估計法旨在得到使得模型能最好地擬合樣本數據的參數估計量。  

似然函數

對數似然函數

 當樣本為獨立同分布時，似然函數可簡寫為L(α)=Πp(xi;α)，牽涉到乘法不好往下處理，于是對其取對數研究，得到對數似然函數l(α)=ln L(α)=Σln p(xi;α) 

求解極大似然

同樣使用多元函數求極值的方法。

例如：一個麻袋里有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就采取最大似然估計法： 我假設我抽到黑球的概率為p,那得出8次黑球2次白球這個結果的概率為：

P(黑=8)=p^8*（1-p）^2,  

現在我想要得出p是多少啊，很簡單，使得P(黑=8)最大的p就是我要求的結果，接下來求導的的過程就是求極值的過程啦。

可能你會有疑問，為什么要ln一下呢，這是因為ln把乘法變成加法了，且不會改變極值的位置（單調性保持一致嘛）這樣求導會方便很多~

同樣，這樣一道題：設總體 X 的概率密度為
已知： X1,X2..Xn是樣本觀測值，  

求：θ的極大似然估計
這也一樣啊，要得到 X1,X2..Xn這樣一組樣本觀測值的概率是

P{x1=X1,x2=X2,...xn=Xn}= f(X1,θ)f(X2,θ)…f(Xn,θ) 

然后我們就求使得P最大的θ就好啦，一樣是求極值的過程，不再贅述。

“機器學習的中心極限定律怎么理解”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！