決策樹Decision Tree是什么

本篇內容介紹了“決策樹Decision Tree是什么”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

決策樹(Decision Tree）是在已知各種情況發生概率的基礎上，通過構成決策樹來求取凈現值的期望值大于等于零的概率，評價項目風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。在機器學習中，決策樹是一個預測模型，他代表的是對象屬性與對象值之間的一種映射關系，它是一種監督學習。

一．決策樹模型

首先說明下什么是決策樹呢？決策樹是一個類似流程圖的樹結構：每個內部節點(分支節點/樹枝節點)表示一個特征或屬性，每個樹葉節點代表一個分類。

在決策樹的生長過程中主要會存在的問題是：對于選擇分支節點的主觀性較強。解決辦法：利用信息熵或信息增益解決因為人主觀判斷問題，只需要計算信息熵或信息增益再排序從而正確分類的過程。

信息增益的含義 ：劃分數據集前后信息發生的變化。

熵：物理學中指物體能量的分布均勻情況，信息熵：對信息的不確定性的度量：公式：H(x)=-sum(plog(p))。信息熵越小，不確定性越小，確定性越大，信息的純度越高。H(D)是數據集D的熵，計算公式：

Ck是在數據集D中出現k類的數量，N是樣本的數量，類別的總數。H(D|A) 是特征A對與數據集D的條件熵，其意義是：在子集Di中Y的分布。計算方法是：

GainA(A的信息增益)=H_All(總體的信息熵)-H(A)(以A節點作為劃分節點的信息熵)決策樹中分支節點選擇：信息增益大的作為分支節點信息增益越大，信息熵越小，信息不確定性越小，確定性越大，純度越高。綜合之后信息增益的公式：

特征A對訓練集D的信息增益比gR(D,A)定義為

HA(D)刻畫了特征A對訓練集D的分辨能力，信息增益率改進由于信息增益偏向特征取值較多的不足之處，使用信息增益率進一步劃分決策樹。

以上決策算法：ID3算法-信息增益、C4.5算法-信息增益率。決策樹剪枝策略： 先剪枝、后剪枝，用于解決過擬合問題。

二．ID3和C4.5劃分策略

ID3和C4.5算法的劃分思想：根據信息增益或信息增益率選擇構建決策樹的分支節點，依次遞歸建樹。

決策樹構建的基本步驟：

(1)如果所有的屬性都被用于劃分，直接結束；

(2)計算所有特征的信息增益或信息增益率，選擇信息增益較大的(如a節點)值對應的特征進行分類；

(3)如果使用a節點作為劃分節點沒有劃分完成，接下來使用除去a節點之外的其他特征節點中信息增益較大的進一步進行建立決策樹。（遞歸建立決策樹）

決策樹停止停止生長的條件：

• 如果屬性都用于劃分，直接結束；如果還有沒有被劃分的節點，使用多數表決；

• 如果所有樣本都已經分類，直接結束；

• 定義最大不純度進行度量；

• 定義葉子節點的數目；

• 定義分支節點包含的樣本個數。

三．決策樹剪枝

決策樹是充分考慮了所有的數據點而生成的復雜樹，有可能出現過擬合的情況，決策樹越復雜，過擬合的程度會越高。決策樹的構建過程是一個遞歸的過層，所以必須確定停止條件，否則過程將不會停止，樹會不停生長。

先剪枝：提前結束決策樹的增長。預剪枝降低了過擬合的風險,減少了決策樹的訓練時間開銷和測試時間開銷.帶來了欠擬合的風險。

后剪枝：是指在決策樹生長完成之后再進行剪枝的過程。—— 最小錯誤剪枝技術(MEP)，悲觀錯誤剪枝(MEP)和代價復雜度剪枝(CCP)泛化性能往往優于預剪枝決策樹,訓練時間開銷比未剪枝的決策樹和預剪枝的決策樹都要大得多。

總結：

使用決策樹進行分類的優點是非常直觀，便于理解，并且執行效率高，執行只需要一次構建，可反復使用。但是對小規模數據集才更有效，而且在處理連續變量時效果不好，較難預測連續字段，在類別較多時，錯誤增加的比較快。

“決策樹Decision Tree是什么”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！