Python線性分類是什么意思

這篇文章給大家分享的是有關Python線性分類是什么意思的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

通過約束類的協方差相等，將貝葉斯分類器簡化為線性分類器。
比較生成模型和判別模型在挑戰性分類任務中的性能。

在本實驗課中：我們將比較線性分類的“生成建模”和“判別建模”方法。對于“生成”方法，我們將重新討論我們在前面練習中使用的貝葉斯分類代碼，但我們將限制系統具有相等的協方差矩陣，即一個協方差矩陣來表示所有類別，而不是每個類別都有其自己的協方差矩陣。在這種情況下，系統成為線性分類器。我們將把它與“判別式”方法進行比較，在這種方法中，我們使用感知器學習算法直接學習線性分類器參數。

在本筆記本中，我們將使用UCI機器學習庫中的另一個數據集：鮑魚數據。鮑魚是一種海螺。一個樣本的年齡可以通過在圓錐體上切割外殼和用顯微鏡（更像是樹木）計數環來確定，但這是一個耗時且昂貴的過程。這里的任務是通過簡單的外部測量動物的重量和尺寸，嘗試并預測環的數量。對于我們正在使用的數據集，環數的真實值是已知的（即，在測量蝸牛后對環進行計數）。結果從1到29個環不等，因此這通常被視為29類分類問題。為了簡化一些，我將數據重新組合成兩個大小大致相同的類：年輕（少于10個環）和老年（10個或更多個環）。我也只采集了女性樣本。有7個測量值（都是高度相關的）用于預測類別標簽。

生成性建模：具有等協變多元正態分布的貝葉斯分類。
與上一個介紹相比，有更多的樣本（1306個，178個），因此我們不必擔心遺漏一個測試，相反，我們只需像上一個一樣，將數據切割成大小相同的測試和訓練集。
通過修改上次編寫的代碼，使用具有完全協方差矩陣的多元正態分布來評估貝葉斯分類器的性能。在考慮對代碼進行更改時，請注意，主要區別在于本筆記本中只有兩個類，而不是三個。（如果您愿意，您可以嘗試將代碼包裝到函數中，看看是否可以將其設計為適用于任意數量的類。）
您的分類器的性能如何？此任務的分數可能在60%-70%之間，因此，如果性能似乎比前一個任務差很多，請不要擔心。如果性能低于60%，那么您應該檢查代碼是否存在可能的bug。

import numpy as np
X = np.loadtxt(open("data/abalone.txt", "r"))
X.shape
from scipy.stats import multivariate_normal
import matplotlib.pyplot as plt

%matplotlib inline

abalone1 = X[X[:, 0] == 1, :]
abalone2 = X[X[:, 0] == 2, :]
abalone1_test = abalone1[0::2, :]
abalone1_train = abalone1[1::2, :]
abalone2_test = abalone2[0::2, :]
abalone2_train = abalone2[1::2, :]
abalone_test = np.vstack((abalone1_test, abalone2_test))
abalone_test.shape

mean1 = np.mean(abalone1_train[:, 1:], axis=0)
mean2 = np.mean(abalone2_train[:, 1:], axis=0)
cov1 = np.cov(abalone1_train[:, 1:], rowvar=0)
cov2 = np.cov(abalone2_train[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov1)
dist2 = multivariate_normal(mean=mean2, cov=cov2)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

rowvarbool，可選

如果rowvar為True（默認），則每行表示一個變量，列中包含觀察值。否則，關系將被轉換：每列表示一個變量，而行包含觀察值。

使用等協方差矩陣:

如果您正確地遵循了與上一本筆記相同的步驟，您將為每個類估計出一個單獨的協方差矩陣。這些矩陣將不相等，因此您的系統將不是線性分類器（即，它將具有非平面決策邊界）。為了將其簡化為線性系統，我們需要確保只有一個協方差矩陣。您可以想象這樣做的不

同方式：

首先，您可以想象簡單地從完整的訓練集中估計單個協方差矩陣，然后再將其劃分為類。這將生成一個矩陣，但這不是正確的做法。我們希望矩陣表示類內的分布，如果您僅使用完整的訓練數據集訓練模型，它還將捕獲類間的分布。
其次，可以想象平均兩個類相關協方差矩陣。這更接近于正確的情況，但它沒有考慮到類的示例數可能不相等這一事實。
最好的方法是首先將兩個類的中心移動到同一點上，然后將它們視為單個類。要將類中心移動到同一點上，只需從每個數據樣本中減去類平均向量。

def centre_data(data):
    nsamples = data.shape[0]
    data_mean = np.mean(data, axis=0)
    data_centred = data - data_mean
    return data_centred


abalone1_centred = centre_data(abalone1_train)
abalone2_centred = centre_data(abalone2_train)

abalone_centred = np.vstack((abalone1_centred, abalone2_centred))

cov_global = np.cov(abalone_centred[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov_global)
dist2 = multivariate_normal(mean=mean2, cov=cov_global)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

感謝各位的閱讀！關于“Python線性分類是什么意思”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！