亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

怎么用Python中從頭開始的實現完整的異常檢測算法

發布時間:2021-10-26 11:44:59 來源:億速云 閱讀:150 作者:iii 欄目:編程語言

這篇文章主要介紹“怎么用Python中從頭開始的實現完整的異常檢測算法”,在日常操作中,相信很多人在怎么用Python中從頭開始的實現完整的異常檢測算法問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”怎么用Python中從頭開始的實現完整的異常檢測算法”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!

利用概率的異常檢測算法

異常檢測可以作為離群分析的統計任務來對待。 但是,如果我們開發一個機器學習模型,它可以自動化,并且像往常一樣可以節省大量時間。 有很多異常檢測用例。  信用卡欺詐檢測,故障機器檢測或基于其異常功能的硬件系統檢測,基于病歷的疾病檢測都是很好的例子。 還有更多用例。 并且異常檢測的使用只會增加。

公式和過程

與我之前解釋的其他機器學習算法相比,這將簡單得多。 該算法將使用均值和方差來計算每個訓練數據的概率。

如果一個訓練示例的概率很高,那是正常的。 如果某個訓練示例的概率較低,則為異常示例。 對于不同的訓練集,高概率和低概率的定義將有所不同。  稍后我們將討論如何確定。

如果我必須解釋異常檢測的工作過程,那非常簡單。

(1) 使用以下公式計算平均值:

怎么用Python中從頭開始的實現完整的異常檢測算法

這里m是數據集的長度或訓練數據的數量,xi是一個訓練示例。 如果您擁有多個訓練功能,那么大多數時候您將需要為每個功能計算平均值。

(2) 使用以下公式計算方差:

怎么用Python中從頭開始的實現完整的異常檢測算法

此處,mu是從上一步計算得出的平均值。

(3) 現在,使用此概率公式計算每個訓練示例的概率。

怎么用Python中從頭開始的實現完整的異常檢測算法

不要為這個公式中的加號感到困惑! 這實際上是對角線形狀的變化。

稍后我們將實現算法時,您將看到它的外觀。

(4) 我們現在需要找到概率的閾值。 正如我之前提到的,如果訓練示例的概率較低,那么這就是一個異常示例。

低概率是多少概率?

沒有通用的限制。 我們需要為我們的訓練數據集找到答案。

我們從步驟3中獲得的輸出中獲取一系列概率值。對于每種概率,如果數據是異常或正常的,請找到標簽。

然后計算一系列概率的精度,召回率和f1分數。

可以使用以下公式計算精度

怎么用Python中從頭開始的實現完整的異常檢測算法

召回率可以通過以下公式計算:

怎么用Python中從頭開始的實現完整的異常檢測算法

在此,"正肯定"是指算法將示例檢測為異常并且實際上是異常的情況下的數量。

當算法將示例檢測為異常時會出現誤報,但事實并非如此。

False Negative表示算法檢測到的示例不是異常示例,但實際上,這是一個異常示例。

從上面的公式中,您可以看到更高的精度和更高的召回率總會很好,因為這意味著我們擁有更多的積極優勢。  但是同時,如您在公式中所看到的,誤報和誤報也起著至關重要的作用。 那里需要保持平衡。 根據您所在的行業,您需要確定哪個是您可以容忍的。

一個好的方法是取平均值。 有一個求平均值的獨特公式。 這就是f1分數。 f1得分的公式是:

怎么用Python中從頭開始的實現完整的異常檢測算法

這里,P和R分別是精度和召回率。

我不會詳細說明為什么公式如此獨特。 因為本文是關于異常檢測的。  如果您有興趣了解有關精度,召回率和f1得分的更多信息,請在此處查看有關該主題的詳細文章:

完全了解精度,召回率和F分數概念

如何處理機器學習中偏斜的數據集

根據f1分數,您需要選擇閾值概率。

1是完美的f得分,0是最差的概率得分。

異常檢測算法

我將使用Andrew Ng的機器學習課程中的數據集,該數據集具有兩個訓練功能。 我沒有使用本文的真實數據集,因為該數據集非常適合學習。 它只有兩個功能。  在任何現實世界的數據集中,不可能只有兩個功能。

開始任務吧!

首先,導入必要的軟件包

import pandas as pd import numpy as np

導入數據集。 這是一個excel數據集。 此處,訓練數據和交叉驗證數據存儲在單獨的表格中。 因此,讓我們帶來培訓數據。

df = pd.read_excel('ex8data1.xlsx', sheet_name='X', header=None) df.head()
怎么用Python中從頭開始的實現完整的異常檢測算法

讓我們針對第1列繪制第0列。

plt.figure() plt.scatter(df[0], df[1]) plt.show()
怎么用Python中從頭開始的實現完整的異常檢測算法

通過查看此圖,您可能知道哪些數據是異常的。

檢查此數據集中有多少訓練示例:

m = len(df)

計算每個特征的平均值。 這里我們只有兩個功能:0和1。

s = np.sum(df, axis=0) mu = s/mmu

輸出:

0 14.1122261 14.997711 dtype: float64

根據上面"公式和過程"部分所述的公式,計算出方差:

vr = np.sum((df - mu)**2, axis=0) variance = vr/mvariance

輸出:

0 1.8326311 1.709745 dtype: float64

現在使其成為對角線形狀。 正如我在概率公式后面的"公式和過程"部分所解釋的那樣,求和符號實際上是方差的對角線。

var_dia = np.diag(variance) var_dia

輸出:

array([[1.83263141, 0. ], [0. , 1.70974533]])

計算概率:

k = len(mu) X = df - mu p = 1/((2*np.pi)**(k/2)*(np.linalg.det(var_dia)**0.5))* np.exp(-0.5* np.sum(X @ np.linalg.pinv(var_dia) * X,axis=1)) p
怎么用Python中從頭開始的實現完整的異常檢測算法

訓練部分完成。

下一步是找出閾值概率。 如果該概率低于閾值概率,則示例數據為異常數據。 但是我們需要為我們的特殊情況找出該閾值。

在此步驟中,我們使用交叉驗證數據以及標簽。 在此數據集中,我們具有交叉驗證數據以及單獨的工作表中的標簽。

對于您的情況,您只需保留原始數據的一部分以進行交叉驗證。

現在導入交叉驗證數據和標簽:

cvx = pd.read_excel('ex8data1.xlsx', sheet_name='Xval', header=None) cvx.head()
怎么用Python中從頭開始的實現完整的異常檢測算法

標簽是:

cvy = pd.read_excel('ex8data1.xlsx', sheet_name='y', header=None) cvy.head()

怎么用Python中從頭開始的實現完整的異常檢測算法

我將" cvy"轉換為NumPy數組只是因為我喜歡使用數組。 DataFrames也很好。

y = np.array(cvy)

輸出:

#Part of the array array([[0], [0], [0], [0], [0], [0], [0], [0], [0],

在這里," y"的值為0表示這是一個正常的例子,而y的值為1則表示這是一個異常的例子。

現在,如何選擇閾值?

我不想只是從概率列表中檢查所有概率。 那可能是不必要的。 讓我們再檢查幾率值。

p.describe()

輸出:

count 3.070000e+02 mean 5.905331e-02 std 2.324461e-02 min 1.181209e-2325% 4.361075e-0250% 6.510144e-0275% 7.849532e-02 max 8.986095e-02 dtype: float64

如您在圖片中看到的,我們沒有太多異常數據。 因此,如果我們僅從75%的值開始,那應該很好。 但是為了更加安全,我將從平均值開始。

因此,我們將從平均值到較低范圍取一系列概率。 我們將檢查該范圍內每個概率的f1分數。

首先,定義一個函數來計算真實肯定,錯誤肯定和錯誤否定:

def tpfpfn(ep):  tp, fp, fn = 0, 0, 0  for i in range(len(y)):    if p[i] <= ep and y[i][0] == 1:     tp += 1    elif p[i] <= ep and y[i][0] == 0:     fp += 1    elif p[i] > ep and y[i][0] == 1:     fn += 1  return tp, fp, fn

列出小于或等于平均概率的概率。

eps = [i for i in p if i <= p.mean()]

檢查清單的長度,

len(eps)

輸出:

133

根據我們之前討論的公式,定義一個函數來計算f1分數:

def f1(ep):  tp, fp, fn = tpfpfn(ep)  prec = tp/(tp + fp)  rec = tp/(tp + fn)  f1 = 2*prec*rec/(prec + rec)  return f1

所有功能都準備就緒!

現在計算所有&epsilon;或我們之前選擇的概率值范圍的f1分數。

f = [] for i in eps: f.append(f1(i)) f

輸出:

[0.14285714285714285, 0.14035087719298248, 0.1927710843373494, 0.1568627450980392, 0.208955223880597, 0.41379310344827586, 0.15517241379310345, 0.28571428571428575, 0.19444444444444445, 0.5217391304347826, 0.19718309859154928, 0.19753086419753085, 0.29268292682926833, 0.14545454545454545,

這是f得分列表的一部分。 長度應為133。

f分數通常介于0和1之間,其中1是完美的f分數。 f1分數越高越好。 因此,我們需要從剛剛計算出的" f"分數列表中獲得最高的f分數。

現在,使用" argmax"函數確定最大f得分值的索引。

np.array(f).argmax()

輸出:

131

現在使用該索引來獲取閾值概率。

e = eps[131] e

輸出:

6.107184445968581e-05

找出異常的例子

我們有閾值概率。 我們可以從中找出訓練數據的標簽。

如果概率值小于或等于該閾值,則數據為異常,否則為正常。 我們將正常數據和異常數據分別表示為0和1,

label = [] for i in range(len(df)): if p[i] <= e: label.append(1) else: label.append(0)  label

輸出:

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0,

這是標簽列表的一部分。

我將在上面的訓練數據集中添加此計算出的標簽:

df['label'] = np.array(label) df.head()
怎么用Python中從頭開始的實現完整的異常檢測算法

我繪制了紅色標簽為1以及黑色標簽為零的數據。 這是情節。

怎么用Python中從頭開始的實現完整的異常檢測算法

是否有意義?

是嗎? 紅色的數據顯然是異常的。

到此,關于“怎么用Python中從頭開始的實現完整的異常檢測算法”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注億速云網站,小編會繼續努力為大家帶來更多實用的文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

深州市| 明水县| 通辽市| 浑源县| 太仓市| 大同市| 镇康县| 普格县| 海宁市| 太仆寺旗| 恭城| 鄢陵县| 芜湖市| 巩留县| 宜兴市| 清水河县| 拉萨市| 永年县| 遂溪县| 甘德县| 龙口市| 通城县| 若尔盖县| 星座| 葵青区| 丰镇市| 绥滨县| 衢州市| 江阴市| 保定市| 山阴县| 临西县| 梁河县| 榕江县| 绿春县| 安乡县| 沂源县| 朝阳区| 永德县| 娄烦县| 株洲县|