訂閱
糾錯
加入自媒體

使用Python進行異常檢測的解決方案

異常檢測是異常值分析中的一項統(tǒng)計任務,但是如果我們開發(fā)一個機器學習模型來自動化地進行異常檢測,可以節(jié)省很多時間。

異常檢測有很多用例,包括信用卡欺詐檢測、故障機器檢測、基于異常特征的硬件系統(tǒng)檢測、基于醫(yī)療記錄的疾病檢測都是很好的例子,除此之外也還有很多的用例。在本文中,我們將使用Python從頭開始實現異常檢測算法。公式和過程與我之前解釋過的其他機器學習算法相比,我們使用的異常檢測算法要簡單得多。該算法使用均值和方差來計算每個訓練數據的概率。如果一個訓練實例的概率很高,則是正常的;如果某個訓練實例的概率很低,那就可以是一個異常樣本。對于不同的訓練集,高概率和低概率的定義是不同的,這個我們以后再討論。接下來我們來看一下異常檢測的工作過程。使用以下公式計算平均值:

使用Python進行異常檢測的解決方案

這里m是數據集的長度或訓練數據的數量,而是一個單獨的訓練例子。如果你有多個訓練特征,大多數情況下都需要計算每個特征的平均值。使用以下公式計算方差:

使用Python進行異常檢測的解決方案

這里,mu是上一步計算的平均值,F在,用這個概率公式來計算每個訓練例子的概率。

使用Python進行異常檢測的解決方案

不要被這個公式中的求和符號弄糊涂了!這實際上是Sigma方差。稍后我們實現該算法時,就會理解它了,F在我們需要找到概率的臨界值。正如我前面提到的,如果一個訓練例子的概率很低,那這就是一個異常樣本。多大是低概率呢這沒有統(tǒng)一的標準,我們需要為我們的訓練數據集找出這個閾值。我們從步驟3中得到的輸出中獲取一系列概率值,對于每個概率,通過閾值的設置來判斷數據是否異常然后計算一系列概率的精確度、召回率和f1分數。精度可使用以下公式計算

使用Python進行異常檢測的解決方案

召回率的計算公式如下:

使用Python進行異常檢測的解決方案

在這里,True positives(真正例)是指是異常的且算法檢測到也是異常的樣本。False Positives(假正例)是指不是異常的但算法檢測到是異常的樣本。False Negative(假反例)是指不是異常的且算法檢測到也不是異常的樣本。從上面的公式你可以看出,更高的精確度和更高的召回率說明算法性能更好,因為這意味著我們有更多的真正的正例,但同時,假正例和假反例也起著至關重要的作用,這需要一個平衡點,根據你的行業(yè),你需要決定哪一個對你來說是可以忍受的。一個好辦法是取平均數。計算平均值有一個獨特的公式,這就是f1分數,f1得分公式為:

使用Python進行異常檢測的解決方案

這里,P和R分別表示精確性和召回率。如果你對該公式感興趣的話,可以查看:https://towardsdatascience.com/a-complete-understanding-of-precision-recall-and-f-score-concepts-23dc44defef6根據f1分數,你需要選擇你的閾值概率。異常檢測算法我們將使用Andrew Ng的機器學習課程的數據集,它具有兩個訓練特征。我沒有在本文中使用真實的數據集,因為這個數據集非常適合學習,它只有兩個特征。在任何真實的數據集中,都不可能只有兩個特征。有兩個特性的好處是可以可視化數據,這對學習者非常有用。請從該鏈接下載數據集:https://github.com/rashida048/Machine-Learning-With-Python/blob/master/ex8data1.xlsx首先,導入必要的包import pandas as pd 

import numpy as np

導入數據集。這是一個excel數據集。在這里,訓練數據和交叉驗證數據存儲在單獨的表中。df = pd.read_excel('ex8data1.xlsx', sheet_name='X', header=None)

df.head()

使用Python進行異常檢測的解決方案

讓我們將第0列與第1列進行比較。plt.figure()

plt.scatter(df[0], df[1])

plt.show()

使用Python進行異常檢測的解決方案

你可能通過看這張圖知道哪些數據是異常的。檢查此數據集中有多少個訓練示例:m = len(df)

1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號