異常檢測是異常值分析中的一項統(tǒng)計任務，但是如果我們開發(fā)一個機器學習模型來自動化地進行異常檢測，可以節(jié)省很多時間。

異常檢測有很多用例，包括信用卡欺詐檢測、故障機器檢測、基于異常特征的硬件系統(tǒng)檢測、基于醫(yī)療記錄的疾病檢測都是很好的例子，除此之外也還有很多的用例。在本文中，我們將使用Python從頭開始實現異常檢測算法。公式和過程與我之前解釋過的其他機器學習算法相比，我們使用的異常檢測算法要簡單得多。該算法使用均值和方差來計算每個訓練數據的概率。如果一個訓練實例的概率很高，則是正常的；如果某個訓練實例的概率很低，那就可以是一個異常樣本。對于不同的訓練集，高概率和低概率的定義是不同的，這個我們以后再討論。接下來我們來看一下異常檢測的工作過程。使用以下公式計算平均值：

這里m是數據集的長度或訓練數據的數量，而是一個單獨的訓練例子。如果你有多個訓練特征，大多數情況下都需要計算每個特征的平均值。使用以下公式計算方差：

這里，mu是上一步計算的平均值�，F在，用這個概率公式來計算每個訓練例子的概率。

不要被這個公式中的求和符號弄糊涂了！這實際上是Sigma方差。稍后我們實現該算法時，就會理解它了�，F在我們需要找到概率的臨界值。正如我前面提到的，如果一個訓練例子的概率很低，那這就是一個異常樣本。多大是低概率呢這沒有統(tǒng)一的標準，我們需要為我們的訓練數據集找出這個閾值。我們從步驟3中得到的輸出中獲取一系列概率值，對于每個概率，通過閾值的設置來判斷數據是否異常然后計算一系列概率的精確度、召回率和f1分數。精度可使用以下公式計算

召回率的計算公式如下：

在這里，True positives（真正例）是指是異常的且算法檢測到也是異常的樣本。False Positives（假正例）是指不是異常的但算法檢測到是異常的樣本。False Negative（假反例）是指不是異常的且算法檢測到也不是異常的樣本。從上面的公式你可以看出，更高的精確度和更高的召回率說明算法性能更好，因為這意味著我們有更多的真正的正例，但同時，假正例和假反例也起著至關重要的作用，這需要一個平衡點，根據你的行業(yè)，你需要決定哪一個對你來說是可以忍受的。一個好辦法是取平均數。計算平均值有一個獨特的公式，這就是f1分數，f1得分公式為：

這里，P和R分別表示精確性和召回率。如果你對該公式感興趣的話，可以查看：https：／／towardsdatascience．com／a－complete－understanding－of－precision－recall－and－f－score－concepts－23dc44defef6根據f1分數，你需要選擇你的閾值概率。異常檢測算法我們將使用Andrew Ng的機器學習課程的數據集，它具有兩個訓練特征。我沒有在本文中使用真實的數據集，因為這個數據集非常適合學習，它只有兩個特征。在任何真實的數據集中，都不可能只有兩個特征。有兩個特性的好處是可以可視化數據，這對學習者非常有用。請從該鏈接下載數據集：https：／／github．com／rashida048／Machine－Learning－With－Python／blob／master／ex8data1．xlsx首先，導入必要的包import pandas as pd 

import numpy as np

導入數據集。這是一個excel數據集。在這里，訓練數據和交叉驗證數據存儲在單獨的表中。df ＝ pd．read＿excel（＇ex8data1．xlsx＇， sheet＿name＝＇X＇， header＝None）

df．head（）

讓我們將第0列與第1列進行比較。plt．figure（）

plt．scatter（df［0］， df［1］）

plt．show（）

你可能通過看這張圖知道哪些數據是異常的。檢查此數據集中有多少個訓練示例：m ＝ len（df）