獨家 | 在Python中使用廣義極端學生化偏差（GESD）進行異常檢測

作者：Shaleen Swarup

翻譯：歐陽錦

校對：王可汗

本文從理論和實踐角度介紹了使用廣義極端學生化偏差（GESD）進行異常檢測的方法，展示了Python代碼示例和相關(guān)源碼。

關(guān)鍵字：Python 異常值檢測 ESD

異常檢測在生活中起著非常重要的作用。通常，異常數(shù)據(jù)可能與某種問題或罕見事件有關(guān)，例如 ****欺詐、醫(yī)療問題、結(jié)構(gòu)缺陷、設(shè)備故障等。這種聯(lián)系使得能夠挑選出哪些數(shù)據(jù)點可以被視為異常值是非常有趣的，因為從商業(yè)角度識別這些事件通常是十分有趣的事情。

此外，許多統(tǒng)計方法對異常值的存在很敏感。例如，平均值和標準差的計算可能會被單個嚴重不準確的數(shù)據(jù)點所影響。檢查異常值應該是任何數(shù)據(jù)分析的常規(guī)部分，并且應該檢查潛在的異常值以查看它們是否可能是錯誤的數(shù)據(jù)。

什么是異常值檢測

任何發(fā)現(xiàn)數(shù)據(jù)集異常值的過程都可以被稱為異常檢測；也就是檢測那些不合群的事物。這些異?？赡苁钱惓５木W(wǎng)絡(luò)流量，fritz上的一個傳感器，或者只是分析前識別要清理的數(shù)據(jù)。

清理的數(shù)據(jù)

https://www.bmc.com/blogs/data-normalization/

基于不同方案或方法的多種技術(shù)可以用來識別異常。例如，圖形的方法（箱線圖、散點圖）；基于距離的方案（最近鄰算法、聚類算法）；統(tǒng)計方法（GESD、基于四分位數(shù)的技術(shù)）等等。每種方案都有其優(yōu)缺點，其效果都取決于實際用例。

在本文中，我們將重點關(guān)注GESD（廣義極端學生化偏差）并在Python中實現(xiàn)一個簡單的示例以更好地了解它的原理。在開始之前，我想說明，這篇文章深受我的探索性數(shù)據(jù)分析教授Edward McFowland和Bhavesh Bhatt在YouTube上的機器學習和統(tǒng)計教程的講座的啟發(fā)。

機器學習和統(tǒng)計教程

https://www.youtube.com/channel/UC8ofcOdHNINiPrBA9D59Vaw

什么是廣義極端學生化偏差（Generalized Extreme Studentized Deviate）

GESD是一種簡單的統(tǒng)計方法，用于檢測遵循近似正態(tài)分布的單變量數(shù)據(jù)集中的一個或多個異常值。統(tǒng)計方法假設(shè)常規(guī)數(shù)據(jù)遵循某種統(tǒng)計模型（或分布），而不遵循模型（或分布）的數(shù)據(jù)則是異常值。

GESD克服了Grubbs檢驗和Tietjen-Moore檢驗的主要限制：即必須明確確定疑似異常值的數(shù)量k。如果沒有正確指定k，則可能會擾亂這些測試的結(jié)論。而GESD測試只要求確定疑似異常值數(shù)量的上限。

給定上限r(nóng)，GESD測試基本上執(zhí)行r個單獨的測試：一個異常值的測試，兩個異常值的測試，依此類推直到r個異常值。

GESD測試定義在以下假設(shè)上：

H0：數(shù)據(jù)集中沒有異常值

Ha：數(shù)據(jù)集中最多有r個異常值

GESM的檢驗統(tǒng)計量公式如下：

GESD的檢驗統(tǒng)計量

這里，x_bar和σ分別表示樣本均值和樣本標準差。

在GESD中，我們刪去使得 | xi - x_bar | 最大化的觀測值。然后，用n-1個觀察值重新計算上述統(tǒng)計量。我們重復這個過程，直到r個觀測值被移除。我們由此得到r統(tǒng)計量R1, R2 ……, Rr。通過代碼示例，這個過程將變得更加清晰。

對應于r檢驗統(tǒng)計量，由以下公式計算r的臨界值：

臨界值計算

其中 tp, ν 是具有ν自由度的t分布的100p百分點，并且

t分布

https://www.itl.nist.gov/div898/handbook/eda/section3/eda3664.htm

我們的顯著性水平將用α表示。

異常值的數(shù)量是通過找到能滿足Ri > λi的最大的i來確定的。

Rosner的模擬研究表明，該近似臨界值對于樣本數(shù)量n ≥ 25非常準確，對于n ≥ 15也相當準確。

請注意，盡管GESD本質(zhì)上是依序使用Grubbs測試而實現(xiàn)的，但仍有一些重要區(qū)別：

Grubbs測試

https://www.itl.nist.gov/div898/handbook/eda/section3/eda35h1.htm

GESD測試會根據(jù)被測試的異常值的數(shù)量對臨界值進行適當?shù)恼{(diào)整，而依序使用Grubbs測試的則沒有這樣的調(diào)整。

如果遮蔽效應明顯，Grubbs 測試的依次使用可能會過早停止。

現(xiàn)在再鞏固一下理論部分，在Python中實現(xiàn)GESD以了解它的實際工作原理吧。

首先，模擬我們的數(shù)據(jù)。這里我們創(chuàng)建了0到1之間的100個隨機值。數(shù)據(jù)的散點圖如下所示。

現(xiàn)在，我們特意在數(shù)據(jù)中放入一些異常值進行識別。

有異常值的數(shù)據(jù)

現(xiàn)在我們將創(chuàng)建單獨的函數(shù)來計算檢驗統(tǒng)計量和臨界值。

計算檢驗統(tǒng)計量的函數(shù)如下：

計算臨界值的函數(shù)如下：

下面這個函數(shù)將所有內(nèi)容匯總在一起并執(zhí)行r次以識別異常值的數(shù)量。對于每次迭代，我們使用上面的函數(shù)來計算使得|xi - x_bar| 最大化的檢驗統(tǒng)計量，并計算其相應的臨界值，然后從我們的數(shù)據(jù)中刪除這個觀測值以進行下一次迭代。

在我們的數(shù)據(jù)上以5%的顯著性水平和具有7個異常值上限的情況調(diào)用這個函數(shù)會產(chǎn)生以下結(jié)果：

可以看到一共進行了7次檢驗。異常值的數(shù)量是通過找到滿足Ri > λi的最大的i來確定的。對于此示例，檢驗統(tǒng)計量大于臨界值（在顯著性水平為5%時）的最大異常值數(shù)為3。因此，我們得出結(jié)論，該數(shù)據(jù)集中有3個異常值。

代碼鏈接：

https://gist.github.com/shaleenswarup/77c711ac5bade7c8735fd309d94348ef#file-gistfile1-py

這就是Python中使用GESD進行異常檢測的實現(xiàn)。希望本文對您實現(xiàn)這種在數(shù)據(jù)中查找異常值的簡單而有效的方法有所幫助。想查看更多項目，請查看作者的 Github 個人資料。

作者的 Github 個人資料

https://github.com/shaleenswarup

引用

1. bmc | Anomaly Detection with Machine Learning: An Introduction by Jonathan Johnson

2. Anomaly detection using PCA from datascience904

https://datascience904.wordpress.com/2019/10/14/anomaly-detection-using-pca/

3. Generalized ESD Test for Outliers from Engineering Statistics

https://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3.htm

原文標題：

Anomaly Detection with GESD (Generalized Extreme Studentized Deviate) in Python

原文鏈接：

https://towardsdatascience.com/anomaly-detection-with-generalized-extreme-studentized-deviate-in-python-f350075900e2