【异常分析：四分位距与3σ原则】 |
您所在的位置：网站首页 › 离群值的计算方法 › 【异常分析：四分位距与3σ原则】 |
【异常分析：四分位距与3σ原则】
|
文章目录
前言四分位距（IQR）3σ原则使用步骤计算四分位距应用3σ原则
代码
前言
异常分析的目标是识别数据中的异常值，这些异常值可能是由于错误的记录、设备故障或者其他未知原因导致的。四分位距（interquartile range, IQR）和3σ原则（3 sigma rule）是两个常用的工具。 四分位距（IQR）四分位距是统计学中用于度量数据离散程度的一种方法。它是指数据的上四分位数（Q3）与下四分位数（Q1）之间的差值，通常用于识别数据集中的离群值。计算四分位距的公式如下： IQR=Q3-Q1 其中，Q1是数据的25th百分位数，Q3是数据的75th百分位数。 3σ原则3σ原则是一种基于正态分布的统计学原则，用于判断数据中的异常值。根据3σ原则，如果数据服从正态分布，那么大约有68%的数据值落在均值加减一个标准差范围内，大约有95%的数据值落在均值加减两个标准差范围内，大约有99.7%的数据值落在均值加减三个标准差范围内。因此，超出均值加减三个标准差范围的数据可以被视为异常值。 使用步骤 计算四分位距 import numpy as np # 计算第一四分位数（Q1） Q1 = np.percentile(data, 25) # 计算第三四分位数（Q3） Q3 = np.percentile(data, 75) # 计算四分位距（IQR） IQR = Q3 - Q1 应用3σ原则 # 计算数据的均值和标准差 mean = np.mean(data) std_dev = np.std(data) # 计算异常值的阈值 threshold = 3 * std_dev # 根据3σ原则判断异常值 outliers = [x for x in data if abs(x - mean) > threshold] 代码 import numpy as np import matplotlib.pyplot as plt # 示例数据 data = [100, 150, 200, 250, 300, 350, 400, 450, 500, 1000] # 计算四分位距 Q1 = np.percentile(data, 25) # 第一四分位数 Q3 = np.percentile(data, 75) # 第三四分位数 IQR = Q3 - Q1 # 四分位距 print("第一四分位数:", Q1) print("第三四分位数:", Q3) print("四分位距:", IQR) print("异常值范围:", (Q1 - 1.5 * IQR, Q3 + 1.5 * IQR)) # 应用3σ原则识别异常值 mean = np.mean(data) std_dev = np.std(data) threshold = 3 * std_dev outliers = [x for x in data if abs(x - mean) > threshold] print("异常值:", outliers) # 可视化 # 箱型图 plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False plt.boxplot(data) plt.xlabel('数据') plt.title('数据和异常值') plt.show()
|
【本文地址】