统计学基础 |
您所在的位置：网站首页 › 样本方差和卡方的关系 › 统计学基础 |
统计学基础
|
方差分析(analysis of variance)可以简单的理解为多组间的均值比较。例如A班、B班、C班、D班的考试成绩均值是否存在显著差异。方差分析是基于F分布的假设检验，所以又称F检验 
方差分析#
1、分析步骤#
1.1 明确问题，做出假设#
零假设为组间（假设有k组）均值相同。备择假设表示为k组中至少有两组不相等。 k表示组别数，nj表示第j组的样本数，xij表示第j组的第i个样本；(hat)x表示总均值。根据分组信息，可以将总变异分解为组间方差与组内误差两部分 $$ H_0 : \mu_1=\mu_2= … =\mu_k $$ 1.2 方差分解#（1）所有样本的总方差计算即所有组样本与总均值的差值的平方和。然后可将总分差分解为组间方差与组内方差两部分。 总方差计算公式$$ SS_{total} = \sum_{j=1}^{k} \sum_{i=1}^{n_j}(x_{ij}-\overline{x})^2 $$ （2）组间误差：分析组与组之间的差异。如果分组变量对结果有很大的影响，那么组间差异应该很大。 组间方差计算公式$$ SS_{between} = \sum_{j=1}^{k}n_{j}(\overline{x}_{j} - \overline{x})^2 $$ （3）组内方差：组内样本由于个体随机性造成差异。这种差异占比理论上应该越小越好，则每组的水平都很一致。 组内方差计算公式$$ SS_{within} = \sum_{j=1}^{k} \sum_{i=1}^{n_j}(x_{ij}-\overline{x}_j)^2 $$ 1.3 计算F统计量#（1）在零假设的前提下，组间方差等于0。而如果预期分类变量对样本结果影响很大，那么组间方差应远大于组内方差。 $$ SS_{total} = SS_{between} + SS_{within} $$ （2）因此可计算F统计量表示组间方差与组内方差的比值，其中分子的自由度为（k-1），分母的自由度为（N-k）。 $$ F = \frac{\frac{SS_{between}}{k-1}}{\frac{SS_{within}}{N-k}} $$ （3）在零假设成立的情况下，F统计量符合自由度组合为[(k-1), (N-k)]的F分布。据此计算出当前F统计量对应的P值结果。
如上方差分析的本质是变异(方差)分解。在给定一样本数据的总变异的前提下，观测指定的分组(分类)变量对于总变异的贡献度或者说解释度。在此基础上有一些衍生。 多因素方差分析 可能存在多个分组(健康/不健康、男女)变量共同影响样本的总变异，且这些影响具有可加性，即独立的。(不独立的情况即存在交互效应) 回归分析 换一个角度思考回归分析也属于方差分解。即分组变量为连续变量，以分析该自变量对样本数据的影响是否占总变异的主要部分。 2.2 Kruskal-Wails秩和检验#方差分析的重要前提是组间方差齐性与正态性。即每组数据的方差相等，且均符合正态分布。如不符合正态分布的假设，可以使用Kruskal-Wails秩和检验的非参数检验方法。 符合正态分布 不符合正态分布 两组间均值比较 T检验 Wilcoxon秩和检验 多组间均值比较 方差分析 Kruskal-Wails秩和检验 2.3 两两比较与P值校正#根据方差分析的零假设，在P值显著的情况下所能得到结论是至少存在两组间均值不同。如果想知道哪两组存在不同则需要进行两两比较（T检验）。 如果连续进行多次T检验，则一类错误概率会增加。例如将P值定义0.05，那么连续比较20次，则至少会有一次假阳性的结果发生；或者理解为 (1-0.05)^20=0.36，即只有36%的把握，认为20次比较中没有假阳性发生。 因此需要对原始P值进行调整，获得adjusted P-value，有如下方法 FDR/BH(Benjamini & Hochberg)：多重比较在所有拒绝H0的次数中，错误拒绝H0(假阳性)所占的比例 Bonferroni：根据比较的次数，将一类错误率控制在0.05/k之内。在比较次数比较多时，较为严苛 Holm，也称step-down Bonferroni法，不会太严苛 Hochberg，也称step-up Bonferryoni法，不会太严苛本质是对给定的一串P值进行调整；调整之后的值普遍比原始值高一点，所以在下结论时假阳性率会低一点。 
3、R实操#
示例数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
#加载示例数据集：五种降低胆固醇疗法的结果
library(multcomp)
data(cholesterol)
head(cholesterol)
# trt response
# 1 1time 3.8612
# 2 1time 10.3868
# 3 1time 5.9059
# 4 1time 3.0609
# 5 1time 7.7204
# 6 1time 2.7139
table(cholesterol$trt)
# 1time 2times 4times drugD drugE
# 10 10 10 10 10
方差分析
1
2
3
4
5
6
7
8
9
10
fit = aov(response ~ trt, data = cholesterol)
summary(fit)
# Df Sum Sq Mean Sq F value Pr(>F)
# trt 4 1351.4 337.8 32.43 9.82e-13 ***
# Residuals 45 468.8 10.4
# ---
# Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
summary(fit)[[1]][1,5] # Pr(>F)
# [1] 9.818516e-13
此外aov()还支持单因素协方差分析，双因素方差分析等 Tukey多重两两比较 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 TukeyHSD(fit) # Tukey multiple comparisons of means # 95% family-wise confidence level # # Fit: aov(formula = response ~ trt, data = cholesterol) # # $trt # diff lwr upr p adj # 2times-1time 3.44300 -0.6582817 7.544282 0.1380949 # 4times-1time 6.59281 2.4915283 10.694092 0.0003542 # drugD-1time 9.57920 5.4779183 13.680482 0.0000003 # drugE-1time 15.16555 11.0642683 19.266832 0.0000000 # 4times-2times 3.14981 -0.9514717 7.251092 0.2050382 # drugD-2times 6.13620 2.0349183 10.237482 0.0009611 # drugE-2times 11.72255 7.6212683 15.823832 0.0000000 # drugD-4times 2.98639 -1.1148917 7.087672 0.2512446 # drugE-4times 8.57274 4.4714583 12.674022 0.0000037 # drugE-drugD 5.58635 1.4850683 9.687632 0.0030633 Kruskal-Wails 秩和检验 1 2 3 4 5 6 fit = kruskal.test(response ~ trt, data = cholesterol) fit # Kruskal-Wallis rank sum test # # data: response by trt # Kruskal-Wallis chi-squared = 36.542, df = 4, p-value = 2.238e-07 卡方检验# 1、零假设的频率分布#在上面学到方差分析主要是对多组间均值差异比较的方法，样本数据（或者说结局变量）通常为连续型变量；从而探究分组变量的影响。 而卡方检验可以理解为样本数据（或者说结局变量）为分类型变量时，从而探究分组变量的影响。 例如如下数据：探究吸烟是否会影响健康 分组变量(是否吸烟)\结局变量(是否患病) health patient 是 20 10 否 80 15零假设：吸烟不影响健康。在此前提下，每组（是否吸烟）的发病率应该相同。 由于总发病率为（10+15）/（20+80+10+15） = 20%，而吸烟人数有30人，不吸烟人数有95人。所以理想的列联表频数分布应为 分组变量(是否吸烟)\结局变量(是否患病) health patient 是 30×(1-20%) = 24 30×20% = 6 否 95×(1-20%) = 76 95×20% = 19 2、卡方分布#卡方检验就是比较基于零假设的频数分布于真实频数分布的差距是否具有显著差异，如果有就可以拒绝零假设（在零假设的前提下出现此次观测样本数据的概率很低），认为吸烟会影响健康。 使用皮尔逊残差描述实际频数与理论频数之间的差异 $$ R = \frac{观测频数-预期频数}{\sqrt{预期频数}} \quad R_{1,1} = \frac{20-24}{\sqrt{24}} = 0.82 $$ 所以卡方统计量为所有皮尔逊残差的平方和，计算公式为如下。其中r表示行数，c表示列数。 $$ \chi^2 = \sum_i^r\sum_j^c R^2 $$ 计算得到的卡方统计量符合**自由度为 (r-1)×(c-1)**的卡方分布。如果对于统计量的分布概率值足够小，那么可拒绝零假设，认为分组变量与分类变量有关 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 # M |
【本文地址】