多种测试方法

Question

我想模拟不同类型的多重检验校正，如Bonferroni，Fisher's LSD，DUncan，Dunn-Sidak Newman-Keuls，Tukey等的影响......对Anova。

我想我应该只是运行一个普通的Anova。然后接受为p.value s，我使用p.adjust来计算。但我没有得到这个p.adjust函数如何工作。可以给我一些有关p.adjust()的见解吗？

运行时：

> p.adjust(c(0.05,0.05,0.1),"bonferroni") 
# [1] 0.15 0.15 0.30 

可能有人解释为这是什么意思？

谢谢您的回答。我有点了解这一点。但我仍然不明白p.adjust的输出。我期望......

P.adjust（0.08， '邦费罗尼'，N = 10）

...将返回0.008，而不是0.8。 n = 10并不意味着我正在做10次比较。并不是0.08的“原始阿尔法”（我的意思是我用来拒绝NULL假设的门槛，如果我有一个简单的比较）

Answer 1

你必须阅读每个多重测试校正技术，不管它是False Discovery Rate (FDR)或Family-Wise Error Rate (FWER）。 （感谢@thelatemail指出扩展缩写）。

Bonferroni校正由其中n是在典型的多重比较（这里n=3）测试假设的数目显着性水平设定alpha到alpha/n控制FWER。

假设您正在测试5％alpha。意思是如果你的p值是< 0.05，那么你拒绝你的NULL。对于n=3，那么对于Bonferroni修正，您可以将alpha除以3 = 0.05/3〜0.0167，然后检查您的p值是否为< 0.0167。

等价地（这是直接显而易见的），而不是检查pval < alpha/n，你可以把n到另一边pval * n < alpha。这样alpha保持不变。因此，您的p值乘以3，然后将检查它们是否为< alpha = 0.05例如。

因此，您获得的输出是FWER controlled p-value，如果这是<阿尔法（5％的受访者），那么你会拒绝NULL，否则你会接受零假设。

对于每个测试，都有不同的程序来控制多重测试造成的假阳性。维基百科可能是了解其他测试的好起点，以了解它们如何纠正控制误报。

但是，您输出的p.adjust，通常给出multiple-testing corrected p-value。在Bonferroni的情况下，它是FWER控制的p值。在BH方法的情况下，它是FDR校正的p值（或者也称为q值）。

希望这有助于一点。