多重检验
multiple testing
同时检验很多个假设时，总有一些会纯靠运气显得「显著」。
同时检验很多假设时，总有一些会纯靠运气显得「显著」：测试 100 个毫无作用的策略，按 5% 的显著性水平，平均也会有约 5 个看起来有效。这就是多重检验问题。应对办法是事先限定要检验的假设，或用 Bonferroni、FDR 等方法校正阈值。回测了几十个版本只报告最好的那个，本质上就是忽视了多重检验。
multiple testing
同时检验很多个假设时，总有一些会纯靠运气显得「显著」。
同时检验很多假设时，总有一些会纯靠运气显得「显著」：测试 100 个毫无作用的策略，按 5% 的显著性水平，平均也会有约 5 个看起来有效。这就是多重检验问题。应对办法是事先限定要检验的假设，或用 Bonferroni、FDR 等方法校正阈值。回测了几十个版本只报告最好的那个，本质上就是忽视了多重检验。