回测过程中的过度拟合问题 （backtest overfitting，附文献2篇）
有这样一个“明星”投资分析师，他给他10240位（=10*2^10）潜在客户们宣传他对股票ABC的投资建议。对其中一半客户，他建议买入股票ABC，对另一半客户，他建议卖出。一个月后，这位投资分析师再对其中5120位盈利的客户继续宣传他对股票ABC的投资建议。如同上个月，他对其中一半客户建议买入，对另一半客户，他建议卖出。如此往复10个月，有这么10位客户对他佩服的五体投地，因为他们已经连续盈利10个月了！可是他们不知道这位“明星”投资分析师做了多少失败的投资建议。这是典型的回测过程中的过度拟合问题：只要回测的次数足够多，我们总能找到令人满意的结果。附近中的最新文献介绍了一种新方法CSCV（Combinatorially SymmetricCross-Validation）来估计回测中过度拟合的概率大小（Probability of Backtest Overfitting）。这种方法要优于人们通常用的比较样本内和样本外结果（ in-sample vs. out-of-sample）的方法。希望对大家在写计量论文中有帮助。
The procedure presented in this paper has specifically been designed to determine the probability of backtest overfitting (PBO). This is defined as the probability that the strategy with optimal performance IS(in-sample) delivers OOS (out-of-sample) a performance below the median performance of all trials attempted by the researcher. When that probability is high, optimizing IS has a detrimental effect in terms of OOS performance, because the backtest profits from specific features in the IS subset that are not present elsewhere.
页:
[1]