Como ler um relatório do Strategy Tester sem se enganar?

Trading & Markets
, ,
1

Um relatório de backtest é fácil de ler de forma otimista. Algumas coisas que sempre verifico antes de confiar em um:

  • Lucro líquido vs drawdown máximo — um sistema que fez 200% mas caiu 60% não é “melhor” que um que fez 40% com drawdown de 8%.
  • Número de trades — abaixo de ~100 trades o resultado é basicamente sorte.
  • Profit factor — acima de ~2.5 ao longo de muitos anos geralmente significa curve-fitting, não genialidade.
  • Formato da equity curve — suave e constante bate um único pico sorte.
  • Consistência do período — sobrevive a 2008, 2020 e 2022, ou só aos anos fáceis?

Qual é o primeiro número que você olha em um relatório, e qual é uma bandeira vermelha imediata para você?

2

Três hábitos que mantêm um relatório do Strategy Tester honesto: (1) Olhe a contagem de trades primeiro — abaixo de ~200 trades, a maioria dos outros números é ruído. (2) Leia o drawdown máximo e o formato da equity curve antes do lucro; uma curva suave com um pico é uma estratégia diferente do que o resumo sugere. (3) Verifique se o lucro se concentra em poucos trades outliers — ordene por lucro e veja o que os top 5 trades contribuem. Se removê-los mata o resultado, você testou sorte, não edge. E sempre re-execute com spread pior que o padrão; se a edge desaparece com +5 pontos de spread, nunca esteve lá.

3

A verificação de outliers foi a que mais me doeu. Meu ‘melhor’ EA acabou ganhando 60% de seu lucro de 3 trades durante um spike de notícia. Doloroso mas melhor aprender isso no tester.