Backtesting e Forward Testing: a importância da correlação

Os comerciantes que estão ansiosos para tentar uma ideia de negociação em um mercado ao vivo geralmente cometem o erro de confiar inteiramente nos resultados do backtesting para determinar se o sistema será lucrativo. Embora o backtesting possa fornecer aos comerciantes informações valiosas, geralmente é enganoso e é apenas uma parte do processo de avaliação.

Os testes fora da amostra e os testes avançados de desempenho fornecem mais confirmação sobre a eficácia de um sistema e podem mostrar as cores reais de um sistema antes que o dinheiro real esteja em risco. Uma boa correlação entre backtesting, resultados fora da amostra e resultados futuros é vital para determinar a viabilidade de um sistema de negociação. (Oferecemos algumas dicas sobre esse processo que podem ajudar a refinar suas estratégias de negociação atuais. Para saber mais, leia: Backtesting: Interpretando o passado .)

Noções básicas de backtesting

O backtesting refere-se à aplicação de um sistema de negociação a dados históricos para verificar o desempenho de um sistema durante o período especificado. Muitas das plataformas de negociação atuais suportam backtesting. Os traders podem testar idéias com algumas teclas e obter informações sobre a eficácia de uma ideia sem arriscar fundos em uma conta de negociação. O backtesting pode avaliar idéias simples, como o desempenho de uma média móvel cruzada em dados históricos, ou sistemas mais complexos com uma variedade de entradas e gatilhos.

Desde que uma ideia possa ser quantificada, ela pode ser testada novamente. Alguns traders e investidores podem buscar a experiência de um programador qualificado para desenvolver a idéia em uma forma testável. Normalmente, isso envolve um programador que codifica a ideia no idioma proprietário hospedado pela plataforma de negociação. O programador pode incorporar variáveis ​​de entrada definidas pelo usuário que permitem ao comerciante "ajustar" o sistema. Um exemplo disso seria no sistema simples de cruzamento de média móvel observado acima: O comerciante seria capaz de inserir (ou alterar) os comprimentos das duas médias móveis usadas no sistema. O comerciante poderia fazer um backtest para determinar quais comprimentos das médias móveis teriam melhor desempenho nos dados históricos.

Estudos de otimização

Muitas plataformas de negociação também permitem estudos de otimização. Isso implica inserir um intervalo para a entrada especificada e deixar o computador "fazer as contas" para descobrir qual entrada teria o melhor desempenho. Uma otimização multivariável pode fazer o cálculo para duas ou mais variáveis ​​para determinar quais combinações teriam alcançado o melhor resultado. Por exemplo, os comerciantes podem dizer ao programa quais insumos gostariam de adicionar à sua estratégia; estes seriam então otimizados para seus pesos ideais, dados os dados históricos testados.

O backtesting pode ser empolgante, pois um sistema não lucrativo pode frequentemente ser transformado magicamente em uma máquina de fazer dinheiro com algumas otimizações. Infelizmente, ajustar um sistema para alcançar o maior nível de rentabilidade passada geralmente leva a um sistema com desempenho ruim nas negociações reais. Essa otimização excessiva cria sistemas que ficam bem apenas no papel.

O ajuste de curva é o uso de análises de otimização para criar o maior número de negociações vencedoras com o maior lucro nos dados históricos usados ​​no período de teste. Embora pareça impressionante nos resultados do backtesting, o ajuste da curva leva a sistemas não confiáveis, pois os resultados são essencialmente projetados para esse dado período de tempo e dados.

O backtesting e a otimização oferecem muitos benefícios para um profissional, mas isso é apenas parte do processo ao avaliar um potencial sistema de negociação. O próximo passo do profissional é aplicar o sistema a dados históricos que não foram utilizados na fase inicial de backtesting.

Dados dentro da amostra versus dados fora da amostra

Ao testar uma idéia em dados históricos, é benéfico reservar um período de dados históricos para fins de teste. Os dados históricos iniciais nos quais a ideia é testada e otimizada são referidos como dados dentro da amostra. O conjunto de dados que foi reservado é conhecido como dados fora da amostra. Essa configuração é uma parte importante do processo de avaliação, pois fornece uma maneira de testar a idéia em dados que não foram um componente no modelo de otimização. Como resultado, a idéia não terá sido influenciada de maneira alguma pelos dados fora da amostra, e os traders poderão determinar o desempenho do sistema em novos dados, ou seja, na negociação na vida real.

Antes de iniciar qualquer backtesting ou otimização, os comerciantes podem reservar uma porcentagem dos dados históricos a serem reservados para testes fora da amostra. Um método é dividir os dados históricos em terços e segregar um terço para uso nos testes fora da amostra. Somente os dados da amostra devem ser usados ​​para o teste inicial e qualquer otimização. A Figura 1 mostra uma linha do tempo em que um terço dos dados históricos é reservado para testes fora da amostra e dois terços são usados ​​para o teste dentro da amostra. Embora a Figura 1 mostre os dados fora da amostra no início do teste, procedimentos típicos teriam a parte fora da amostra imediatamente anterior ao desempenho futuro.

Figura 1: Uma linha do tempo representando o comprimento relativo dos dados dentro e fora da amostra usados ​​no processo de backtesting.

Correlação refere-se a semelhanças entre os desempenhos e as tendências gerais dos dois conjuntos de dados. As métricas de correlação podem ser usadas na avaliação dos relatórios de desempenho da estratégia criados durante o período de teste (um recurso que a maioria das plataformas de negociação fornece). Quanto mais forte a correlação entre os dois, melhor a probabilidade de um sistema ter um bom desempenho nos testes de desempenho e nas negociações ao vivo.

A Figura 2 ilustra dois sistemas diferentes que foram testados e otimizados nos dados da amostra e, em seguida, aplicados aos dados fora da amostra. O gráfico à esquerda mostra um sistema que estava claramente ajustado à curva para funcionar bem nos dados da amostra e falhou completamente nos dados fora da amostra. O gráfico à direita mostra um sistema com bom desempenho em dados dentro e fora da amostra. Depois que um sistema de negociação é desenvolvido usando dados dentro da amostra, ele está pronto para ser aplicado aos dados fora da amostra. Os comerciantes podem avaliar e comparar os resultados de desempenho entre os dados dentro e fora da amostra.

Figura 2: Duas curvas de patrimônio. Os dados de negociação antes de cada seta amarela representam testes dentro da amostra. As negociações geradas entre as setas amarelas e vermelhas indicam testes fora da amostra. As operações após as setas vermelhas são das fases avançadas de teste de desempenho.

Se houver pouca correlação entre os testes dentro e fora da amostra, como o gráfico da esquerda na Figura 2, é provável que o sistema tenha sido otimizado demais e não tenha um bom desempenho nas negociações ao vivo. Se houver uma forte correlação no desempenho, como pode ser visto no gráfico à direita na Figura 2, a próxima fase da avaliação envolverá um tipo adicional de teste fora da amostra, conhecido como teste avançado de desempenho. (Para mais informações sobre previsão, consulte: Previsão financeira: o método bayesiano .)

Noções básicas sobre testes de desempenho avançado

O teste de desempenho avançado, também conhecido como negociação de papel, fornece aos traders outro conjunto de dados fora da amostra para avaliar um sistema. O teste de desempenho avançado é uma simulação da negociação real e envolve seguir a lógica do sistema em um mercado ativo. Também é chamado de troca de papel, pois todas as negociações são executadas apenas em papel; isto é, entradas e saídas comerciais são documentadas juntamente com qualquer lucro ou prejuízo para o sistema, mas nenhuma negociação real é executada.

Um aspecto importante dos testes de desempenho avançados é seguir exatamente a lógica do sistema; caso contrário, torna-se difícil, se não impossível, avaliar com precisão essa etapa do processo. Os comerciantes devem ser honestos sobre quaisquer entradas e saídas comerciais e evitar comportamentos como negociações com picking cereja ou não incluir uma negociação no papel racionalizando que "eu nunca teria aceitado essa negociação". Se o comércio tivesse ocorrido seguindo a lógica do sistema, ele deveria ser documentado e avaliado.

Muitos corretores oferecem uma conta de negociação simulada onde as negociações podem ser feitas e os correspondentes ganhos e perdas calculados. O uso de uma conta de negociação simulada pode criar uma atmosfera semi-realista na qual praticar a negociação e avaliar melhor o sistema.

A Figura 2 também mostra os resultados para testes avançados de desempenho em dois sistemas. Novamente, o sistema representado no gráfico esquerdo falha muito além do teste inicial dos dados dentro da amostra. O sistema mostrado na tabela correta, no entanto, continua com bom desempenho em todas as fases, incluindo os testes de desempenho avançados. Um sistema que mostra resultados positivos com boa correlação entre testes de desempenho dentro da amostra, fora da amostra e para a frente está pronto para ser implementado em um mercado ao vivo. (Veja também: Prós e contras da troca de papel .)

A linha inferior

O backtesting é uma ferramenta valiosa disponível na maioria das plataformas de negociação. A divisão de dados históricos em vários conjuntos para fornecer testes dentro e fora da amostra pode fornecer aos traders um meio prático e eficiente para avaliar uma ideia e sistema de negociação. Como a maioria dos traders emprega técnicas de otimização no backtesting, é importante avaliar o sistema em dados limpos para determinar sua viabilidade.

A continuação dos testes fora da amostra com os testes avançados de desempenho fornece outra camada de segurança antes de colocar um sistema no mercado, arriscando dinheiro real. Resultados positivos e boa correlação entre backtesting dentro e fora da amostra e testes avançados de desempenho aumentam a probabilidade de um sistema ter um bom desempenho nas negociações reais. (Para uma visão geral abrangente da análise técnica, consulte: Fundamentos da análise técnica .)