Quanto tráfego você precisa para um teste A/B confiável

O tamanho de amostra no teste A/B depende de duas coisas: quanto a sua página converte hoje e o tamanho da diferença que você quer enxergar. Para ter uma ideia, numa página que converte 3%, enxergar uma melhora de 20% pede perto de 14 mil visitantes por versão. Diferenças maiores pedem bem menos; diferenças pequenas pedem muito mais.

Além do volume, existe o tempo. No TestePerfeito, a vencedora só é declarada depois de 7 dias, com pelo menos 25 conversões em cada versão e quando a chance de ser a melhor chega a 95% (ou 90%, se você escolher). A seguir, o que cada uma dessas regras protege e o que fazer quando o seu tráfego não chega lá.

O que decide o tamanho de amostra no teste A/B

• A taxa de conversão atual. Quanto mais baixa, mais visitantes são necessários para juntar conversões suficientes. Venda converte menos que clique; por isso testar pela venda pede mais tráfego.
• O tamanho da diferença. Separar 3% de 4,5% é fácil. Separar 3% de 3,3% exige muito mais gente, porque a diferença real se confunde com a variação natural do dia a dia.
• A certeza exigida. Pedir 95% de certeza custa mais tráfego do que pedir 90%.

Repare que o tamanho do seu tráfego não entra na conta. Ele só define quanto tempo você leva para chegar ao número. Quem tem mil visitantes por dia e quem tem cem precisam da mesma amostra; o segundo só espera dez vezes mais.

Quantos visitantes por versão: exemplos

A tabela abaixo usa a mesma fórmula da calculadora do TestePerfeito: 95% de certeza e 80% de chance de detectar a diferença, se ela existir. Os números são por versão, e a melhora é relativa: 20% sobre 3% leva a 3,6%.

A regra prática que sai daí: diferença pela metade, amostra quase quatro vezes maior. É por isso que mudar a cor de um botão raramente dá resultado num funil de tráfego modesto, e trocar a promessa inteira da página às vezes dá.

Conversões por versão, e não só visitantes

O mínimo de 25 conversões vale em cada versão, não no total. Ele existe para impedir que três ou quatro vendas de sorte decidam um teste. Numa página que converte 3%, 25 conversões chegam por volta de 840 visitantes por versão. Na maioria dos casos, quem segura o teste é o tamanho da diferença, e não esse mínimo.

O tamanho de amostra é uma referência de planejamento, não uma linha de chegada. Se a diferença real for maior do que a que você estimou, a vencedora pode aparecer antes; se for menor, demora mais ou não aparece. Enquanto isso, o painel mostra que está coletando dados e quanto falta, em visitantes, conversões e dias.

testeperfeito.com.br

95% ou 90% de certeza: qual escolher

A certeza que o painel mostra é a chance de a versão ser a melhor, calculada a partir de todas as visitas e conversões até agora. Com 95%, sobra 5% de chance de a outra ser a melhor. Com 90%, sobra 10%. O motor também confere se a perda esperada, caso a escolha esteja errada, é pequena antes de fechar.

• Use 95% para decisões caras ou difíceis de desfazer: preço, oferta, checkout.
• Use 90% quando o tráfego é curto e a decisão é fácil de reverter, como uma headline ou uma imagem.

Baixar para 90% faz o teste fechar mais cedo, mas não transforma um teste sem tráfego em um teste com tráfego. Se a diferença é pequena, nem 90% resolve.

Por que não parar o teste cedo

Nos primeiros dias, a chance de cada versão ser a melhor sobe e desce bastante. Quem olha todo dia e para o teste no primeiro momento em que uma versão aparece na frente está escolhendo o acaso. O painel mostra quem lidera, com o selo de "na frente", justamente para que você acompanhe sem decidir antes da hora.

Semanas inteiras

O comportamento de compra pode mudar ao longo da semana: segunda não é igual a sábado, e o dia do pagamento não é igual ao fim do mês. Um teste de três dias pode pegar só a parte boa da semana. Por isso o mínimo é de 7 dias, e o ideal é fechar em semanas completas: 7, 14, 21 dias.

As duas versões no mesmo período

Rodar a versão A numa semana e a B na outra não é teste A/B: é comparar duas semanas. As versões precisam receber tráfego ao mesmo tempo, sorteado, com cada pessoa vendo sempre a mesma versão. Se a divisão real fugir do combinado, o painel mostra o alerta de distribuição anormal, e os números não devem ser usados até a causa ser resolvida.

O que fazer com pouco tráfego

• Teste mudanças grandes. Pela tabela, numa página de 3%, procurar uma melhora de 50% pede 2.519 visitantes por versão, contra 13.915 para 20%. Promessa, oferta, formato da página e prova social mexem mais que detalhes.
• Teste mais acima no funil. Clique no botão de compra, lead ou quem assistiu parte da VSL convertem mais que a venda. Numa etapa que converte 20%, enxergar uma melhora de 20% pede 1.684 visitantes por versão.
• Use duas versões, não cinco. Cada versão precisa da própria amostra; com o tráfego dividido em cinco, cada uma demora mais para chegar lá.
• Um teste por vez no mesmo público. Em vez de vários testes pequenos, concentre o tráfego no que pode fazer mais diferença.
• Defina uma duração máxima. Se o teste não fechar até lá, aceite o empate, fique com a original e teste uma ideia mais ousada.

Se você vende produto de ticket baixo, em que o volume de compras costuma ser maior, veja como aproveitar isso em como aumentar as vendas de low ticket com testes. E, para o básico do método, o que é teste A/B e por que fazer.