O que você vai aprender
Saiba quando os resultados de um teste A/B são considerados estatisticamente significativos para formulários de registro do Klaviyo. Este guia explicará a significância estatística para formulários de registro e quando ela é determinada.
O Klaviyo decide quando um teste A/B atingiu significância estatística assim que uma variante comprova matematicamente que tem um desempenho melhor do que outra. Você pode configurar um teste A/B para escolher automaticamente a variante de formulário vencedora e encerrar quando os resultados do teste forem considerados estatisticamente significativos.
Os testes A/B permitem que você meça o desempenho de diferentes elementos dos seus formulários para garantir que eles estejam repercutindo bem com os visitantes do seu site e gerando forte engajamento. É importante entender se um teste pode ou não ser considerado estatisticamente significativo para que você possa analisar os resultados com eficácia e determinar quais melhorias fazer. Se os resultados do teste não forem estatisticamente significativos, fica mais difícil confirmar que uma determinada variante vai gerar melhor desempenho em escala.
Como a Klaviyo determina a significância estatística para formulários
Para atingir significância estatística, um teste A/B de um formulário de registro deve atender às seguintes condições:
- Uma probabilidade mínima de vitória de 90% para a variante líder
- No mínimo 1.000 visualizações do formulário por variante
Veja abaixo uma explicação mais detalhada de como a Klaviyo considera cada um desses fatores.
- Probabilidade de vitória da variante líder
- Essa é a probabilidade de que a taxa de envio de formulários da variante líder seja realmente maior do que a taxa de envio de formulários de todas as outras variantes. Uma alta probabilidade de vitória significa que há fortes evidências de que a variante líder vai ganhar porque o formulário é melhor, e não por acaso.
- Visualizações do formulário
- Um formulário precisa coletar um número suficiente de visualizações para garantir que os resultados não sejam distorcidos por anomalias nos testes iniciais.
Encerrando um teste A/B depois que a significância estatística for alcançada
Na configuração Seleção do vencedor, você pode definir que o teste termine automaticamente quando houver 1 variante que supere a(s) outra(s) em um nível estatisticamente significativo ou quando chegar a uma data específica. Ou então, você pode marcar as duas caixas para encerrar o teste quando 1 das 2 condições for atendida (ou seja, o teste atinge significância estatística ou chega à data final).
Como alternativa, se você optar por encerrar seu teste manualmente desmarcando as duas caixas em Seleção de vencedora, será necessário acompanhar os resultados de forma independente e escolher manualmente tanto a vencedora quanto a data de término.
Ao visualizar os resultados de um teste em andamento, você pode monitorar a probabilidade de vitória, bem como os dados atuais de cada variante no menu Visão geral da aba Resultados do teste A/B.
Para mais detalhes, consulte nosso guia sobre como revisar os resultados de testes A/B.