O que você vai aprender
Saiba como configurar e executar um teste A/B para uma Campanha, como ler os resultados do teste e alguns casos de uso para o teste A/B da Campanha. KlaviyoO recurso de teste A/B da Campanha permite que o usuário teste facilmente diferentes linhas de assunto, conteúdo da mensagem e tempo de envio para que possa entender melhor o que funciona melhor para o seu público.
Criar um teste A/B para a Campanha E-mail
- Navegue até Campaigns > Create Campaign.
- Na barra lateral, dê um nome à sua Campanha.
- Escolha Email e clique em Continue.
- Selecione as listas ou segmentos para os quais o senhor deseja enviar.
- Clique em Next.
- Insira a linha de assunto e, se desejar, edite o texto de visualização, o nome do remetente e o endereço de e-mail do remetente.
- Crie a primeira versão de seu e-mail, adicionando seu texto, imagens e links.
- Acima do campo da linha de assunto, clique em Create A/B test.
- Isso cria automaticamente uma segunda variação idêntica da sua Campanha e o leva à página de teste A/B da Campanha.
- Isso cria automaticamente uma segunda variação idêntica da sua Campanha e o leva à página de teste A/B da Campanha.
- Em cada campo Nome da variação, adicione um nome de variação descritivo que faça referência ao que o senhor está testando A/B, ou seja, "E-mail de lançamento do verão - botões brancos".
Configure sua variação de teste
Agora que o senhor criou um teste, decida qual elemento de sua campanha testará o desempenho para que possa construir as diferentes variações de sua campanha.
Testar a linha de assunto com a IA
Esse recurso está disponível somente para contas pagas em Klaviyo. Se sua conta não se qualificar, pule para a próxima opção: Testar conteúdo.
Em vez de criar um teste manualmente, o senhor também pode automatizar a criação usando IA. Esse recurso serve para testar a linha de assunto em particular.
- Crie uma campanha de e-mail usando as etapas da seção anterior.
- Escolha um modelo e edite o conteúdo do e-mail.
- Abaixo do campo linha de assunto, escolha uma das opções na seção Gerar uma variação para teste A/B.
Depois de escolher uma opção, a IA criará um teste com duas variações usando títulos diferentes, mas semelhantes, incluindo seu título original para a variação A e um gerado pela IA com base no prompt selecionado para a variação B.
As opções disponíveis dependerão da linha de assunto que o senhor inseriu, mas alguns exemplos incluem:
-
Personalização versus não personalização
A variação B incluirá o primeiro nome do cliente na linha de assunto ou removerá seu nome, se ele tiver sido incluído originalmente. -
Curto vs. longo
A variação B terá uma linha de assunto mais curta ou mais longa, dependendo do tamanho do assunto original. -
Questions vs statement
A variação B converterá sua linha de assunto original em uma pergunta ou em uma declaração, se originalmente era uma pergunta. -
Emoji vs sem emoji
A variação B incluirá um emoji relevante na linha de assunto ou removerá quaisquer emojis, caso tenham sido originalmente incluídos.
Leia o restante deste artigo para obter as etapas sobre como editar e enviar seu teste A/B depois de criado.
Conteúdo do teste
O senhor pode testar o conteúdo da mensagem para determinar o que seu público deseja ver. Clique em Testar conteúdo na parte superior da página.
Edite uma das variações do seu teste A/B. É importante que os testes A/B comparem um fator de cada vez, portanto, se o senhor editar a linha de assunto, não altere mais nada. Se desejar, o senhor pode adicionar mais variações clicando no botão clonar no cartão para uma variação específica, mas recomendamos apenas 2 variações.
Tempos de envio de teste
O senhor também pode testar os horários de envio para determinar quando seu público-alvo deseja receber notícias suas. Clique em Testar tempos de envio na parte superior da página.
Ao testar os horários de envio, mantenha o conteúdo e as linhas de assunto de ambas as variações exatamente iguais.
Se vocênão sabe por onde começar, recomendamos que experimente um horário noturno. Como alternativa, se vocêse qualificar, poderá usar o tempo de Smart Sending.
Selecionar uma estratégia de teste
A opção de escolher uma estratégia de teste só está disponível para contas com mais de 400.000 perfis totais. Se sua conta não se qualificar, a Klaviyo usará a estratégia de teste da variação vencedora.
Se sua conta se qualificar, decida qual será sua estratégia de teste entre as opções a seguir:
- Variação vencedora (teste A/B padrão)
- Variações personalizadas para cada destinatário
A diferença entre variação vencedora e variações personalizadas
Ambas as opções de estratégia de teste enviarão variações a um grupo de teste composto por uma porcentagem do total de destinatários da campanha e testarão o sucesso da mensagem com base em uma métrica de sua escolha, por exemplo, taxa de abertura. No entanto, há algumas diferenças importantes na forma como cada estratégia envia mensagens para o restante dos destinatários após o término do período de teste:
- Variação vencedora - a opção padrão para testes A/B, que determinará uma variação vencedora e a enviará para o restante dos destinatários da campanha após o término do período de teste.
- Variações personalizadas - usa IA para pesquisar padrões entre os destinatários de teste que interagem com cada variação. Após o término do período de teste, a Klaviyo prevê qual variação terá melhor desempenho para cada destinatário e envia ao restante dos destinatários a variação preferida.
Personalizar variações para cada destinatário
Se o senhor quiser personalizar a variação que cada destinatário recebe individualmente, selecione Personalized variations for each recipient (Variações personalizadas para cada destinatário).
A Klaviyo usará as informações sobre cada perfil para determinar qual variação tem maior probabilidade de ser bem-sucedida na conversão desse perfil. Essas informações de perfil incluem, mas não se limitam a:
- Taxas de engajamento históricas
- Valor da vida útil do cliente (CLV)
- Localização
Por exemplo, se o senhor tiver escolhido a taxa de abertura como sua métrica vencedora e os perfis no grupo de teste com um CLV de 100 ou mais abrirem a variação A com mais frequência, mas os perfis com um CLV de menos de 100 abrirem a variação B com mais frequência, o restante dos destinatários da campanha receberá e-mails com base na variação que eles têm maior probabilidade de abrir de acordo com seu CLV. Esse é um exemplo simplificado, pois a Klaviyo usará muitos pontos de dados para determinar variações personalizadas.
Configurar as definições do teste A/B
Depois de criar o conteúdo, decida o tamanho do grupo de teste e a duração do período de teste.
Primeiro, escolha a métrica vencedora, que é a principal métrica que o senhor deseja ver melhorada. Escolha entre:
-
taxa de abertura
Recomendado ao testar a linha de assunto, o texto de visualização ou o nome do remetente e o endereço de e-mail. -
Taxa de cliques
Recomendado para testar o conteúdo do e-mail, como o tamanho ou a cor do botão. -
Taxa de pedidos feitos
Disponível apenas para contas com uma métrica de Pedidos feitos e não disponível para variações personalizadas. Isso é recomendado ao testar o conteúdo do e-mail, por exemplo, se a exibição dos itens mais vendidos ou dos novos itens resulta em mais conversões.
Para dispositivos Apple que usam iOS15, macOS Monterey, iPadOS 15 e WatchOS 8, ou versões mais recentes, o Apple Mail Privacy Protection (MPP) alterou a forma como recebemos dados de taxa de abertura em seu e-mail, pré-buscando nosso pixel de rastreamento. Com essa mudança, é importante entender que a taxa de abertura pode ser inflada.
Com relação aos Testes A/B, o site Klaviyo deve levar em conta essas taxas de abertura inflacionadas; no entanto, talvez o senhor precise de um limite mais alto para alcançar a significância estatística. Se o senhor realiza regularmente Testes A/B E tem mais de ~45% de aberturas no Apple Mail, sugerimos criar um relatório personalizado que inclua uma propriedade MPP. O senhor também pode identificar essas aberturas em seu segmento assinante individual.
Para obter informações completas sobre a abertura do MPP, visite nosso guia iOS 15: Tudo o que o senhor precisa saber sobre as mudanças da Apple.
Recomendamos um tamanho de teste com base no tamanho de sua lista e uma duração de teste com base na métrica de teste A/B (ou seja, aberturas, cliques ou pedidos feitos). Use a barra deslizante para alterar o tamanho do teste, se desejar. Se o tamanho do teste for menor que 100%, o senhor também terá a opção de ajustar a duração do teste.
No exemplo abaixo, 20% dos destinatários da campanha receberão a variação A, e outros 20% receberão a variação B. Dependendo de quantos desses destinatários abrirem, clicarem ou fizerem um pedido (dependendo da métrica vencedora que o senhor selecionou), um vencedor será escolhido após 6 horas, e o restante dos destinatários receberá a variação vencedora.
Depois de ajustar as configurações do teste, clique em Continue to review (Continuar para revisar).
Se o senhor estiver fazendo testes A/B de conteúdo e quiser enviar a mensagem com base no fuso horário de cada destinatário:
- Defina o tamanho do teste para 100%.
- Então, ao agendar sua campanha, o senhor terá a opção de escolher o fuso horário local da Destinatários como fuso horário para o seu envio.
O que testar A/B
O senhor só deve testar uma variável de cada vez. Testar diversas variáveis simultaneamente pode dificultar (ou impossibilitar) a identificação de quais variáveis contribuem para melhorar o desempenho. Não tem certeza do que testar? Clique nas seções abaixo para ver os pontos de partida.
Testes para melhorar suas taxas de pedidos feitos
Para ver o que leva seus destinatários a fazer pedidos, tente testar qualquer um dos seguintes itens em suas mensagens:
- Prova social (por exemplo, incluir críticas positivas ou publicações de clientes nas mídias sociais em suas mensagens)
- Horário de envio, dia da semana ou finais de semana versus dias úteis
- Posicionamento da chamada para ação (CTA) (por exemplo, na parte superior do e-mail ou na parte inferior)
Testes para melhorar suas taxas de cliques
Para ver o que leva os destinatários a clicar nos links de suas mensagens, tente testar um dos seguintes itens:
- Aparência da CTA (por exemplo, a fonte, a cor ou o tamanho do botão ou do texto)
- Texto da CTA (por exemplo, "Shop now" versus "Check it out!")
- Organização do modelo (por exemplo, como o senhor organiza as imagens e o texto em sua mensagem)
- Imagens versus GIFs
Testes para melhorar suas taxas de abertura
Para identificar o que leva seus assinantes a abrir seus e-mails, tente testar qualquer um dos seguintes itens:
- Testes de linha de assunto:
- Declarações versus perguntas (por exemplo, "O senhor precisa ver nosso último lançamento" versus "Quer ver nosso último lançamento?")
- Comprimento da linha de assunto
- Personalização da linha de assunto (por exemplo, incluir o primeiro nome do destinatário na linha de assunto usando a tag {{ first_name|default:’Friend’ }})
- Emojis em linhas de assunto
- Texto de visualização (por exemplo, incluir ou não incluir texto de visualização)
- Nome do remetente (por exemplo, o nome de sua empresa em comparação com um nome do remetente mais pessoal, como "Elise at Klaviyo")
- Horário de envio, dia da semana ou finais de semana versus dias úteis
Analise os resultados do teste A/B e selecione um vencedor (opcional)
Navegue até a campanha que o senhor está testando para visualizar o progresso e ver qual versão teve melhor desempenho. Se a Campanha ainda estiver sendo enviada e o senhor quiser encerrar um teste A/B em andamento:
- Navegue até a guia Resultados do teste A/B de uma campanha em andamento.
- Clique no menu de opções adicionais ao lado da versão que o senhor deseja escolher.
- Clique em Choose as Winner (Escolher como vencedor).
Quando o senhor seleciona manualmente um vencedor, qualquer pessoa que ainda não tenha recebido a campanha receberá a variação vencedora imediatamente. Se o tamanho do seu teste A/B foi de 100% dos destinatários, continuaremos coletando dados durante toda a janela de conversão da mensagem, de modo que o vencedor poderá mudar à medida que novos dados forem recebidos. Para obter mais informações, consulte Como analisar os resultados dos testes A/B de e-mail para campanhas.