Dilema de teste AB [fechado]

1. O que pode dar errado com o teste AB?
2. Qual é a limitação de um teste B?
3. Como você evita o viés nos testes de AB?

O que pode dar errado com o teste AB?

Um erro comum com o teste A/B está executando o teste de divisão muito cedo. Por exemplo, se você iniciar uma nova campanha OptinMonster, deve esperar um pouco antes de iniciar um teste de divisão. No começo, não faz sentido criar um teste de divisão, porque você não terá dados para criar uma linha de base para comparação.

Qual é a limitação de um teste B?

Outra limitação dos testes A/B é que ele exige que o testador estenda os resultados indefinidamente para o futuro. Os testes tradicionais de A/B assumem uma visão imutável do mundo e não levam em consideração as mudanças nas tendências e no comportamento do consumidor e o impacto dos eventos sazonais, por exemplo.

Como você evita o viés nos testes de AB?

Uma maneira de evitar o viés facilmente é testando apenas uma iniciativa em suas lojas de tratamento de cada vez. Se você estiver testando alterações, como a equipe aumenta e os preços no mesmo grupo de tratamento, é mais difícil determinar qual o impacto que cada iniciativa que está sendo testada tem nas vendas.