Itqualityassurance
- Como você escolhe o efeito mínimo detectável?
- Qual é o efeito mínimo detectável em relação aos testes de hipóteses?
- Ao executar um teste A B, quando é o momento certo para determinar as principais métricas de sucesso?
- Como você saberia se um experimento online A B é bem -sucedido?
Como você escolhe o efeito mínimo detectável?
Definindo um MDE apropriado
Deve ser informado pelos riscos, custos e expectativas associados aos experimentos subjacentes. Seu MDE mínimo deve ser o menor efeito que justificaria a implementação da mudança que está sendo testada. Claro, você sempre pode dominar o teste para aprender mais com ele.
Qual é o efeito mínimo detectável em relação aos testes de hipóteses?
O efeito mínimo detectável é o tamanho do efeito definido pelo pesquisador de que uma avaliação de impacto foi projetada para estimar para um determinado nível de significância. O efeito mínimo detectável é uma entrada crítica para cálculos de energia e está intimamente relacionada ao poder, tamanho da amostra e orçamentos de pesquisa e projeto.
Ao executar um teste A B, quando é o momento certo para determinar as principais métricas de sucesso?
Se você iniciar um teste A/B para monitorar a receita gerada por dois sistemas, pode ser necessário executá -lo por meses antes de estar confiante sobre os impactos positivos ou negativos da iteração.
Como você saberia se um experimento online A B é bem -sucedido?
Tome medidas com base em seus resultados.
Se uma variação é estatisticamente melhor que a outra, você tem um vencedor. Preencha seu teste desativando a variação perdida em sua ferramenta de teste A/B.
