Teste multivariado e teste A / B simplificado: como testar técnicas de otimização de página da web

multivariate testing

Introdução:

Existem muitos sites e aplicativos que usamos com frequência. Enquanto os usamos, provavelmente não prestamos muita atenção em como o site veio a ser sua versão atual - por outro lado, se algo não parecer certo, provavelmente nunca iremos visitar o site / aplicativo novamente.

A questão é - o que é preciso para acertar 'isso'?

O que você aprenderá:

• Teste multivariado e teste A / B
• O que é teste multivariável?
• Tipos de teste MVT:
• Como fazer testes multivariados
• Erros que devem ser evitados
• O que fazer e o que não fazer
• Prós e contras
• Teste A / B
• Prós e contras dos testes A / B:
• Teste A / B vs Teste Multivariável vs Teste Split
• Teste Multivariado
• Ferramentas de teste A / B / Split / Multivariate
• Leitura recomendada

Teste multivariado e teste A / B

O 'isso' na maioria das vezes é a funcionalidade - que temos processos de QA sólidos para testar e avaliar. Mas o “isso” também consiste em design, uma combinação de elementos, colocação de conteúdo em uma página, às vezes até cor, orientação etc. que desempenham um papel proeminente no aceitação geral do produto por seu usuário final.

Um ramo de teste que pode ajudar muito nesta área é o Teste multivariado e teste A / B .

No artigo de hoje, vamos discutir Teste multivariado (MVT) e Teste A / B tipos em detalhes.

Ambos são direcionados à otimização da página da web e à melhoria da taxa de conversão (a taxa em que os visitantes se tornam clientes ou visitantes recorrentes - por sua vez, negócios) para um website.

O que é teste multivariável?

Vamos começar com um Exemplo .

Se um determinado site está trabalhando no design / redesenho / determinação da eficácia de uma página que deve ter uma imagem e o texto correspondente - após cuidadosa consideração e deliberação, se a empresa lista as seguintes duas imagens e duas frases - as combinações possíveis delas poderiam seja o seguinte:

1) Imagem 1

2) Imagem 2

3) Título / Frase 1: “O objetivo deve ser ZERO acidentes”

4) Título / Frase 2: “Nosso OBJETIVO: Nenhum ACIDENTE”

Combinações:

No exemplo acima, testamos variações para as combinações dos campos para ver qual deles é um bom ajuste. Simplificando, aí está o teste multivariado.

Mais técnica e especificamente, a fórmula abaixo é usada para determinar o não. de combinações possíveis que são necessárias para testar as diferentes combinações e que é:

(# Variações no Elemento A) X (# Variações no Elemento B)… .. = (Total # Variações)

No exemplo acima, existem 2 variações para o título, bem como 2 variações para a imagem.

o melhor conversor de youtube para mp3 online

Assim, de acordo com a fórmula, há um total de 4 combinações das variações a serem testadas simultaneamente para encontrar a melhor combinação de variação.

• O principal objetivo da realização de testes multivariados é medir e determinar a eficácia de cada combinação de variação no sistema final.
• Depois de finalizar as combinações de variação, o teste para determinar o design mais bem-sucedido é iniciado assim que tráfego suficiente for recebido pelo site.
• Os resultados obtidos com cada combinação de variação são comparados com os outros para descobrir qual projeto é o mais adequado para atingir o objetivo final (na maioria dos casos é Vendas )
• Essas estatísticas fornecem uma imagem clara de se a mudança específica foi útil ou não.
• Além disso, um impacto positivo ou negativo na interação do usuário também pode ser analisado

Todo este processo de testes multivariados contínuos, melhorando o design com base nos resultados obtidos, e atingindo os objetivos de negócio decorrentes disso ( Exemplo: mais tempo de engajamento para um usuário em uma determinada página) é chamado Otimização da página de destino - cujo objetivo é trazer mais usuários e mantê-los engajados em uma determinada página.

Este processo envolve amplamente testes com múltiplas variações, coleta de estatísticas e mudanças baseadas nos valores / resultados obtidos.

Não se limita apenas a sites, mas o teste multivariável também é necessário para aplicativos móveis. Sites e aplicativos móveis são compostos de combinações de elementos variáveis ​​e, portanto, o teste multivariado é feito para descobrir qual combinação de variações funciona melhor.

Isso desempenha um papel crucial na estratégia de marketing na internet.

Tipos de teste MVT:

Com base na distribuição de tráfego para várias versões de variação, há múltiplo tipos de teste multivariado que pode ser realizado:

a) Teste Fatorial Completo:

É a forma mais preferida de teste MVT em que cada combinação de variação de elemento possível é testada igualmente, desviando o tráfego do site para ele até que um vencedor seja encontrado. Todas as combinações possíveis têm uma probabilidade igual. A melhor coisa sobre esse método é que não há suposições e é baseado em números / estatísticas rígidas, o que o torna muito confiável e recomendado.

O único demérito é o tráfego. Com o aumento do número de várias combinações, muito tráfego do site é necessário para analisar os dados e decidir o vencedor.

b) Teste de fatorial fracionário ou parcial:

Como o nome indica, apenas uma fração de todas as versões de combinação de variação é exposta ao tráfego do site. Cálculos matemáticos estáticos e análises são feitos para o resto das combinações para encontrar a melhor taxa de conversão.

Método Taguchi é o método mais popular para teste multivariado fatorial fracionário. Este método fornece um resultado menos preciso, pois apenas uma amostra das variações é testada e não todas. Embora esse método leve menos tempo para analisar o vencedor, o resultado nunca pode ser considerado tão preciso quanto poderia ser no caso de um teste Fatorial Completo.

c) Teste Adaptativo Multivariado:

Esta é uma nova abordagem para testes multivariados. Nesse caso, a resposta em tempo real dos visitantes na página da web é analisada para determinar a melhor versão de combinação de variação.

d) Escolha Discreta:

Este método revela os efeitos da interação, por exemplo, como as pessoas criam compensações a partir da perspectiva de uma decisão de compra. É uma técnica complexa que varia sistematicamente os atributos ou elementos de conteúdo.

e) Projeto Ótimo:

Este método inclui iterações e ondas de teste. Além de testar o número máximo de variações do criativo em um tempo mínimo, também permite que os profissionais de marketing considerem relacionamentos, interações e limitações entre os elementos de conteúdo de um site ou aplicativo. Isso ajuda a encontrar a solução ideal.

Vamos avançar para uma questão importante: O marketing na Web pode ser otimizado por testes multivariados?

A resposta é um sim retumbante'.

Usando testes multivariados, podemos determinar claramente o que deve ser implementado e o que deve ser evitado. Tudo está focado na experiência do visitante.

Os seguintes aspectos são considerados quando o teste multivariado deve ser realizado:

# 1. O pré-requisito para o teste multivariável é: Defina os objetivos de marketing ou examine as metas do site. A seguir estão alguns exemplos:

• Obtenha o máximo de receita / lucro por meio de publicidade, venda de produtos e pagamento por cliques.
• Crie o conhecimento da marca na clientela
• Economize despesas, por exemplo: Oriente os usuários para o autoatendimento por meio de perguntas frequentes em vez de online, no atendimento pessoal.

#dois. Devem ser testados apenas os itens que realmente visam os objetivos de marketing da organização.

# 3. Escolha apenas os elementos que medem com precisão os objetivos de marketing.

Os exemplos podem ser:

• Para ganhar mais dinheiro, as páginas que incluem opções como ‘Compre agora’ / ‘pagamento’ / fluxos para concluir um registro ou inscrição devem ser focadas.
• Para conscientizar os visitantes e promover promoções, 'envie para um amigo' / 'indique um amigo' / 'compartilhe' etc. pode ser útil
• Para economizar, o foco pode ser em elementos como FAQs, ajuda, contato, chamada, cliques em ‘Adicionar ao carrinho’ que levam a páginas de agradecimento, etc.

Como fazer testes multivariados

1. Identifique um problema

A primeira etapa é identificar o problema. Isso dá a você o escopo de melhoria para seu site ou aplicativo. Por exemplo, o problema pode ser por que os visitantes do site não estão clicando no botão de download.

2. Formular Hipóteses

Faça uma hipótese para melhorar a página da web. Por exemplo, a hipótese pode ser que os clientes não estão clicando no botão de download porque sua visibilidade não é atraente. Assim, ao torná-lo atraente, haveria mais downloads.

3. Crie variações

Selecione os fatores e crie variações. Suponha que os dois fatores sejam o título ‘Download’ e o link ‘Produtor PDF’. Como exemplo, temos abaixo de 12 variações:

4. Determine o tamanho da amostra

Descubra quantos visitantes são necessários em cada página, quanto tempo você precisa para executar o teste, quantas variações você tem e a importância estatística.

5. Teste suas ferramentas

Teste tudo (principalmente, se sua página / aplicativo da Web está funcionando bem) antes de começar a executar o teste para que nada prejudique os resultados do teste.

6. Comece a direcionar o tráfego

Comece a direcionar o tráfego para suas variações.

7. Analise seus resultados

Depois de executar o teste por um período significativo de tempo, você obtém os resultados para analisar. Um exemplo é mostrado abaixo:

Aqueles que apresentam nível de confiança de 95% ou mais são resultados estatisticamente significativos.

8. Aprenda com seus resultados

Esta é a última e importante etapa. Com o teste multivariável, você aprende sobre suas páginas da web / aplicativo e seus visitantes. Você pode usar esse aprendizado para testes futuros.

Uma palavra de cautela - Cuidado com o seguinte ao realizar testes multivariados:

Erros que devem ser evitados

1. Escolha inadequada de variantes . Por ex. suponha que alteremos o tamanho da fonte, a cor e o estilo do texto do título ao mesmo tempo em uma versão de combinação de variação. Assim, será difícil analisar a partir dos dados recebidos sobre qual variação do título (seja o tamanho da fonte, cor ou estilo) fez o visitante responder de forma diferente.
2. Um período muito curto de execução de um teste multivariável . Terminar o teste mais cedo e escolher um pequeno intervalo de dados para analisar o vencedor pode levar a estatísticas inválidas.
3. Um período muito longo de execução de teste multivariável. Executar o teste por muito tempo para analisar os dados marginais também leva a uma grande perda de tempo
4. Compreensão errada dos indicadores-chave. Focar, analisar e rastrear a combinação variável desses indicadores que são insignificantes ou não relacionados ao objetivo final
5. Apenas alguns indicadores-chave de desempenho são identificados enquanto muitos outros não são rastreados
6. Decidir o tipo de tráfego do visitante para uma página da web. Isso pode ser muito arriscado e problemático, pois nem todos os visitantes são iguais.
7. Não analisando os resultados e fazer as alterações certas no site.

Fazer e não faça

Da lista acima, um resumo de o que fazer e o que não fazer poderia ser:

Não é:

Não tente incluir muitas variáveis ​​no teste. Quanto mais o número de variáveis ​​para testar; maiores serão as combinações, o que significa que mais tráfego é necessário para reunir estatísticas significativas.

O que fazer:

1. Visualize todas as versões de combinação de variação antes de iniciar a execução do teste porque alguns deles podem ser incompatíveis ou ilógicos. Por exemplo, uma das combinações de variáveis ​​é o título dizendo “50% de desconto na assinatura” e o botão desligado dizendo “assinatura gratuita”. Esses devem ser removidos.

2. Decida o impacto das versões de combinação na taxa de conversão. Incluir apenas as combinações que têm maior impacto na taxa de conversão é uma boa ideia.

3. Estime o tráfego da página da web para coletar dados estatísticos significativos. Antes de iniciar o teste, é melhor ter uma ideia clara do tráfego da página da web. Se uma página da web tiver apenas 100-200 visitantes por dia, devemos considerar algumas variáveis ​​apenas para executar o teste multivariado.

Prós e contras

Até agora, vimos o que são testes multivariados, como são feitos, erros, fatores, o que fazer e o que não fazer, etc. Agora, vamos dar uma olhada em alguns Prós e Contras disso:

Prós:

1. Melhor percepção e compreensão do efeito das variáveis ​​ou elementos na taxa de conversão. Mais tráfego leva a mais dados estatísticos que, por sua vez, conduzem a uma melhor análise e tomada de decisão em termos da melhor combinação de variáveis ​​para atingir o objetivo final.
2. Em termos de alterações de design e layout, o teste multivariado é flexível.

Contras:

1. As execuções de teste multivariável levam mais tempo para serem concluídas.
2. É necessário muito tráfego de página da web para obter estatísticas significativas.
3. Mais complicado de configurar execuções de teste.
4. Requer mais número de versões de combinação de variáveis ​​para execução de teste.

Teste A / B

Sendo uma breve lista de todos os testes multivariados, não há fim para a variedade de testes que podem ser feitos para realizar a otimização de páginas da web e outro método popular disponível é o Teste A / B .

O que são testes A / B?

( imagem fonte)

O teste A / B também é conhecido como Teste de divisão . No entanto, o teste de divisão é diferente. Veremos a diferença entre eles na parte posterior deste tutorial.

No teste A / B, duas versões da mesma página da web são colocadas em teste com uma quantidade igual de tráfego da página da web. A versão que obtém o número máximo de conversões é a vencedora final. Esta nova versão definitivamente aumenta a taxa de conversão.

Exemplo de teste de divisão A / B:

Vamos entender o funcionamento do teste A / B com um pequeno exemplo :

A imagem acima é de uma página da web para conscientização sobre segurança.

Esta imagem consiste em um botão cinza que diz “ Faça um teste e ganhe prêmios incríveis ”. Esta página da web original é considerada como 'Uma versão'. Agora a 'versão B' é projetada com uma variação na cor do botão de cinza para vermelho.

Isso é mostrado na imagem abaixo:

O tráfego da página da Web ao vivo é desviado para ambas as versões. Depois de um número suficiente de visitantes ter feito o teste e com os dados estatísticos recebidos, pode ser facilmente determinado qual versão tem um maior efeito na taxa de conversão.

Aqui no exemplo acima, um botão dizendo “ Faça um teste e ganhe prêmios incríveis ”Na cor vermelha atraiu mais visitantes para apertar o botão e fazer um teste do que o botão cinza mais antigo.

Assim, o objetivo final da página da web de aumentar mais receita foi alcançado.

Prós e Contras de testes A / B:

Prós:

1. Método fácil e simples de configurar experimentos para otimização de páginas da web.
2. Resultados confiáveis ​​e precisos podem ser facilmente determinados, mesmo com pequeno tráfego na página da web.
3. Os testes podem ser realizados muito rapidamente e os dados estatísticos podem ser analisados ​​para atingir o objetivo final.
4. Não depende muito de qualquer tipo de tecnologia.
5. Mais apto para mudanças no layout, conteúdo, design de qualquer página web.

Contras:

1. Apenas algumas ou, digamos, um número limitado de alterações podem ser feitas em uma página da Web por vez.
2. Não é possível determinar o impacto de diferentes variáveis ​​presentes em uma página da Web umas nas outras.

Tabela de comparação:

Teste A / B vs Teste Multivariável vs Teste Split

O teste A / B, o teste multivariável e o teste de divisão são os três tipos principais de teste de variantes de UX (experiência do usuário). Vamos ver como eles são diferentes um do outro.

As duas imagens a seguir fornecem uma comparação ilustrativa muito boa entre o teste A / B e o teste multivariado.

Teste Multivariado

Teste de divisão:

Temos outra variante aqui conhecida como teste de URL dividido, que é muito mais complicado do que o teste A / B e envolve mudanças do lado do servidor , onde temos duas páginas da web diferentes que são testadas entre si. Esse tipo de teste funciona bem para páginas de destino nos casos em que a equipe de design precisa decidir qual delas funcionará melhor.

Ferramentas de teste A / B / Split / Multivariate

Existem muitas ferramentas disponíveis no mercado para esses três tipos de teste de UX. Eu mencionaria alguns dos melhores aqui que você pode explorar. Eles são Google Optimize, Optimizely, VMO, Qubit, Maxymiser e AB Tasty.

Conclusão :

Ambos os métodos, testes A / B e multivariados, aumentam a taxa de conversão, melhoram o desempenho e otimizam páginas da Web e aplicativos. Ambos são úteis à sua maneira e também apresentam suas deficiências e desafios únicos - cabe a nós identificar e analisar qual método será mais adequado ao requisito.

c ++ referência indefinida para a classe

Nós, testadores, estamos principalmente envolvidos no teste das mudanças feitas para implementar testes multivariados ou A / B. Depois que essas mudanças são feitas e testadas, elas podem ser executadas no ambiente de produção pela equipe de marketing ou de negócios para coletar os resultados.

Portanto, é muito importante que os testadores testem essas mudanças com muito cuidado, caso contrário, os resultados finais seriam imprecisos, resultando em enormes perdas de negócios, pois isso está na maioria das vezes relacionado diretamente à receita do negócio.

Leitura recomendada

• Melhores ferramentas de teste de software 2021 (QA Test Automation Tools)
• Download do e-book do Testing Primer
• Teste estático e teste dinâmico - diferença entre essas duas técnicas de teste importantes
• Teste de carga com tutoriais HP LoadRunner
• Diferença entre Desktop, Teste de Servidor Cliente e Teste da Web
• O que é teste gama? O estágio final de teste
• O que é teste de conformidade (teste de conformidade)?
• Trabalho de assistente de controle de qualidade de teste de software