Tudo o que profissionais de marketing precisam saber sobre testes de incrementalidade

Como você pode realmente saber se o dinheiro que você está investindo em marketing é um dinheiro bem gasto? Como você pode descobrir se os seus anúncios estão tendo um impacto real sobre o comportamento do consumidor?

A verdade é que apenas um certo tipo de mensuração pode responder essa questão com clareza absoluta.

São os testes de incrementalidade.

Os testes de incrementalidade são, embora muitas vezes ocultos, o verdadeiro ROI do seu gasto com anúncios. Por que ocultos?

Bem, as linhas que separam o tráfego orgânico das conversões pagas nem sempre são claras. É completamente possível que você esteja pagando para adquirir novos usuários que teriam se convertido de qualquer maneira. Os testes de incrementalidade são a melhor maneira de entender essa relação oculta e descobrir de fato o verdadeiro valor do seu marketing.

Mensurar a incrementalidade é mais do que apenas suspender a atividade de suas mídias pagas durante uma semana e analisar como isso afeta seu negócio. Executar esse tipo de teste é algo complicado, por isso o objetivo deste artigo é mostrar a você como fazer o cálculo da incrementalidade e interpretar seus resultados.

Também vamos dar uma olhada sobre como eles diferem da atribuição de último clique (através da otimização pós-instalação) e uma explicação geral desse tipo de mensuração, que é cada vez mais importante.

Como o impacto incremental é determinado?

Os testes de incrementalidade consistem em dois grupos – um de teste e um de controle. O grupo de teste é exposto a anúncios, enquanto o grupo de controle é deixado de lado para análise.

Ao mensurar os resultados de cada grupo, você descobre quais conversões — sejam elas relacionadas à aquisição ou ao remarketing — não teriam ocorrido sem anúncios. Isso é o que chamamos de aumento incremental.

3 tipos de efeito incremental

Os experimentos de incrementalidade podem chegar a diversos resultados, como:

No primeiro exemplo, vemos que o experimento levou a um aumento incremental positivo. Isso significa que a sua campanhas paga foi eficaz, pois gerou um aumento na receita.

No segundo exemplo, não há aumento incremental e os resultados são neutros. Embora a campanha esteja gerando vendas, ela não teve valor incremental e, por isso, a equipe de marketing deve considerar pausar a campanha ou testar uma nova abordagem (como mudar o criativo, atualizar o direcionamento, etc).

No último exemplo, vemos um aumento incremental negativo. Embora isso seja raro, é possível que uma campanha de anúncios esteja causando mais danos do que gerando bons resultados (por exemplo, a superexposição a uma campanha de remarketing que leva a um impacto negativo sobre a marca). Também vale a pena olhar para o teste em si e certificar-se de que ele está configurado de maneira correta.

Como funcionam de fato os testes de incrementalidade?

Primeiro vamos explorar alguns dos principais termos e métricas.

Abaixo estão algumas definições da terminologia que envolve a incrementalidade e que nos ajudarão a entender ainda mais o processo.

Termo	Definição
Key Performance Indicators (KPI)	Um valor mensurável que demonstra a eficácia de uma empresa de aplicativos em alcançar seus objetivos de KPI em seu negócio
Grupo de controle	Um segmento de usuários que não será exposto aos anúncios mostrados ao grupo de teste em uma determinada audiência da campanha
Grupo de teste	Um segmento de usuários que verá os anúncios em uma determinada campanha
Relevância estatística	Uma medida que demonstra a probabilidade de que a diferença nos resultados entre os grupos de teste e de controle não seja uma coincidência
Aumento incremental	A diferença percentual entre o grupo de teste e o grupo de controle

Vamos falar sobre o processo. Um teste de incrementalidade é semelhante a outros experimentos científicos. Você tem sua hipótese, método, coleta, análise de resultados e sua conclusão. Com o teste de incrementalidade, existem cinco estágios distintos: definição de objetivos, segmentação, aplicação, análise e estabelecimento de estratégias a partir do resultado final. Vamos analisar um pouco mais a fundo.

Definindo os seus objetivos

Ao dar início a um experimento de incrementalidade, é importante estabelecer uma hipótese e identificar todos os KPIs essenciais para o seu negócio que você gostaria de examinar de maneira mais aprofundada. Pense sobre o que você gostaria de comprovar usando esse método científico.

Por exemplo, você está analisando o número de instalações, o ROI, ROAS ou uma métrica diferente, todos juntos?

Segmentando a sua audiência

Quando você executa um teste de incrementalidade em uma campanha de remarketing, escolha a audiência sobre a qual você gostaria de aplicar o experimento e certifique-se de separar com base em seus objetivos uma parte dessa audiência para ser o seu grupo de controle.

Dica: a sua plataforma de atribuição provavelmente saberá como ajudar você a segmentar a sua audiência segundo as suas preferências e a montar as suas campanhas segundo convém.

Os grupos – de teste e de controle – devem ter características parecidas, sem que elas se sobreponham.

Isso pode ser uma questão complicada caso você esteja focando em campanhas de UA (aquisição de usuários), uma vez que não conhecemos a audiência caso não haja disponibilidade de identificadores únicos. Para explicar, um identificador único é exatamente o que seu nome diz: um certo identificador, como um ID ou um código, que se diferencia dos outros, o que o torna único.

No entanto, existem outros fatores de identificação com os quais você pode segmentar a sua audiência, incluindo parâmetros como a localização, tempo (semelhantes aos três tipos de crescimento incremental mostrados acima), produtos ou dados demográficos.

Aplique o experimento

Decida a duração do seu teste e a janela de testes e aplique-o.

A prática recomendada é que a duração do seu experimento deve ser de pelo menos uma semana.

A janela de testes, que são os dias de ação dos usuários antes da aplicação do teste, depende do ciclo de negócios do seu aplicativo e da quantidade de dados com os quais você precisa trabalhar.

O teste e a janela de testes devem ser planejados para um momento em que o calendário esteja liberado, sem feriados, o que mostrará uma representação mais precisa da eficácia da sua campanha.

Analise os dados

Após ter coletado todos os dados dos seus grupos de teste e de controle, faça a agregação e compare os resultados para identificar o aumento incremental em um determinado KPI, segundo os seus objetivos.

Entender a relação entre os resultados dos grupos de teste e de controle ajudará a explicar por que houve uma aumento incremental positivo, negativo ou neutro.

Caso você perceba uma grande diferença entre os seus grupos de teste e de controle, pode ser que algo esteja errado na configuração do experimento e talvez você escolha refazer o teste.

Embora os testes de incrementalidade possam ser bem difíceis de configurar por si só, existem provedores de atribuição que oferecem ferramentas de testes incrementais integradas. A partir desse teste, você poderá ingerir todos os dados de testes diretamente da sua plataforma de atribuição para um dashboard de incrementalidade — uma grande vantagem que torna o processo mais simples e eficiente.

Estabeleça estratégias

Com base nas informações, obtidas, aplique os insights sobre as suas campanhas para maximizar seu impacto. Isso pode significar a mensagem certa para cada público-alvo, o tempo ideal para o reengajamento ou a fonte de mídia mais eficaz, dentre outros.

2 dos principais métodos para mensurar a incrementalidade

Depois de acumular e agregar seus dados, como você calcula o aumento incremental?

Existem dois métodos:

1) Lucro incremental

Mensure o aumento identificando o lucro incremental do valor real de um determinado canal de mídia. Isso pode ser calculado subtraindo o lucro do grupo de controle do lucro do canal.

Por exemplo, vamos supor que você gastou US$ 2.000 em uma campanha. O Canal de Mídia A gerou US$5.000 em lucro e o Canal de Mídia B gerou US$3.000. Aparentemente, ambos parecem canais lucrativos. No entanto, sua campanha orgânica também gerou US$3.000, então o lucro incremental no Canal de Mídia B foi zero.

Canal	Gastos	Lucro	Lucro Incremental
Canal de Mídia A	US$2.000	US$5.000	US$2.000
Canal de Mídia B	US$2.000	US$3.000	US$0
Orgânica	US$0	US$3.000	N/D

Ao entender o seu lucro por meio de seu grupo de controle, percebemos que qualquer coisa que gerar abaixo desse valor não lhe dá lucro incremental.

Basicamente, você estaria tendo os mesmos lucros sem fazer anúncios para eles, então economize seu orçamento e invista em um canal, atividade, fonte de mídia, campanha, ou outro que possa causar mais impacto.

2) Aumento incremental

Use a fórmula abaixo para calcular o aumento incremental:

Para mostrar como isso funciona, podemos usar valores numéricos. Então, vamos supor que o seu grupo de teste gerou 10.000 conversões e o grupo de controle resultou em 8.000 conversões. Portanto, 10.000 menos 8.000, dividido por 8.000, é 0,25.

Um aumento incremental de 25% pode ser julgado como bom ou ruim em relação aos seus KPIs e ROAS.

Uma maneira de testar isso é fazer uma comparação com o custo. Divida o custo de aquisição (CPA) pelo aumento incremental para ver se ele é igual ou maior que o seu LTV.

Por exemplo, se o seu CPA é de US$2, divida-o por 0,25, que é igual a US$8. Se seu LTV for superior a US$8, você está indo bem. Se for menor do que isso, talvez você precise reavaliar sua estratégia de campanha.

Incrementalidade vs. testes A/B

Agora que já falamos sobre a essência dos testes incrementais, talvez você esteja se perguntando: eles são realmente diferentes dos testes A/B?

A primeira coisa que devemos deixar claro é que a incrementalidade é, em resumo, um tipo de teste A/B. Um teste tipo A/B padrão divide o seu produto ou campanha em dois, A e B, e depois divide a sua audiência em Audiência 1 e Audiência 2. Depois, você aplica diferentes versões do produto ou campanha às diferentes audiências e vê qual opção gera resultados melhores.

Por exemplo, uma audiência vê um banner com um botão azul, enquanto a outra vê o mesmo banner mas com um botão vermelho. Comparar o CTR dos banners para cada audiência é um teste A/B padrão no marketing.

Os testes A/B se diferenciam da incrementalidade por conta do grupo de controle, no qual uma parte da audiência não recebe nenhum anúncio durante todo o período de teste.

Retomando o exemplo anterior, a incrementalidade informará se exibir determinado anúncio é melhor do que não exibir esse anúncio, em comparação com caso um anúncio com um botão azul tenha melhor desempenho do que o mesmo anúncio com um botão vermelho.

Como você pode não exibir anúncios para uma audiência mas ainda ser “proprietário” do anúncio?

Existem três metodologias:

• Intenção de tratamento (ITT, do inglês intent-to-treat) – esse método calcula os resultados do experimento com base no designação/atribuição do tratamento e não no tratamento que acabou sendo recebido (ou seja, você marca cada usuário para teste/controle com antecedência e não usa dados de atribuição. Você tem a “intenção de tratá-los” com anúncios/evitar que eles vejam anúncios, mas não há garantias de que isso de fato acontecerá).
• Anúncios/ofertas fantasma – esse é outro exemplo de audiência aleatoriamente dividida, mas dessa vez isso é feito logo antes da exibição do anúncio. Assim, o anúncio é bloqueado para o grupo de controle, simulando o processo de exibição do anúncio ao usuário, conhecido como entrega, sem pagar por anúncios placebo. Essa é a tática mais usada por redes de anúncios que realizam seus próprios testes de incrementalidade.
• Anúncios de Serviço Público (PSAs, do inglês Public Service Announcements) – nesse caso, eles são exibidos para ambos os grupos de teste e de controle, porém, para o grupo de controle, é exibido um PSA geral, enquanto para o grupo de teste é mostrado a variante. Depois, os comportamentos dos usuários em ambos os grupos é comparado para calcular o aumento incremental.

Incrementalidade vs. otimização de ROAS

Os testes de incrementalidade não substituem modelos de atribuição tradicionais. Eles funcionam em conjunto com a atribuição para te ajudar a mensurar a sua performance de maneira mais eficaz.

Observação: se você estiver mensurando apenas instalações, então isso não basta quando se trata de entender o seu ROAS.

Os profissionais de marketing devem mensurar e otimizar com base em uma variedade de métricas de pós-instalação e quanto mais longe do funil você for, melhor. Ao focar em LTV e, o que é ainda mais importante, calcular seus custos de mídia, você poderá ver se seu ROAS é positivo.

A incrementalidade trabalha dentro dessa estrutura e mostra se você poderia ter um ROAS ainda melhor, gastando menos com anúncios e ainda obtendo as mesmas receitas de usuários orgânicos.

O impacto incremental sobre o ROAS (também chamado de iROAS) é calculado através da divisão da diferença entre a receita do seu grupo de teste e do seu grupo de controle pelo gasto total com anúncios. Ao remover as conversões orgânicas da equação, você consegue calcular o verdadeiro impacto de uma campanha e fazer a otimização de acordo.

Por exemplo,  se o seu iROAS for menor do que 100%, você pode redistribuir orçamentos para campanhas e canais de melhor performance. Se for igual ou maior do que 100%, isso significa que você não está canibalizando o tráfego orgânico e seus anúncios são eficazes.

Com o prefixo da incrementalidade, os profissionais de marketing têm uma camada de informações essenciais para a otimizar o ROAS em seu potencial completo. Aqui está a diferença entre apenas mensurar o seu ROI/ROAS e ver o aumento ou impacto incremental das suas campanhas de marketing sobre o seu gasto com anúncios.

Os benefícios dos testes de incrementalidade

Os profissionais de marketing que aplicam testes de incrementalidade são capazes de destacar, com confiança, precisamente o quão efetiva foi a sua campanha. Não apenas você consegue identificar o impacto em seu iROAS como também pode aplicar esses insights em futuras estratégias de marketing.

Por exemplo, os testes de incrementalidade serão muito úteis quando você for testar um novo canal de mídia antes de decidir se deve fazer um investimento maior. Você também pode aplicar testes de incrementalidade em campanhas de mídia pequenas para ver se houve um ROAS positivo. Se a resposta for sim, então você pode escalar de maneira confiante os seus esforços de marketing naquele canal.

Outro exemplo no qual os testes de incrementalidade se mostram úteis é na criação de uma estratégia de reengajamento. Os testes de incrementalidade ajudam a destacar qual é o dia ideal, após a instalação, para reengajar usuários e garantir o maior aumento incremental dos seus esforços de marketing.

Com esse conhecimento em mãos, você, profissional de marketing, conseguirá tomar decisões mais bem-informadas sobre quais canais geram o maior (e verdadeiro) impacto e onde você deve investir seus orçamentos de marketing.

Os desafios dos testes de incrementalidade

Claro que nenhum método está livre de desafios e com a incrementalidade, isso não é diferente.

Quando criar seus grupos de teste e de controle, é importante que você remova qualquer ruído ou fatores externos que podem afetar o comportamento do usuário. Você também deve tentar limpar os dados e certificar-se de que não há audiências sobrepostas, pois isso pode distorcer os resultados.

Escolher os parâmetros do seu experimento também é algo que pode ser desafiador. Cada aplicativo tem diferentes quantidades de usuários e, por isso, você deve escolher o melhor tamanho de segmento para testar sem causar danos aos seus atuais esforços de marketing.

Separar um segmento muito pequeno tornará seus resultados insignificantes, então há uma troca entre alcançar resultados ideais nos quais você confia e o custo de manter um período de teste longo.

Nem sempre é possível pausar todas as suas campanhas de marketing por uma semana ou mês inteiros, então, nesse caso, se você quiser ver resultados sem gastar mais tempo, é recomendado que você pare sua fonte de marketing de menor performance e faça a mensuração lá.

Identificar e excluir discrepâncias é outro passo importante, pois essas diferenças podem distorcer os dados e levar a conclusões incorretas. A quantidade de dados afetará o impacto dos valores discrepantes sobre os resultados então, novamente, esse é um fator importante ao considerar os benchmarks de seu experimento.

Preste atenção na sazonalidade.

Datas como a Black Friday, Páscoa e festas de final de ano afetarão o comportamento do usuários. Ou seja, é crucial saber escolher o momento certo para começar a aplicar o seu teste.

Comparar esses resultados a períodos mais calmos trará resultados muito diferentes. Como um profissional de marketing, você pode escolher o melhor período de tempo para executar um teste de incrementalidade com base no seu modelo de negócios e nas tendências típicas dos usuários.

Por fim, os testes de incrementalidade apresentam alguns desafios de engenharia.

Esses experimentos são complicados e exigem muitos desenvolvedores e experiência para criar a tecnologia necessária para oferecer os resultados mais impactantes.

Por exemplo, a conexão com a API de cada rede de anúncios, receber e agregar todos os dados brutos, remover discrepâncias e calcular a relevância estatística dos seus resultados é um trabalho que exige uma tonelada de trabalho ativo.

Trabalhar com um provedor de atribuição para incluir uma ferramenta de incrementalidade te ajudará a poupar tempo e dinheiro. Os dadas estão todos em seu dashboard de atribuição, então você pode facilmente segmentar e agregar essa informação em experimentos de incrementalidade.

Principais conclusões

A incrementalidade é uma ferramenta poderosa que pode oferecer verdadeiro insight e confiança sobre a sua escolha de canais, distribuição de orçamento e mensuração de ROAS, garantindo que os seus esforços de marketing atinjam seu potencial completo.

Para alcançar isso, você deve se lembrar de:

1. Adotar uma abordagem holística, focando tanto nos tráfegos pago e orgânico, sem se esquecer da relação complexa entre eles.
2. Certificar-se de que os seus dados estão limpos. Remova ruídos, discrepâncias e audiências sobrepostas para garantir que o seu experimento gera resultados relevantes.
3. Definir os seus KPIs antes de montar suas campanhas, certificando-se de segmentar adequadamente a sua audiência.
4. Ingerir, agregar e comparar os dados para identificar o aumento incremental nas suas campanhas.
5. Otimizar a distribuição de orçamentos e maximizar o ROAS com uma melhor compreensão de quais canais estão proporcionando o maior aumento incremental, quais grupos são mais receptivos aos anúncios e qual é o momento ideal para reengajar os usuários.

A otimização baseada em ROAS ou LTV é essencial para a mensuração do valor das suas campanhas, mas é apenas com o acréscimo da incrementalidade que você consegue obter o selo de aprovação definitivo da eficácia da sua campanha.

A palavra final: A mensuração na era da privacidade

A futura aplicação do ATT framework da Apple, como parte da abordagem baseada na privacidade do iOS 14, eliminará em grande parte a capacidade de mensurar através da correspondência de dispositivos.

Mas como a SKAdNetwork da Apple captura apenas cerca de 68% das instalações geradas por atividades não-orgânicas, outros métodos de mensuração se tornarão cada vez mais importantes para preencher essa lacuna e permitir que você tome decisões inteligentes com base em dados, como a atribuição probabilística, instalações auxiliadas pela web e, você adivinhou – a incrementalidade!