읽는 시간: 5분
통일된 광고 효과 측정, 표준화로 가는 길
캠페인 성과 증분 테스트, 마케터가 알아야 할 모든 것
마케팅 예산이 실제로 잘 쓰이고 있는지 어떻게 알 수 있을까요? 집행중인 광고가 실제로 소비자 행동에 영향을 끼치는지는 어떻게 알까요?
이런 질문에 명쾌하게 답을 줄 측정 방식이 있습니다.
바로 (캠페인) 성과 증분(incrementality) 테스트라는 측정법입니다.
성과 증분 테스트를 통해 광고비의 ROI를 정확히, 놓치기 쉬운 부분까지 측정합니다. 왜 놓치는 부분이 생길까요?
오가닉 트래픽과 유료 전환의 경계가 모호할 때가 있습니다. 광고를 집행하지 않았더라도 전환했을 사용자를 구별하지 못해 이런 유저에게도 예산을 지출했을 가능성은 분명 존재합니다. 성과 증분 테스트는 이렇게 캠페인과 관련없는 성과를 걸러내고 마케팅 활동의 효과를 정확히 파악하는 방법입니다.
성과 증분 측정은 단순히 일주일 간 유료 광고를 중단하고 그 영향을 분석하는 것 이상입니다. 이러한 종류의 테스트를 실행하는 일은 까다로운 작업이기 때문에 이 글에서는 캠페인으로 인한 성과 증가분을 계산하는 방법과 테스트 결과를 해석하는 방법을 중점적으로 설명하겠습니다.
또, 성과 증분 측정이 라스트 클릭 어트리뷰션과 다른 점을 살펴보고, 이러한 측정 기술이 중요한 이유와 성과 증분 측정 전반에 대한 내용을 말씀드리겠습니다.
캠페인의 성과 증가분은 어떻게 계산하나요?
성과 증분 테스트를 하기 위해서는 오디언스를 실험군과 대조군으로 나눕니다. 실험군에게는 광고를 보여주고, 대조군에게는 보여주지 않습니다.
두 집단의 행동 결과를 측정하여, 광고의 종류가 UA 마케팅이든 리마케팅이든 광고가 없었더라면 발생하지 않았을 전환을 파악할 수 있습니다. 이 차이가 성과 증(가)분입니다.
예를 들어 한 피자 가게에서 새로운 크러스트 메뉴를 출시하고, 신메뉴 할인 쿠폰을 배포했습니다. 그리고 한 달 뒤 쿠폰으로 팔린 해당 메뉴의 매출과, 쿠폰 없이 정가로 팔린 신메뉴의 매출을 비교하면 쿠폰 마케팅으로 인한 성과 증가분을 측정할 수 있습니다.
성과 증분 3가지 유형
캠페인 성과 증분 실험 결과는 다음과 유형으로 나뉩니다.
첫 번째 유형은 성과 증가형입니다. 수익을 증가시켰기 때문에 이 유료 캠페인이 효과적임을 알 수 있습니다.
두 번째 유형은 성과 증분치가 없는 성과 불변형입니다. 판매는 늘었으나 수익이 증가하지는 않았으므로 이 캠페인은 중단하거나 다른 방식을 고려해야 합니다. (광고소재 변경, 타겟팅 변경 등)
마지막은 성과 감소형입니다. 드문 경우이긴 하지만, 광고 캠페인을 집행하는 것이 안하는 것보다 더 손해를 볼 수 있습니다. 예를 들어, 리마케팅 캠페인을 지나치게 공격적으로 하면, 브랜드에 부정적인 영향을 끼칩니다. 또, 이런 결과가 나오는 경우, 테스트 자체가 올바르게 설정되어 있는지 확인하는 것이 좋습니다.
성과 증분 테스트 실전
우선 주요 용어와 지표를 살펴보겠습니다.
성과 증분 테스트 영역에서 사용하는 용어 정의를 정리했습니다. 성과 증분 테스트를 이해하는데 도움이 될 것입니다.
| 용어 | 정의 |
| 핵심 성과 지표(Key Perforamcne Indicator, KPI) | 앱 기업이 사업 목표를 얼마나 효과적으로 달성하고 있는지 나타내는 측정할 수 있는 값 |
| 대조군 | 실험군에 노출되는 광고가 노출되지 않는 유저 그룹 |
| 실험군 | 특정 광고가 노출되는 유저 그룹 |
| 통계적 유의성(statistical significance) | 통제군과 실험군 사이의 결과 차이가 우연이 아닐 가능성 |
| 성과 증가분(incremental lift) | 통제군 수치에서 실험군 수치까지의 증가율 |
이제 성과 증분 측정 과정을 살펴보겠습니다. 성과 증분 테스트는 여타 과학 실험과 유사합니다. 가설, 방법론, 결과 수집 및 분석, 결론 도출로 구성됩니다. 그리고 성과 증분 테스트는 크게 다섯 단계로 나뉩니다. 바로 목표 수립, 오디언스 세그멘테이션, 테스트, 데이터 분석, 조치입니다. 단계별로 자세히 알아보겠습니다.
목표 수립
성과 증분 실험을 시작할 때, 가설을 세우고 깊이 연구하고자 하는 사업상의 주요 KPI를 정의하는 것이 중요합니다. 성과 증분 실험이라는 과학적 실험을 통해 무엇을 증명하려는지 생각해 보세요.
예를 들어, 앱 설치 수, ROI, ROAS(광고 투자 대비 수익) 중 어떤 KPI의 효과를 측정할 것인지, 아니면 여러 지표를 통합한 효과를 연구할지를 정하세요.
오디언스 세그멘테이션
리마케팅 캠페인의 성과 증분 테스트를 수행할 때, 리마케팅 캠페인 타겟 오디언스를 실험 대상으로 설정하고, 이 실험 대상 오디언스에서 통제군을 설정하세요.
전문가의 팁: 어트리뷰션 플랫폼에서 원하는대로 오디언스를 세그멘테이션할 수 있고, 오디언스 세그멘트에 따라 적절히 캠페인을 구성할 수 있습니다.
통제군과 실험군은 유사한 특징이 있지만 절대 겹치지 않아야 합니다.
UA(user acquisition, 신규 유저 유입) 캠페인 실험에서는 오디언스 세그멘테이션이 어려울 수 있습니다. 고유 식별자 없이 오디언스를 알 수 없기 때문입니다. 고유 식별자란 다른 것과 구분되어 그것을 고유하게 규정하는 ID나 코드 같은 특정 식별자입니다.
그러나 오디언스를 세그멘테이션할 때 지역이나 시간대, 제품 사용 여부나 성별, 연령과 같은 다른 식별 요소를 사용할 수도 있습니다.
테스트 시작
전체 테스트 기간과 측정 기간을 정하고 테스트를 시작합니다.
모범 선례에 따르면, 보통 측정 기간은 최소 일주일 이상이어야 합니다.
측정 기간이란 테스트 설정 후 유저 활동 측정일 수이며, 앱 비즈니스 사이클과 작업할 데이터 규모에 따라 다릅니다.
측정 기간은 다른 캠페인 일정이 없는 기간으로 설정해야 합니다. 그래야 실험 대상 캠페인의 효과를 정확히 측정할 수 있습니다.
데이터 분석
대조군과 실험군으로부터 데이터를 모두 수집하면, 데이터를 집계하고 비교하여, 목표에 따라 특정 KPI의 증가분을 밝혀냅니다.
대조군과 실험군의 결과 간 연관성을 이해하면 성과 증분, 감소, 불변의 이유를 설명할 수 있을 것입니다.
통제군과 실험군 사이 격차가 크면, 실험 설정에 문제가 있다는 징후이기도 합니다. 다시 테스트하는 것이 좋습니다.
성과 증분 테스트를 스스로 준비하기는 상당히 어려울 수 있습니다. 이럴 때에는 성과 증분 테스트 툴을 어트리뷰션 플랫폼에 연동하여 제공하는 곳의 도움을 받아보세요. 어트리뷰션 플랫폼에서 테스트 데이터를 가져다 바로 성과 증분 대시보드에서 사용할 수 있습니다. 테스트 과정이 더 편리하고 효율적입니다.
인사이트 활용하기
성과 증분 테스트 결과에서 얻은 인사이트를 활용하여 캠페인 효과를 극대화하세요. 각 타겟 오디언스에게 메시징을 최적화하거나 리인게이지먼트 시점을 적절히 조절하고, 효과가 가장 좋은 매체를 추려내세요.
주요 성과 증분 측정 항목 2가지
데이터를 축적하고 집계한 후에 성과 증가분은 어떻게 계산할까요?
주로 두 가지를 측정합니다.
1. 수익 증가분
실험 대상 미디어 채널로 인해 실제로 발생한 수익 증가분을 측정합니다. 해당 채널에서 발생한 수익에서 대조군에서 발생한 수익을 빼서 계산합니다.
예를 들어, 한 캠페인에 $2,000를 지출한다고 가정합시다. 미디어 채널 A는 $5,000의 수익을, 미디어 채널 B는 $3,000의 수익을 발생시켰습니다. 표면상, 둘 다 수익성이 있는 채널처럼 보입니다. 그러나 오가닉으로 발생한 수익금이 $3,000여서 미디어 채널 B로 인한 수익 증가분은 실제로는 0입니다.
| 채널 | 지출, | 수익 | 수익 증가분 |
| 미디어 채널 A | $2000 | $5000 | $2000 |
| 미디어 채널 B | $2000 | $3000 | $0 |
| 오가닉 | $0 | $3000 | N/A |
실험군에서 얻은 수익이 대조군에서 얻은 수익보다 적으면, 실험군에 적용한 광고로 인한 수익 증가분이 없는 것입니다.
이 광고를 하지 않아도 기본적으로 동일한 수익을 낼 수 있으므로, 그 예산을 아껴 수익성이 더 좋은 채널, 마케팅 활동, 매체, 캠페인 등에 투자하세요.
2. 성과 증가분(incremental lift)
다음 성과 증가분 계산 공식을 사용하세요.
구체적인 숫자를 적용한 공식 활용 예제를 살펴보겠습니다. 실험군이 전환 10,000 건을 발생시키고, 통제군이 전환 8,000 건을 발생시켰다고 가정하겠습니다. (10,000 – 8,000)/8,000 = 0.25
성과 증가분은 25%이고, 이 수치가 KPI나 ROAS에 따라 좋은지, 나쁜지 판단할 수 있습니다.
이를 테스트하는 방식 중 하나는 비용입니다. 전환 비용(CPA, cost per action)을 성과 증가분으로 나눈 값이 LTV(유저생애가치)보다 높은지 확인하세요.
예를 들어 CPA가 $2이면, 0.25로 나누었을 때, $8입니다. LTV가 $8보다 높으면, 캠페인 성과가 좋은 것입니다. 그보다 낮으면 캠페인 전략을 다시 검토해야 합니다.
성과 증분 측정(Incrementality) vs. A/B 테스트
성과 증분 테스트의 핵심을 파악하면 A/B 테스트와의 차이점이 궁금할 것입니다.
일단, 성과 증분 테스트는 기본적으로 A/B 테스트의 일종이라는 점을 강조드립니다. 표준 A/B 테스트는 제품이나 캠페인을 A,B 둘로 나누고, 오디언스를 오디언스 1, 오디언스 2로 나눕니다. 그리고 서로 다른 버전의 제품이나 캠페인을 각각 다른 오디언스에 적용하고 어떤 경우에 결과가 더 좋은지 관찰합니다.
예를 들어, 한 오디언스에게는 파란 버튼이 있는 배너를 보이고, 다른 오디언스에게는 빨간 버튼이 있는 동일한 배너를 보입니다. 각 오디언스의 배너 CTR(Click through rate, 클릭 전환율)을 비교하는 것이 마케팅에서 하는 기본 A/B 테스트입니다.
A/B 테스트와 성과 증분 테스트가 다른 점은, 오디언스의 일부인 통제군에게 테스트 기간 동안 광고가 노출되지 않는다는 점입니다.
성과 증분 테스트는 광고를 집행하는 것이 집행하지 않는 것보다 나은지를 테스트하고, A/B 테스트는 위 예시처럼 동일 광고에서 파란 버튼이 빨간 버튼보다 성과가 더 좋은지를 실험합니다.
어떻게 오디언스에게 광고를 하지 않으면서 여전히 광고 지면을 ‘소유’하나요?
다음과 같은 세 가지 방법이 있습니다.
- 처리 의향 분석(ITT, Intent-to-treat, 실험 도중 탈락자 처리법) – 실험 시작 시점에 실험군, 대조군으로 표시하고 광고 노출 유무를 처리한 바에 근거하여 계산하는 방식입니다. 실험 종료 시점에서 실제로 확인된 실험군, 대조군 인원에 근거하여 계산하지 않습니다. 특정 오디언스 집단에 광고를 보여주려는/보여주지 않으려는 “처리 의향”이 있었으나 실험 도중 의향대로 집단이 유지될지 확신할 수 없습니다.
- Ghost Ads/Bids – 오디언스를 광고 집행 직전에 유저를 무작위로 실험군과 통제군으로 나누는 방식입니다. 통제군에는 광고를 노출하지 않으며 플라시보 광고에 대한 비용을 지불하지 않고 광고 게재 프로세스를 시뮬레이션 할 수 있습니다. 광고 네트워크가 자사의 광고 성과를 테스트하기 위해 가장 많이 사용하는 방법입니다.
- 공익 광고 (Public Service Announcement, PSA) – 실험군과 대조군에게 모두 광고를 보여줍니다. 그러나 실험군에는 광고주의 광고를 보이고, 대조군에는(광고주 사업을 홍보하는 광고가 아닌)일반 공익광고 캠페인을 보입니다. 그리고 양 집단의 캠페인 참여 활동을 수치화하여 성과 증가분을 계산합니다.
성과 증분 측정(Incrementality) vs. ROAS 최적화
성관 증분 테스트는 기존 어트리뷰션 모델을 대체하는 것은 아닙니다. 캠페인 성과 측정을 더 잘 할 수 있도록 어트리뷰션과 함께 동작하는 기술입니다.
일러두기: 앱 설치 수만 측정해서는 ROAS(Return on Ad Spend, 광고비 대비 매출 효과)를 정확히 측정하기는 어렵습니다.
마케터는 앱 설치 이후의 다양한 지표를 측정하고 최적화해야 합니다. 마케팅 퍼널에서 더 깊은 단계를 측정할수록 성과를 더 높일 수 있습니다. LTV에 집중하고 매체 비용을 고려하여 ROAS가 긍정적인지를 확인할 수 있어야 합니다.
성과 증분 측정 기술을 통해 광고 지출을 줄여도 오가닉 유저 수익을 유지하여 ROAS를 더 향상시킬 수 있는지 알 수 있습니다.
ROAS 증분 효과(iROAS)는 ‘(실험군 수익 – 대조군 수익)/총 광고비’로 계산합니다. 성과 증분 계산에서 오가닉 전환을 제하여 캠페인 효과를 정확히 측정하고, 이에 따라 올바르게 최적화할 수 있습니다.
예를 들어, iROAS가 100% 미만이면, 성과가 더 나은 캠페인과 채널에 예산을 재분배할 수 있습니다. 100% 이상이면, 오가닉 트래픽에 상관없이 이 광고 자체가 효과적임을 알 수 있습니다.
‘성과 증분 측정’이라는 추가 단계로, 마케팅 ROAS를 최적화할 중요한 정보를 얻게 되고 마케팅 성과를 극대화할 수 있습니다. 단순히 ROI와 ROAS를 측정하는 것과 성과 증분, 즉, 광고비에 대한 마케팅 캠페인 성과를 정확히 측정하는 것은 차이가 있습니다.
성과 증분 테스트의 장점
마케터는 성과 증분 테스트로 캠페인이 얼마나 효과적인지 정확히 자신있게 강조할 수 있습니다. iROAS 효과를 파악할 수 있을뿐만 아니라, 이러한 인사이트를 추후 마케팅 전략에 적용할 수 있습니다.
예를 들어, 성과 증분 테스트는 신규 매체에 큰 돈을 쓰기에 앞서, 성과 증분 테스트로 매체 효과를 테스트할 수 있습니다. 또, 소형 매체 캠페인을 성과 증분 테스트해서 효과가 있는지 여부를 확인할 수 있습니다. 테스트 결과가 긍정적이면, 해당 채널에 대해 캠페인 규모를 자신있게 늘리세요.
성과 증분 테스트가 유용하게 쓰이는 또다른 경우는, 바로 리인게이지먼트 전략을 세울 때 입니다. 리마케팅으로 인한 성과 증분이 최고치가 되는 시점을 찾아, 고객이 앱을 설치한 후 최적의 시점에서 리마케팅을 할 수 있는 인사이트를 얻을 수 있습니다.
이러한 지식을 바탕으로 마케터는 (실제) 성과가 가장 높은 채널을 찾고, 마케팅 예산을 투자할 곳을 현명하게 결정할 수 있습니다.
성과 증분 측정의 어려움
물론 어떤 방법을 사용해도 어려움은 있고, 성과 증분 측정도 예외는 아닙니다.
통제군과 실험군을 나눌 때 유저 행동에 영향을 줄 노이즈나 외부 요인을 제거하는 것이 중요합니다. 데이터를 정제하고 중복 오디언스가 없도록 하세요. 그렇지 않으면 측정 결과가 왜곡됩니다.
실험에 쓰일 측정 파라미터를 정하는 것 또한 어렵습니다. 앱마다 유저 규모가 다르기 때문에 집행중인 마케팅 활동에 영향을 끼치지 않으면서 테스트할 수 있는 최적의 유저 세그먼트 크기를 정해야 합니다.
세그먼트 크기가 너무 작으면 실험 결과가 무의미합니다. 그래서 확신이 드는 최적의 결과를 얻으려면 테스트 기간이 늘어납니다.
일주일이나 한 달 동안 마케팅 캠페인을 모두 중단하기가 항상 가능하지는 않습니다. 그래서 시간을 많이 들이지 않고 결과를 보려면, 성과가 가장 낮은 마케팅 소스는 중단한 상태에서 측정하기를 권장드립니다.
측정 결과 이상치(outlier)를 발견하고 제외시키는 일도 중요한 작업입니다. 이상치로 데이터가 왜곡되어 부정확한 결론에 이를 수 있습니다. 이상치가 실험 결과에 끼치는 영향도는 데이터 양에 따라 달라집니다. 따라서 성과 증분 실험을 위한 벤치마크를 참조할 때 데이터 양도 중요한 요소입니다.
시즌 특성을 인지하세요. 블랙 프라이데이와 명절 같은 특수 기간에는 트래픽이 달라집니다. 그러므로 테스트를 시작하기에 적합한 시점을 고르는 일이 매우 중요합니다.
성수기와 비수기 실험 결과를 비교하면 매우 다릅니다. 앱 마케터는 자사의 비즈니스 모델과 전형적인 유저 트렌드에 따라 성과 증분 테스트를 수행할 적절한 기간을 결정할 수 있습니다.
마지막으로, 성과 증분 테스트는 기술 문제가 있습니다. 이런 실험들은 영향력있는 결과를 도출하기 위해 기술력과 많은 개발자들의 도움이 필요합니다.
예를 들어, 각 애드 네트워크의 API를 연결하고, 로데이터를 모두 수신하고 집약하고, 이상치를 제거하고 실험 결과에 대한 통계상의 의미를 계산하는 일에 많은 공수가 들어갑니다.
성과 증분 측정 툴이 있는 어트리뷰션 플랫폼에서 작업하면 시간과 비용이 절약됩니다. 필요한 데이터가 모두 어트리뷰션 대시보드에 있어서, 쉽게 데이터를 나누고 집계하여 성과 증분 실험을 할 수 있습니다.
핵심 정리
성과 증분 측정은 정확한 인사이트를 제공하고 마케팅 채널 선정, 예산 분배, ROAS(Return On Ad Spend, 광고비 지출 대비 매출) 측정을 자신있게 수행하고 마케팅 활동의 효과를 극대화시키도록 지원하는 강력한 툴입니다.
이러한 성과 증분 측정의 효과를 보려면 다음 사항을 기억하세요.
1) 유료 광고 트래픽과 오가닉 트래픽 간 복잡한 관계를 유념하고 두 트래픽을 모두 고려하여 종합적인 방식을 취하세요.
2) 데이터가 정제되어 있는지 확인하세요. 방해 요소, 이상치, 중복 오디언스를 제거하여 실험 결과가 통계상 유의미하도록 하세요.
3) 캠페인을 기획하기 전, KPI(핵심성과지표)를 정의하고 오디언스를 적절히 나누세요.
4) 데이터를 주입하고, 집계하고 비교하여 캠페인으로 인한 성과 증분치를 확인하세요.
5) 어떤 채널이 성과 증가분이 가장 큰지, 어떤 유저 집단이 광고에 더 잘 반응하는지, 어느 시점이 리마케팅을 하기 가장 좋은지를 파악하여 마케팅 예산 분배를 최적화하고 ROAS를 극대화하세요.
LTV(유저생애가치)나 ROAS에 기반한 마케팅 최적화는 캠페인 가치를 측정하기 위한 필수 작업이지만, 성과 증가분이 더해져야 캠페인 효과를 확실히 입증할 수 있습니다.
마무리: 개인 정보 중요 시대의 데이터 측정
iOS 14에 적용되는 ATT 프레임워크는 Apple의 개인 정보 보호 기조에 따른 조치이며 디바이스 매칭을 통한 앱 성과 측정 능력을 크게 축소시킬 것입니다.
Apple의 SKAdNetwork는 논오가닉 인스톨의 68% 정도만 측정하기 때문에, 성과 측정 데이터의 정확도를 높이고 데이터에 근거한 현명한 의사결정을 하기 위해 다른 측정 방식의 중요성이 부각되었습니다. 확률적 어트리뷰션, 웹 캠페인에서 앱으로의 전환 측정, 그리고 물론 캠페인 성과 증분 측정도 프라이버시 중요 시대에 더욱 중요해진 측정법입니다.
