[GA4>M 활용] "그 광고, 진짜 효과 있었나?" 증분(Incrementality) 측정하는 4단계 사다리 (2편)
핵심 요약 (한 줄 답변)
1편에서 GA4로 기여도(Attribution) 를 측정해 "디스플레이·소셜이 검색광고에 영향을 준다"는 가설을 세웠다면, 이제는 그 가설을 증명할 차례입니다. 증분(Incrementality) 을 검증하는 방법은 신뢰도·비용 순으로 4단계 사다리로 정리됩니다 - Level 1 관찰(상관, 비용 0) → Level 2 준실험(DID·합성통제, 비용 낮음) → Level 3 진짜 실험(Lift Test, 골드 스탠다드) → Level 4 MMM(전체 그림). 실무 표준은 한 가지 방법만 믿지 않고 GA4(상시)·Lift Test(분기)·MMM(반기)를 삼각측량하는 것입니다. 해외 핵심 연구(Kireyev 외, 2016)는 디스플레이가 검색 전환을 유의미하게 늘리는 동시에 검색 비용도 늘린다는 것을 실증했고, eBay 실험(Blake 외, 2015)은 반대로 브랜드 검색광고의 증분 효과가 거의 없을 수 있다는 것을 보여줍니다. 결론은 1단계부터 순서대로 밟아 올라가는 것입니다.
이 글에서 알 수 있는 것
- 인과관계를 검증하는 4단계 사다리(관찰 → 준실험 → Lift Test → MMM)의 전체 구조
- Geo Lift 실험을 국내 상황에 맞게 설계하는 구체적인 방법
- 매체 내장 리프트 스터디(Search Lift, Conversion Lift)의 장단점
- MMM(마케팅 믹스 모델링)에서 애드스톡·포화를 반영하는 법
- 샤플리 밸류·마르코프 체인 등 데이터 기반 모델의 이론적 배경
- 해외 학술 연구 5건과 국내외 실무 사례로 보는 실증 근거
- 12주 실행 로드맵과 광고주 보고서에 고정 게재할 "진짜 성과 3종 지표"
✳️ 난이도 : 고급 | 소요 시간 : 약 12분 | 대상 : GA4 기여도 분석을 넘어, 상위 퍼널 광고의 진짜 인과 효과를 실험으로 증명하려는 광고 운영자·마케터·데이터 분석가
이 글은 「GA4로 광고매체 기여도 측정하는 방법 (1편)」에 이어집니다. GA4의 DDA 설정법과 전환 경로·모델 비교 보고서 활용법이 궁금하다면 1편을 먼저 읽어보시길 권합니다.
1편에서 남은 질문 : "그래서 그게 진짜 인과관계인가?"
1편에서 GA4의 DDA와 전환 경로 보고서로 "상위 퍼널이 하위 퍼널에 영향을 준다"는 가설을 데이터로 뒷받침했습니다. 하지만 이것은 상관관계일 뿐, 인과관계를 증명하지는 않습니다.
여기가 진짜 질문입니다. 난이도·신뢰도 순으로 4단계 사다리로 정리했습니다. 아래로 갈수록 신뢰도가 높고 비용이 큽니다.
✅ 핵심 : 1단계부터 순서대로 올라가는 것을 권합니다.
| 단계 | 방법 | 비용 • 기간 | 신뢰도 |
| Level 1 | 관찰(상관) | 0원, 1주 | 낮음 |
| Level 2 | 준실험(DID·합성통제) | 낮음, 2~4주 | 중간 |
| Level 3 | 진짜 실험(Lift Test) | 중간, 2~6주 | 높음 (골드 스탠다드) |
| Level 4 | MMM | 높음, 2~3개월 | 전체 그림 |
Level 1. 관찰 - "같이 움직이나?" (비용 0, 1주)
DA/소셜을 켜고 끌 때 검색 쪽 지표가 따라 움직이는지만 봅니다. 인과 증명은 아니지만 가설이 살아있는지 확인하는 단계입니다.
측정할 지표 (모두 '브랜드 키워드'로 한정)
| 지표 | 도구 |
| 브랜드 키워드 검색량 | 네이버 데이터랩, 네이버 검색광고 키워드도구, 구글 트렌드 |
| 브랜드 검색광고 노출수·클릭수·CTR | 네이버 검색광고/Google Ads |
| 브랜드 자연검색 클릭수 | Search Console (2025년 11월부터 브랜드 포함/미포함 검색어 분리 필터 추가) |
| 브랜드 검색 → 전환율 | GA4 |
✅ 핵심 : 브랜드명을 직접 검색하는 행동은 브랜드에 대한 명확한 관심 표현이기 때문에 중요한 후행 지표로 간주됩니다.
➡️ 분석 방법 : DA 노출량(일별)과 브랜드 검색량을 같은 그래프에 올리고, 0~7일 시차 상관계수를 각각 구합니다. 보통 1~3일 시차에서 상관이 가장 높게 나옵니다.
⚠️ 반드시 붙일 경고 : 이건 상관관계입니다. 시즌(명절, 세일), 경쟁사 활동, PR, 인플루언서 언급이 동시에 움직였을 수 있습니다. 도달과 검색량 상승은 "매출이 날 준비가 됐다"는 신호이지 "매출이 났다"는 신호가 아닙니다. 연료 게이지가 찬 것이지 바퀴가 굴러간 게 아닙니다. 검색량만 오르고 매출이 안 따라오면 랜딩·검색광고 커버리지·오퍼에 구멍이 있는 것입니다.
Level 2. 준실험(Quasi-experiment) - "직접 켜고 꺼보기" (비용 낮음, 2~4주)
무작위 배정 없이, 시간이나 조건 차이를 이용합니다.
(a) On/Off 스위치백 테스트
DA/소셜을 1주 ON → 1주 OFF → 1주 ON → 1주 OFF로 번갈아 돌리고, 각 주의 브랜드 검색량·검색광고 클릭·전환을 비교합니다.
- 장점 : 설계가 가장 쉬움. 계절성 영향을 어느 정도 상쇄
- 단점 : 광고 효과가 며칠씩 잔존(캐리오버)하므로 OFF 주가 오염됩니다 → OFF 기간을 최소 2주 이상 잡아야 함
(b) 이중차분법(DID, Difference-in-Differences)
"DA를 켠 지역/세그먼트"의 전후 변화에서 "안 켠 지역/세그먼트"의 전후 변화를 빼서, 계절성·시장 전체 트렌드를 제거합니다.
➡️ 예 : 수도권에만 DA 집행 → (수도권 검색광고 클릭 증가율) − (비수도권 증가율) = DA의 순효과
(c) 합성 통제(Synthetic Control)
비교 가능한 단일 대조군이 없을 때, 여러 지역/기간을 가중 조합해 "DA를 안 했다면 이랬을 가상의 우리 브랜드" 를 만들어 실제와 비교합니다. TV·오프라인 광고 효과 측정에서 학계가 표준적으로 쓰는 방법입니다.
Level 3. 진짜 실험(Lift Test) - 인과의 골드 스탠다드 (2~6주)
여기부터가 "DA가 검색을 몇 % 올렸다"를 숫자로 말할 수 있는 구간입니다.
(a) 지역 실험 / Geo Lift — 국내에서 가장 현실적인 선택
➡️ 원리 : 전국을 지역 단위로 나눠 테스트 지역(집행)과 대조 지역(미집행)으로 배정하고, 두 그룹의 성과 차이로 광고의 진짜 증분 효과를 측정합니다.
✅ 핵심 : 유저 단위 추적이 필요 없어 개인정보 이슈에서 자유롭고, 매체를 가리지 않는다는 게 최대 장점입니다. 설문 기반 브랜드 리프트와 달리 표본이 커서, 더 작은 효과도 높은 통계적 신뢰도로 잡아낼 수 있습니다.
이 케이스에 맞춘 설계안
| 항목 | 설계 |
| 처치 | DA/소셜만 지역 타겟으로 ON/OFF (검색광고는 전국 동일 유지) |
| 테스트군 | 부산·대구·광주·대전 등 (DA 집행) |
| 대조군 | 인천·울산·경남 등 (DA 미집행) |
| 1차 KPI | 브랜드 키워드 검색광고 노출수·클릭수 ← "DA→검색 영향"의 직접 증거 |
| 2차 KPI | 브랜드 자연검색 클릭, GA4 전환수, 매출 |
| 기간 | 4주 (사전 4주 프리테스트 기간 데이터 필수) |
설계 시 지켜야 할 것
- BCG의 매칭 마켓 방법론은 테스트군과 대조군이 주요 KPI에서 과거 95% 이상의 상관을 갖도록 지역을 선정할 것을 요구합니다 → 사전 8~12주 데이터로 두 그룹의 추세가 겹치는지 먼저 확인
- 주당 1,000건 전환하는 브랜드는 10% 리프트를 안정적으로 감지할 수 있지만, 100건인 광고주는 25% 이상의 변화만 잡힙니다 → 전환 볼륨이 작으면 KPI를 '전환'이 아니라 **'브랜드 검색 클릭'**으로 잡으세요
- 오염(Contamination) 방지 : 대조 지역 거주자가 테스트 지역에서 광고를 볼 수 있으므로 인접 광역시를 짝짓지 마세요
- 전환 지연 고려 : 고객이 보통 노출 후 3주 내 전환한다면, 테스트 종료 후 모니터링 기간을 계획해야 합니다
✅ 결과 해석 예시 : 테스트군 브랜드 검색클릭 12,000 / 대조군(규모 보정 후) 9,600 → Search Lift = +25%, 즉 브랜드 검색 클릭의 20%(2,400/12,000)는 DA가 만들어낸 것 → 이 2,400클릭의 전환·매출을 DA 성과로 재계상 → DA의 진짜 iROAS 산출
(b) 매체 내장 리프트 스터디 — 가장 빠른 방법
직접 설계하기 부담스러우면 매체가 제공하는 기능을 씁니다.
| 기능 | 내용 |
| Search Lift | "이 YouTube/디스플레이 캠페인이 브랜드 검색을 몇 % 늘렸나"를 Google이 직접 계산 → 질문에 가장 정확히 대응 |
| Meta Conversion Lift / Brand Lift | 소셜 쪽 증분 측정 |
⚠️ 주의 : 이 테스트들이 잘하는 것은 Google/Meta 환경 내부의 증분 가치 정량화이고, 못 하는 것은 다운스트림·크로스채널 효과입니다. 검색광고가 매체 내부에서는 증분으로 보이면서도 실제로는 다른 곳의 브랜드 예산에 의존하고 있을 수 있는데, 테스트는 그 상호작용을 보지 못합니다. 매체 내장 리프트는 "자기 채점" 이라는 점을 감안하고, Geo Lift로 교차 검증하는 게 안전합니다.
Level 4. MMM(마케팅 믹스 모델링) — 전체 그림 (2~3개월)
매체별 주간 비용·노출과 매출·검색량을 시계열 회귀로 분해해 각 매체의 기여분·한계 ROI·포화점을 추정합니다.
✅ 핵심 : MMM은 사용자 단위 데이터가 전혀 필요 없고, 채널·시장·상품별 주간 또는 월간 집계값만으로 작동합니다 → 쿠키·ITP 이슈에서 완전히 자유로움
| 오픈소스 도구 | 특징 |
| Meta Robyn | R 기반, 릿지 회귀와 다목적 최적화 |
| Google Meridian | Python 기반, 완전 베이지안 모델. Google Ads·YouTube·DV360 등 구글 생태계 통합이 깊고, 실험 결과로 모델을 보정하는 방법이 더 정교함 |
MMM에서 이 케이스에 꼭 넣어야 할 것 2가지
| # | 요소 | 설명 |
| 1 | 애드스톡(Adstock, 잔존효과) | 오늘 본 DA가 며칠간 효과를 남기는지 |
| 2 | 포화(Saturation, 체감효과) | DA를 얼마 이상 쓰면 효율이 꺾이는지 |
✅ 핵심 팁 : 베이지안 모델의 장점은 사전분포(prior)로 외부 지식을 넣을 수 있다는 것인데, 리프트 테스트 결과를 최대한 정보량 있는 사전분포로 설정하는 것이 최적입니다 → Level 3의 실험 결과를 MMM에 넣어 보정하는 것이 2026년 현재의 표준 워크플로우입니다.
⚠️ 주의 : TV와 YouTube처럼 항상 나란히 집행되는 채널은 다중공선성 때문에 모델이 효과를 깨끗이 분리하지 못합니다. DA와 검색광고를 늘 같이 켜왔다면 MMM만으로는 분리가 어렵고, 의도적으로 변동을 만들어주는 실험이 반드시 필요합니다.
정리 : 삼각측량(Triangulation)이 정답
한 가지 방법만 믿으면 안 됩니다. 실무 표준은 셋을 겹쳐 보는 것입니다.
| 방법 | 역할 | 주기 |
| GA4 / MTA | 매일의 운영 조타(어느 소재·키워드를 끌지) | 상시 |
| Lift Test | 인과의 기준점(Ground Truth) 확보 | 분기 1~2회 |
| MMM | 연간·분기 예산 배분 | 반기 1회 |
알아두면 좋은 이론들 (쉽게)
규칙 기반 기여 모델 - GA4엔 없지만 개념은 알아야 함
| 모델 | 비유 |
| 라스트클릭 | 골 넣은 선수만 100점 |
| 퍼스트클릭 | 공을 처음 뺏은 선수만 100점 |
| 선형 | 공 만진 모두에게 똑같이 |
| 시간 감소 | 골에 가까운 패스일수록 높은 점수 |
| 위치 기반(U자) | 시작과 마무리에 40%씩, 중간이 20% 나눠 가짐 |
데이터 기반 모델의 두 뿌리
① 샤플리 밸류(Shapley Value) - 게임이론에서 옴
➡️ 비유 : 3명이 팀 프로젝트로 100점을 받았습니다. "A 없이 했으면 몇 점? B 없이는? A와 B만 있으면?" 가능한 모든 조합을 다 돌려보고 각자의 평균 공헌도를 계산합니다.
발생 가능한 모든 조합으로 전환 확률 모델을 만들어 기여도를 분석하는 방식으로, Google Ads 데이터 기반 기여 모델의 기초 이론으로 채택되었습니다.
⚠️ 주의 : GA4의 DDA가 샤플리 밸류를 쓴다는 통설은 사실 지금은 없어진 유니버설 애널리틱스 문서에서 유래한 것이고, 현재 GA4 문서는 '반사실적(counterfactual) 접근' 이라고만 밝히고 있습니다.
② 마르코프 체인(Markov Chain) + 제거 효과(Removal Effect)
➡️ 비유 : 지하철 노선도에서 환승역 하나를 폐쇄해보고 목적지 도착객이 몇 % 줄어드는지 봅니다. 많이 줄면 그 역이 중요한 겁니다.
각 꼭짓점이 접점, 각 간선이 다음 접점으로 이동할 확률인 그래프를 만든 뒤, 특정 접점을 그래프에서 삭제하고 삭제 후의 전환 확률을 계산해 각 접점의 기여도를 산출합니다.
✅ 핵심 : BigQuery로 GA4 로우 데이터를 뽑아 직접 구현할 수 있고, DA를 지웠을 때 전환이 크게 줄면 DA의 진짜 가치입니다.
시계열 이론
| 개념 | 설명 |
| VAR / VEC 모형 | 디스플레이 노출·검색 클릭·전환을 서로 영향을 주고받는 변수로 함께 모델링 |
| 임펄스 응답 함수(IRF) | "DA 노출을 오늘 1단위 늘리면 검색 클릭이 며칠 뒤 얼마나 늘고 언제 사라지는지"의 감쇠 곡선 |
| 애드스톡 / 캐리오버 | 광고 효과의 잔존. 반감기(half-life) 개념 |
| 포화 곡선(S-curve) | 예산 대비 효과의 수확 체감 |
인과추론 도구
RCT(무작위 대조 실험) → DID(이중차분) → 합성통제 → PSM(성향점수 매칭) 순으로 신뢰도가 낮아집니다.
국내외 사례 및 연구
해외 - 학술 연구
핵심 논문 : Kireyev, Pauwels & Gupta (2016), IJRM — "디스플레이 광고는 검색에 영향을 주는가?"
이 시리즈와 질문이 100% 동일한 논문입니다. 미국 대형 은행의 신규 입출금계좌 유치 온라인 광고 데이터로 다변량 시계열 모형을 만들었습니다.
✅ 결과 : 디스플레이 광고는 검색 전환을 유의미하게 증가시켰습니다. 디스플레이 노출은 검색 전환을 늘릴 뿐 아니라 검색 클릭 자체도 늘려서 검색광고 비용을 증가시켰습니다. 이 세 효과를 모두 반영하면 1달러 투자당 디스플레이는 1.24달러, 검색은 1.75달러의 수익을 냈는데, 이는 표준 지표 기반 추정치와 크게 대비됩니다.
효과 크기 : 디스플레이 노출은 검색 노출 예측오차 분산의 40%, 검색 클릭의 17%, 최종 신청의 16% 를 설명했습니다.
실무 함의 (매우 중요)
- 디스플레이는 검색광고의 전환율을 올리는 동시에, 검색광고의 비용도 올립니다. DA 집행 후 검색광고 CPC/클릭이 늘었다면 그건 낭비가 아니라 DA가 수요를 만든 증거입니다.
- 다만 디스플레이가 기여도 재배분에서 이득을 보긴 하지만, 검색의 강한 동적 효과 때문에 이 사례에서는 검색광고 예산 비중을 최대 36%까지 늘리는 것이 최적이었습니다 → "DA에 무조건 예산을 더 주자"는 결론이 아닙니다. 데이터로 확인해야 합니다.
eBay 검색광고 실험 (Blake, Nosko & Tadelis, 2015, Econometrica)
eBay에서 진행한 대규모 현장 실험 결과, 검색 클릭과 구매 의도가 상관관계에 있기 때문에 검색광고의 수익률은 비실험적 추정치의 일부에 불과했습니다. 극단적으로, 브랜드 키워드 광고는 측정 가능한 단기 효익이 전혀 없었습니다. 비브랜드 키워드의 경우 신규·저빈도 사용자에게는 긍정적 영향이 있었지만, 광고에 영향받지 않는 고빈도 사용자가 광고비 대부분을 소진해 평균 수익률은 마이너스였습니다. 브랜드 검색광고를 중단하자 잃어버린 광고 트래픽 대부분이 그냥 자연검색 트래픽으로 옮겨갔습니다.
✅ 시사점 : 광고주가 "검색광고 ROAS가 제일 좋다"고 할 때, 그 브랜드 키워드 클릭의 상당수는 이미 오기로 결정한 사람일 수 있습니다. 반대로 말하면, 그 결심을 만든 건 DA/소셜이었을 가능성이 높습니다.
디스플레이 → 검색 스필오버 실험들
현장 실험 결과 디스플레이 광고 노출은 관련 검색 쿼리 수를 각각 27~45%, 5~25% 증가시켰습니다. 경쟁사에도 새는 효과까지 있습니다 - 디스플레이 광고는 제품 카테고리 노출을 늘려 광고주에서 경쟁사로 향하는 긍정적 스필오버(파급)까지 발생시킵니다.
해외 - 실무 사례
| 사례 | 내용 |
| 대형 식료품 체인 (Geo 홀드아웃) | 12개 테스트 마켓에서 비브랜드 검색광고를 전면 중단한 결과 매출 리프트가 0%로 나타나, 증분 효과가 없음이 확인됨 → "켜져 있으니 성과가 있다"는 착시의 대표 사례 |
| 텍사스 퍼스널케어 브랜드 | 지역 실험으로 채널별 증분을 분리한 뒤, 광고비를 13% 늘리면서도 마케팅 효율을 3.1배 개선 |
| 캐나다 은행 | Geo Lift를 대규모로 도입해 한 분기에 여러 테스트를 동시에 돌렸고, 기존 12개월 이상 걸리던 프로세스를 대체 |
| 스킨케어 브랜드 헤일로 효과 측정 | 자사몰 외 아마존 매출까지 KPI로 두고, 60% 지역은 구글 광고 유지·40%는 중단해 아마존 매출을 비교 → 구글 광고의 채널 외 헤일로 효과 분리 |
| 디스플레이·YouTube의 구조적 저평가 | 직접 기여도가 약하게 나오지만, 뷰스루 전환과 크로스채널 리프트를 통해 상당한 증분 가치를 만들어내는 경우가 많음 |
국내 - 실무 사례
| 사례 | 내용 |
| TV 광고량 → 네이버 검색량 (국내 학술연구) | TV 광고 노출량은 한글·영어·총 검색량과 유의한 정적 상관관계를 보였고, 노출량 변화가 검색량 변화에 유의한 정적 영향을 미침 → 한국 시장에서도 "상위 퍼널 노출 → 검색 행동"이 실증된 연구 |
| 브랜드 검색량 상승 ≠ 매출 (국내 대행 현장 분석) | 도달·브랜드 검색량은 올랐는데 매출만 그대로인 상황은, 광고 효과가 없거나 리포트가 부풀려진 게 아니라 만들어진 관심이 매출로 내려오는 길목에 장치가 없었기 때문 |
| 국내 채널 특성 | 빠른 매출 전환이 필요하면 검색광고, 브랜드 인지도·고객 풀 확보가 중요하면 성과형 디스플레이가 적합. 신제품 런칭·경쟁 치열 업종은 두 채널을 함께 운영할 때 가장 큰 시너지 |
| 국내 측정 솔루션 | 에어브릿지(Airbridge)가 인크리멘탈리티를 "광고로 인한 전환의 순증가분"으로 정의하고, 관련 한국어 백서·블로그를 무료 제공 |
실행 로드맵 (12주)
| 주차 | 단계 | 실행 내용 |
| 1~2주차 | 기반 정비 | UTM 규칙 문서화·전 매체 적용, 맞춤 채널 그룹 생성 / 기여 모델=데이터 기반, 채널 크레딧=유료 및 자연, 룩백=60~90일 설정 / 모델 비교 보고서로 DDA 실제 작동 여부 검증 / BigQuery Export 활성화 |
| 3~4주차 | 현황 진단 리포트 1차 | 전환 경로 보고서(DA/소셜→검색 경로 비중, 전환 소요일수, 접점 수) / 전환 기여 분석 보고서(채널별 Assist Ratio) / 모델 비교 표(라스트클릭 vs DDA 차이로 CPA/ROAS 재계산) / 탐색(DA 경험군 vs 비경험군 전환율 비교) / 브랜드 검색량 vs DA 노출량 시차 상관 분석 |
| 5~8주차 | 인과 검증 (Level 3) | Google Ads Search Lift / Meta Conversion Lift 신청(가장 빠름) / 동시에 Geo Lift 설계(사전 8~12주 데이터로 지역 매칭 → 4주 실행) / 1차 KPI는 브랜드 검색광고 클릭수(볼륨 확보 목적) |
| 9~12주차 | 통합 및 예산 재배분 | 실험에서 나온 리프트 계수로 DA/소셜의 보정 ROAS 산출 / 데이터가 1년 이상 쌓였다면 Meridian 또는 Robyn으로 MMM 착수, 실험 결과를 prior로 투입 / 광고주 보고서에 "진짜 성과 3종 지표" 고정 게재 |
광고주 보고서에 고정 게재할 "진짜 성과 3종 지표"
| # | 지표 | 용도 |
| 1 | 라스트클릭 ROAS | 기존 관성 유지용 |
| 2 | DDA 기반 ROAS | 기여 재배분 |
| 3 | 증분 ROAS (iROAS) | 예산 결정의 기준 |
결론 : GA4는 나침반, 실험은 지도입니다
1편의 기여도 분석과 2편의 증분 검증을 합치면, 이 시리즈 전체를 관통하는 메시지가 완성됩니다.
"기여도(GA4)는 매일의 운영 조타를 위한 나침반이고, 증분(실험)은 어디로 가야 할지 알려주는 지도다. 나침반만 보고 큰 예산을 옮기지 말고, 지도(실험)로 방향을 확인한 뒤 나침반으로 세부 조정하라."
DDA로 기여도를 재배분해 가설을 세우고, Geo Lift·매체 내장 리프트 테스트로 그 가설을 검증하고, 데이터가 쌓이면 MMM으로 전체 그림을 그리는 것 - 이 삼각측량이 2026년 현재 광고 성과 측정의 표준입니다. 특히 "검색광고 ROAS가 제일 좋다"는 말을 그대로 믿지 않는 것, 그리고 상위 퍼널 매체를 끄기 전에 반드시 실험으로 확인하는 것이 이 모든 과정의 핵심 태도입니다.
자주 묻는 질문 (FAQ)
Q. 인과관계를 검증하는 4단계 중 어디부터 시작해야 하나요?
A. Level 1(관찰)부터 순서대로 올라가는 것을 권장합니다. 비용이 들지 않는 관찰로 가설이 살아있는지 먼저 확인한 뒤, 준실험·Lift Test·MMM 순으로 신뢰도를 높여가세요. 처음부터 MMM 같은 고비용 방법에 뛰어들 필요는 없습니다.
Q. Geo Lift 실험을 설계할 때 가장 조심해야 할 것은 무엇인가요?
A. 오염(Contamination) 방지가 핵심입니다. 대조 지역 거주자가 테스트 지역의 광고를 볼 수 있으므로 인접 광역시를 테스트군·대조군으로 짝짓지 마세요. 또한 사전 8~12주 데이터로 두 그룹의 추세가 과거 95% 이상 상관을 보이는지 확인한 뒤 실험을 설계해야 합니다.
Q. 전환 볼륨이 적은 광고주도 Lift Test를 할 수 있나요?
A. 가능합니다. 다만 주당 전환이 100건 수준이면 25% 이상의 변화만 감지되므로, KPI를 '전환'이 아니라 볼륨이 훨씬 큰 '브랜드 검색 클릭' 으로 잡는 것을 권장합니다.
Q. 매체가 제공하는 Search Lift, Conversion Lift만 봐도 충분한가요?
A. 빠르고 편리하지만 한계가 있습니다. 이 테스트들은 해당 매체 내부의 증분만 측정할 수 있고, 다운스트림·크로스채널 효과는 보지 못합니다. "자기 채점" 이라는 점을 감안해, 가능하면 Geo Lift로 교차 검증하는 것이 안전합니다.
Q. 상위 퍼널(디스플레이·소셜) 예산을 늘려야 할까요, 줄여야 할까요?
A. 기여도 분석만으로는 결론을 내릴 수 없습니다. Kireyev 외(2016) 연구에서도 디스플레이가 검색 전환에 유의미한 영향을 줬지만, 실제로는 검색광고 예산 비중을 늘리는 것이 최적이었던 사례가 있습니다. "무조건 상위 퍼널에 예산을 더 주자"는 결론은 위험하며, 반드시 실험으로 데이터를 확인해야 합니다.
Q. MMM을 시작하려면 최소한 어느 정도 데이터가 쌓여야 하나요?
A. 명확한 최소 기준은 없지만, 이 시리즈의 로드맵에서는 데이터가 1년 이상 쌓인 뒤 MMM(Meridian, Robyn)에 착수할 것을 권장합니다. 특히 DA와 검색광고를 항상 함께 집행해왔다면 MMM만으로는 효과 분리가 어려우므로, Lift Test 결과를 사전분포(prior)로 투입해 모델을 보정하는 것이 표준 워크플로우입니다.
Q. 여러 측정 방법의 결과가 서로 다르게 나오면 어떤 걸 믿어야 하나요?
A. 한 가지 방법만 믿지 말고 삼각측량하세요. GA4는 상시 운영 조타용, Lift Test는 분기 1~2회 인과의 기준점 확보용, MMM은 반기 1회 예산 배분용으로 역할을 나눠 함께 참고하는 것이 실무 표준입니다.
요약 (한 장 정리)
- 인과 검증 4단계 : 관찰(상관, 비용0) → 준실험(DID·합성통제) → Lift Test(골드스탠다드) → MMM(전체 그림)
- Level 1 : 브랜드 검색량과 DA 노출량의 시차 상관(보통 1~3일) — 단, 상관≠인과
- Level 2 : On/Off 스위치백, DID, 합성통제로 계절성·트렌드 제거
- Level 3 : Geo Lift(국내에서 가장 현실적) + 매체 내장 리프트(Search Lift, Conversion Lift)
- Level 4 : MMM(Meridian·Robyn) — 애드스톡·포화 반영, Lift Test 결과를 사전분포로 투입
- 핵심 연구 : Kireyev 외(2016) 디스플레이→검색 유의미한 영향(1달러당 디스플레이 1.24달러·검색 1.75달러) / eBay 실험 브랜드검색 증분 거의 없음 / Meta 2,226건 실험 라스트클릭 설명력 19%
- 원칙 : 삼각측량(GA4 상시 + Lift Test 분기 + MMM 반기), 예산 결정은 반드시 iROAS 기준
- 12주 로드맵 : 기반 정비(1~2주) → 진단(3~4주) → 인과 검증(5~8주) → 통합·예산 재배분(9~12주)
- 1편과의 관계 : 1편(가설 수립·GA4 기여도) + 2편(가설 검증·인과관계) = 광고 성과 측정의 전체 사이클
참고 자료
공식 문서
- Ads Data Hub 마르코프 체인 분석(한국어): https://developers.google.com/ads-data-hub/guides/markov?hl=ko
논문
- Kireyev, Pauwels & Gupta (2016), Do display ads influence search? - https://www.hbs.edu/faculty/Pages/item.aspx?num=50085
- Blake, Nosko & Tadelis (2015), eBay 검색광고 실험 - https://www.nber.org/system/files/working_papers/w20171/w20171.pdf
- 국내 연구 : TV 광고 노출량이 네이버 검색량에 미치는 영향 - https://koreascience.kr/article/JAKO202128837756039.pdf
한국어 실무 자료
- 에어브릿지 인크리멘탈리티 백서: https://www.airbridge.io/ko/library/incrementality-whitepaper
- 에어브릿지 어트리뷰션 모델 해설(샤플리·마르코프): https://www.airbridge.io/ko/blog/what-is-marketing-attribution-model
- 토스애즈 브랜드 광고 성과 측정: https://tossads.toss.im/insights/branding-measurement
MMM 오픈소스
- Google Meridian (Python, 베이지안)
- Meta Robyn (R, 릿지 회귀)
작성 : 디애널리틱스(The Analytics) · 구글애널리틱스를 활용하여 기업의 마케팅 성과를 향상시키는 방법을 연구합니다.