"전체 캠페인 ROAS가 A안이 4.2, B안이 3.8이니까 A안 갈게요." — 회의 끝나기 직전, 한 분석가가 슬쩍 차트를 보여줍니다. "근데 신규 유저로만 보면 B가 4.5인데요? 기존 유저로만 봐도 B가 3.6이고요. 전체로만 A가 더 좋아요." 이 순간 회의가 멈춥니다. 이게 바로 Simpson's Paradox예요. 이 글은 마케터 보고서에 빈번히 숨는 이 함정을 사례로 풀고, 잡아내는 룰을 정리합니다.
*전체와 세그먼트가 정반대를 말하는 순간, 결정의 책임은 *
한 장으로 보는 Simpson's Paradox
가상의 캠페인 결과:
| 세그먼트 | A안 노출 | A안 전환 | A 전환율 | B안 노출 | B안 전환 | B 전환율 |
|---|---|---|---|---|---|---|
| 신규 유저 | 1,000 | 30 | 3.0% | 9,000 | 360 | 4.0% |
| 기존 유저 | 9,000 | 540 | 6.0% | 1,000 | 70 | 7.0% |
| 합계 | 10,000 | 570 | 5.70% | 10,000 | 430 | 4.30% |
읽어보세요. 두 세그먼트 모두 B의 전환율이 더 높지만, 전체로 합치면 A가 더 높아요. 이게 어떻게 가능한가?
원인: 세그먼트 크기 불균형입니다.
- A안은 90%가 기존 유저(전환율 6%)
- B안은 90%가 신규 유저(전환율 4%)
각 세그먼트의 전환율은 B가 더 높지만, A가 "전환 잘 되는 기존 유저" 비중이 압도적이라 가중평균이 더 높아 보일 뿐. 진짜 답은 B안이 모든 세그먼트에서 더 좋다는 거예요.
📌 Simpson
세그먼트별로는 일관된 패턴이 있는데, 전체로 합치면 그 패턴이 사라지거나 뒤집히는 현상. 원인은 거의 항상 "세그먼트 크기 불균형 + 세그먼트 간 평균 차이".
마케팅에서 진짜 자주 일어나는 시나리오
시나리오 1 — 광고 노출 비중이 다른 캠페인 비교
A 캠페인은 리타겟팅 비중이 높음 → 기존 고객 위주 → CTR/CVR이 자연스럽게 높음. B 캠페인은 신규 prospecting 비중이 높음. 두 캠페인 전체 전환율 비교는 의미 없음. 세그먼트 분리 후 비교가 정답.
시나리오 2 — A/B 테스트의 트래픽 불균형
이상적으론 50:50이지만 실험 도중 한쪽 트래픽이 다른 채널에서 밀려들어와 60:40으로 깨졌다고 합시다. 그 "밀려든 트래픽"이 다른 세그먼트라면 전체 결과가 흔들립니다. SRM(Sample Ratio Mismatch) 검정이 발견하는 게 거의 이 케이스.
시나리오 3 — CRM 이메일 응답률 비교
A 템플릿: VIP 고객한테 자주 발송. B 템플릿: 일반 고객한테 발송. "전체 응답률 A=12%, B=8%"는 템플릿이 좋아서가 아니라 받는 사람이 다른 사람이라 그런 거예요.
시나리오 4 — 채널별 ROAS 비교
검색광고 ROAS 8 vs 디스플레이 ROAS 3. 단순 비교는 함정. 검색은 "이미 살 사람" 비중이 압도적이라 incrementality 적용 후엔 디스플레이가 더 효율적인 케이스 흔함.
{/* TODO_HUNY: 본인 팀에서 Simpson's Paradox에 가까운 보고서를 발견한 적이 있다면, 그 케이스를 한 단락으로 추가하면 좋습니다. (예: "분기 ROAS 보고에서 전체 ROAS가 떨어졌다고 들고 갔는데, 신규/기존 분리해서 보니 둘 다 올랐고 신규 유입 비중이 늘어난 게 원인이었다") */}
코드로 만나기 — 실제 잡아내는 법
판다스로 두 그룹의 "전체 vs 세그먼트별" 결과를 함께 보고, 자동으로 역설을 감지하는 완결형 함수입니다.
python
Top comments (0)