오늘은 클래스101에서 실제로 진행했던 실험 이야기입니다.

(다만 사례 보호를 위해 수치는 모두 각색했고, 수치들 사이의 관계와 패턴은 실제 그대로 살렸습니다.)

시작하기 전에 하나만 약속드리겠습니다.

이 글에는 SQL이 한 줄도 나오지 않습니다. 어려운 통계도 나오지 않습니다.

또, 너무 복잡하고 정책이 과도한 실험도 아닙니다.

그래야 많은 분들께 전달할 수 있을테니까요.

그런데도 이 글이 끝날 때쯤이면, 같은 실험 결과를 두고

누군가는 “p-value 이정도라 효과가 없네요”라고 보고하고,

누군가는 팀의 다음 액션을 만들어내는,

그 차이가 어디서 갈라지는지 보이실 겁니다.

그 차이는 분석 방법론이 아니라 문제정의 프레임워크에서 나옵니다.

그래서 이 글은 DA만을 위한 글이 아닙니다. PM, 마케터, MD.

데이터를 읽고 무언가를 판단해야 하는 모든 분들을 위한 글입니다.

0️⃣ 어떤 제품이었고, 왜 했는가

먼저 제품부터 설명드리겠습니다. 이름은 "리타게팅 CRM"입니다.

동작은 단순합니다. 유저가 최근 7일 동안 가장 여러 번 들여다본 상품 딱 1개를 ’관심 상품’으로 정합니다.

그리고 그 관심 상품이 확정된 1시간 뒤부터, 6일에 걸쳐 최대 7통의 카카오톡 메시지를 순서대로 보냅니다.

1. D+0 (+1h) : 단순 상기 — “방금 살펴보셨던 클래스, 어떠셨어요?”
2. D+0 (+4h) : 소셜 프루프 — “이 클래스, 카테고리 랭킹 n위예요”
3. D+1 : 적용 가능한 할인 안내
4. D+2 : 무료 미리보기 유도
5. D+3 : AI가 요약한 리뷰
6. D+4 : 할인 마감 안내 — “마지막으로 알려드리고, 더 이상 보내지 않을게요”
7. D+5 : 추가 탐색 유도