오늘도 클래스101에서 실제로 진행했던 실험 이야기입니다.
(수치는 모두 각색했고, 수치들 사이의 관계와 패턴은 실제 그대로입니다.)
우리는 실험이 실패했을 때, 보통 이렇게 말합니다.
"이번 실험은 아쉽게 됐네요. 다음 걸 해보죠."
이 말이 무서운 건, 너무 건강하게 들린다는 점입니다.
실패에 연연하지 않고 빠르게 다음으로 넘어가는, 애자일한 팀처럼 보이거든요.
그런데 이 말이 조직의 기본값이 되면, 실험을 100번 해도 남는 게 없습니다.
결정은 100개 쌓이는데, 우리가 배운 것은 0개니까요.
오늘은 실패한 실험에서 배워나간 이야기를 해보려합니다.
늘 그랬듯 SQL은 한 줄도 안 나옵니다.
어려운 통계도요. 대신 이 퍼즐의 답 끝에는, 도구가 아니라 인간에 대한 이해가 놓여 있습니다.
DA만을 위한 글이 아닙니다. 실험 결과를 놓고 무언가 결정해야 하는 PM, PO, 마케터 모두를 위한 글입니다.
0️⃣ 재구독 이해하기
먼저 재구독을 분석하는 프레임부터 살펴봅시다.
클래스101은 다음과 같이 구독을 나눠서 바라봅니다.
(제가 만든 틀입니다. 왜 최소한 이렇게 봐야하는지는 언제가 다뤄보겠습니다)
- 갱신은 만기까지 살아남고(Survival),
- 결제에 성공하고(Payment),
- 결제 후 환불하지 않아야(Stay) 완성되는데요.
여기서 마지막 관문인 Stay 단계의 개선이 필요했습니다.
즉, 갱신 결제에 성공한 유저의 30%가, 7일 안에 환불하는 문제를 해결하고 싶었죠.
여정 끝까지 다 통과시켜놓고 잃는, 제일 아까운 손실이죠.
그런데 이 관문에만 아무 기능도, 실험도 없었어요.
우리는 아직 이 문제에 대해 잘 모릅니다. 유저는 왜 환불을 하는지.
다만, 가장먼저 살펴봐야할 것은 있습니다.
환불 정책입니다. 유저는 결제 후 7일까지는 100%를 돌려받습니다.
8일째부터는 이용 기간에 따라 공제되기 시작하고, 시간이 갈수록 공제는 계단식으로 커집니다.
환불은 30일 단위로 이용 기간을 나눠서 첫 30일이 지나면 [낸금액 * (1-X%)]
그 다음 30일이 지나면 낸금액 * (1-2X%)
식으로 계단식으로 책정되게 됩니다.
1️⃣ 실험 1 : 25% 캐시백 혜택 제공하기
첫 실험이 열렸습니다. 대상은 갱신 결제 후 7일 이내, 그러니까 아직 100%를 돌려받을 수 있는 환불 시도자.
'환불받기'를 누르면 선물 모달이 뜹니다.
"잠깐! 환불하기 전에 혜택을 확인해주세요."
그리고 본 제안. 결제 금액의 25%를 지금 바로 환급해드릴게요. 대신 남아주세요. (혜택을 받으면 7일간 환불 불가)
어차피 100% 내줄 돈, 25%로 막으면 75%를 지킨다.
이 환급금을 캐시백이라고 부릅니다.
(실제 UI입니다)