[연재] 회사의 연매출을 10억 올리는 분석 ② 확률판은 실험 없는 실험이다 (feat. 클래스101 가챠)들어가며
1편에서는 '왜 뽑기가 먹히나'를 이야기했습니다. 같은 돈을 써도 정해진 할인보다 뽑은 할인이 더 팔리고, 사람은 낮은 확률의 큰 금액을 실제보다 크게 느끼며, 그 뽑기는 '내가 산 복권'처럼 느껴져야 한다는 이야기였어요.
오늘부터는 분석입니다. 질문은 하나예요.
확률판을 바꾸면 매출이 얼마나 바뀔까?
가장 확실한 답은 실험입니다. 확률판을 여러 개 만들어서 A/B 테스트를 돌리면 돼요. 그런데 현실은 그렇게 넉넉하지 않습니다. 확률판 후보는 수십 개도 만들 수 있지만, 하나를 제대로 검증하는 데만 몇 주에서 몇 달이 걸려요.
후보를 하나씩 다 실험하다가는 1년이 가도 끝나지 않습니다. (이런 계산은 4편에서 숫자로 보여 드릴게요.)
그래서 순서를 바꿨습니다.
실험은 마지막에 한 번만 하고, 그 전에 '어떤 확률판이 가장 좋을지'를 이미 가진 데이터로 계산해서 후보를 하나로 좁히는 거예