그간 실험에 관한 글을 써왔습니다. 주로 실험의 '분석'에 대한 내용을 써왔는데요.
사실 실험 분석이 좋은 러닝으로 이루어지기 위해서는 좋은 실험을 기획하는 것 역시 중요합니다.
따라서, 데이터를 다루는 모든 사람들에게 실험을 한다는 건 다음과 같은 굵직한 여정을 의미합니다.
- 실험의 기획 (설계보다 기획이 더 적절해 보입니다)
- 실험의 검증
- 실험의 분석
각각의 주제 하나하나가 어마어마한 분량의 학문의 깊이를 요구하다보니 하나의 글로 끝낼 수도 없거니와
이론을 공부할 것이라면 제가 글을 쓰는 이유가 없겠죠.
실험의 검증 관련해서는 [실험] AB테스트가 잘 구성되었는지 검증할때(이론편/개괄) 편을 써놓았는데, 이 글은 짧은 내용 안에 높은 밀도를 넣었더니 많이 어려워 하시더라구요. 차후 천천히 케이스들을 다루면서 확장해나가 보겠습니다.
실험의 분석에 관해서는 이미 아래 2편을 올려놓았습니다.
- [⭐️실전사례]실험에서 러닝을 얻는 데이터 리터러시(feat. 클래스101의 Disco CRM 실험)
- [⭐️실전사례] 실패한 실험으로부터 배우기 (feat. 클래스101 환불 방어 실험)
오늘은 '실험의 기획 단계'에서의 고민을 다뤄보려 합니다.
이런 분들이 읽으면 유용합니다.
- 기능을 만들 때마다 실험을 붙이고는 있는데, 어딘가 비효율을 느끼는 PM
- "실험 트래픽이 모자라요"를 늘상 외치는 데이터 분석가
- 실험은 해봤지만 실험의 가설과 기능(or 제품)의 차이를 구분해본 경험이 없는 모두.
- 실험은 안 해봤지만, 현실의 상황에서 실험이 어떻게 이루어지는지를 알고 싶은 모두.
Intro
본격적으로 시작하기 전에, 질문 하나만 하고 갈게요.
우리는 실험을 왜 하나요?
제가 생각하는 답은 두 가지뿐입니다.
- "러닝"을 얻거나,
- "리스크"를 감지하거나.
러닝이라는 건 거창한 게 아닙니다. 목적으로 삼은 지표 Y에 대한 고객 행동의 이해예요.
"고객은 이런 상황에서 이렇게 움직이는구나"를 아는 것.
리스크 감지는 반대 방향입니다. 뭔가를 바꿨을 때, 건드리면 안 되는 지표가 망가지는지 확인하는 것.
이 당연해 보이는 원칙이 실험 설계의 거의 모든 것을 결정합니다. 실제 사례로 보여드릴게요.
1. "이 실험, 이렇게 하면 될까요?"
얼마 전, 저희 팀의 데이터 분석가 한 분이 고민을 들고 왔습니다.
🗣️ 실험을 쪼개자니 너무 오래 걸리고… 근데 기능이 너무 많아서 어떻게 구성해야 할지 모르겠어요.
실험 기획은 PM과 DA과 같이 논의해서 결정하는 구조이고 혼란을 느낄 때는 항상 저에게 질문하시도록 했거든요.
제 대답은 이거였습니다.
"중요한 건 실험 기간이 아닙니다."
이 말이 무슨 뜻인지가 사실상 이 글의 전부입니다. 상황부터 볼게요.
목적은 광고 수신 동의율 올리기였습니다. 동의가 있어야 CRM 메시지가 닿으니까요.
이걸 위해 PM이 두개의 노션에 기획서를 작성하셨더라구요.
기획 1 — 상품 상세 페이지(PDP). 구매 의도가 가장 높은 화면이니, 보상을 걸기 좋은 자리죠.
- 쿠폰을 받으려면 광고 수신 동의를 하도록 묶는 기능