커뮤니티 채널
전략가의무기들(멤버십)
[제품전략의 정석 1기]
DA전략코칭프로그램수강생전용
community_post_owner
하길우
크리에이터
[칼럼] 전략가의 무기들
[⭐️ 실전 케이스] 실험 설계할 때 알아야할 건 통계가 아닙니다(Feat. 클래스101 광고수신동의 실험 기획)

그간 실험에 관한 글을 써왔습니다. 주로 실험의 '분석'에 대한 내용을 써왔는데요.

사실 실험 분석이 좋은 러닝으로 이루어지기 위해서는 좋은 실험을 기획하는 것 역시 중요합니다.

따라서, 데이터를 다루는 모든 사람들에게 실험을 한다는 건 다음과 같은 굵직한 여정을 의미합니다.

  1. 실험의 기획 (설계보다 기획이 더 적절해 보입니다)
  2. 실험의 검증
  3. 실험의 분석


각각의 주제 하나하나가 어마어마한 분량의 학문의 깊이를 요구하다보니 하나의 글로 끝낼 수도 없거니와

이론을 공부할 것이라면 제가 글을 쓰는 이유가 없겠죠.

실험의 검증 관련해서는 [실험] AB테스트가 잘 구성되었는지 검증할때(이론편/개괄) 편을 써놓았는데, 이 글은 짧은 내용 안에 높은 밀도를 넣었더니 많이 어려워 하시더라구요. 차후 천천히 케이스들을 다루면서 확장해나가 보겠습니다.

실험의 분석에 관해서는 이미 아래 2편을 올려놓았습니다.

  1. [⭐️실전사례]실험에서 러닝을 얻는 데이터 리터러시(feat. 클래스101의 Disco CRM 실험)
  2. [⭐️실전사례] 실패한 실험으로부터 배우기 (feat. 클래스101 환불 방어 실험)

오늘은 '실험의 기획 단계'에서의 고민을 다뤄보려 합니다.


이런 분들이 읽으면 유용합니다.

  1. 기능을 만들 때마다 실험을 붙이고는 있는데, 어딘가 비효율을 느끼는 PM
  2. "실험 트래픽이 모자라요"를 늘상 외치는 데이터 분석가
  3. 실험은 해봤지만 실험의 가설과 기능(or 제품)의 차이를 구분해본 경험이 없는 모두.
  4. 실험은 안 해봤지만, 현실의 상황에서 실험이 어떻게 이루어지는지를 알고 싶은 모두.


Intro

본격적으로 시작하기 전에, 질문 하나만 하고 갈게요.

우리는 실험을 왜 하나요?

제가 생각하는 답은 두 가지뿐입니다.

  1. "러닝"을 얻거나,
  2. "리스크"를 감지하거나.

러닝이라는 건 거창한 게 아닙니다. 목적으로 삼은 지표 Y에 대한 고객 행동의 이해예요.

"고객은 이런 상황에서 이렇게 움직이는구나"를 아는 것.

리스크 감지는 반대 방향입니다. 뭔가를 바꿨을 때, 건드리면 안 되는 지표가 망가지는지 확인하는 것.

이 당연해 보이는 원칙이 실험 설계의 거의 모든 것을 결정합니다. 실제 사례로 보여드릴게요.

1. "이 실험, 이렇게 하면 될까요?"


얼마 전, 저희 팀의 데이터 분석가 한 분이 고민을 들고 왔습니다.

🗣️ 실험을 쪼개자니 너무 오래 걸리고… 근데 기능이 너무 많아서 어떻게 구성해야 할지 모르겠어요.




실험 기획은 PM과 DA과 같이 논의해서 결정하는 구조이고 혼란을 느낄 때는 항상 저에게 질문하시도록 했거든요.

제 대답은 이거였습니다.

"중요한 건 실험 기간이 아닙니다."



이 말이 무슨 뜻인지가 사실상 이 글의 전부입니다. 상황부터 볼게요.

목적은 광고 수신 동의율 올리기였습니다. 동의가 있어야 CRM 메시지가 닿으니까요.

이걸 위해 PM이 두개의 노션에 기획서를 작성하셨더라구요.


기획 1 — 상품 상세 페이지(PDP). 구매 의도가 가장 높은 화면이니, 보상을 걸기 좋은 자리죠.

  1. 쿠폰을 받으려면 광고 수신 동의를 하도록 묶는 기능
321
멤버십 전용
recent-reply-preview-author-n9gAWwqouEbkSQ7oHSO7IOR534p2
recent-reply-preview-author-naver46936185
멤버십에 가입하면 댓글을 볼 수 있어요