하길우

하길우

Creator Profile Image
하길우 홈
하길우 소개
멤버십
메시지
커뮤니티 채널
전략가의무기들(멤버십)
DA전략코칭프로그램수강생전용

포스트

[Q&A] 좋은질문과 답
community_post_owner
하길우
크리에이터
[Q&A] 좋은질문과 답
[Q&A] "데이터를 잘 보는 연습, 어떻게 하는 게 좋을까요?" (feat. 클래스101실전사례)

오픈카톡방과 코칭에서 정말 자주 받는 질문입니다.

표현은 조금씩 다릅니다. "데이터 감각은 어떻게 기르나요", "분석 연습은 뭘로 하는 게 좋나요", "직관이 있는 사람들은 뭐가 다른가요". 직군도 다양합니다. DA, PM, 마케터, MD.

이걸 흔히 축약한다면,

데이터 리터러시는 대체 어떻게 늘리나요?


먼저 가장 흔하고 도움 안되는 오답부터 걷어내겠습니다.

강의를 순서대로 듣는 것. 책을 읽는 것. 캐글을 도는 것.

전부 [2️⃣ 분석 방법론] 층위의 연습입니다.

퍼널 '그리는 법'은 늘죠. 그런데 지난 글서 말씀드렸듯, 그리는 건 이제 AI가 더 잘합니다.

우리가 길러야 하는 건 문제를 풀기 위해 퍼널을 '꺼내는 판단'이고, 그건 방법론 반복으로는 자라지 않습니다.

그들은 방법론을 연습한 게 아니라, 다른 것을 반복했거든요.

그 반복의 정체를 오늘 풀어보겠습니다.


데이터 리터러시에 관하여

흔히들 데이터를 잘보는 것을 '데이터 리터러시'라고 부릅니다. 저는 이 단어가 놓치고 있는 진실이 있죠.

첫째, 일반적으로 데이터 리터러시는 엄밀히 '읽고 쓸 줄 아는 능력'입니다. 데이터는 실행을 바꿔야 의미가 있으니 반의 반쪽짜리 표현에 불과하죠. (지난 글에서 말씀드렸죠.)

둘째, 더 근본적으로 리터러시는 스킬처럼 들립니다. 툴을 배워서 채울 수 있는 스킬처럼요. 그런데 실체는 스킬이 아니라 직관입니다. 영어 원서를 읽어내는 능력도 '리터러시'라고 부르죠.

하지만 단어와 문법(스킬)을 다 알아도 안 읽히던 글이 어느 날 읽히게 되는 건, 스킬이 아니라 직관이 쌓여서입니다. 데이터도 정확히 같습니다.

"직관이요? 감으로 하라는 건가요?"

아니요, 그 반대입니다.

직관은 감이 아닙니다. 훈련된 패턴 인식입니다. 그리고 길러집니다.

이건 제 주장만이 아닙니다. 의사결정 연구에서 직관을 신뢰하는 학파와 의심하는 학파가 수십 년을 싸우다가, 딱 하나에 합의했습니다. 직관이 믿을 만해지는 조건은 "규칙성 있는 환경에서, 피드백 있는 반복" 이라는 것.

이 문장을 다시 읽어보세요. '재능'이라는 단어가 없습니다.

직관은 재능이 아니라 조건의 산물입니다. 그리고 조건은 만들 수 있습니다.


그런데 왜 아무도 이걸 가르쳐주지 않을까요?

"그럼 직관이 뛰어난 사람에게 물어보면 되겠네요."

여기에 구조적인 벽이 있습니다.

첫째, 직관이 뛰어난 사람은 본인이 왜 그렇게 생각했는지 모릅니다. 데이터 잘 보는 사람들에게 비결을 물으면 "그냥 보다 보니 늘던데요"라고 자전거 타듯 말하는 이유입니다. 거짓말이 아니라, 진짜로 모르는 겁니다.

둘째, 직관이 아직 없는 사람은 어떻게 생각하는 게 뛰어난 건지 모릅니다. 기준 자체가 없으니, 잘하는 사람이 옆에 있어도 뭘 봐야 할지 모릅니다.

원어민에게 영어를 배우면 안 되는 원리와 같습니다. 원어민은 영어를 '배운 적'이 없거든요.

그 사이를 메울 수 있는 사람은 한 종류뿐입니다. 직관이 없던 시절을 기억하면서, 뛰어나지는 과정을 직접 겪었고, 그 과정을 언어화할 수 있는 사람.

제가 이 채널에 분석의 '답'이 아니라 '사고 과정'을 통째로 기록하는 이유이기도 합니다.


직관은 '문제 반복 풀이'가 아니라 '비교를 통한 추상화'로 자랍니다


훈련법의 핵심은 다음과 같습니다.

직관이 자라는 조건인 "규칙성 있는 환경 + 피드백 있는 반복"을 개인이 만드는 방법.

현실의 사례 하나를 두고, 세 스텝을 반복하는 겁니다.

  1. 스텝 1. 나라면 어떻게 할까? 남의 답을 보기 전에, 먼저 내 답을 만듭니다. 어설퍼도 됩니다. 커밋하는 게 중요합니다. 내 답이 없으면 스텝 3을 할 수 없거든요.
  2. 스텝 2. 실제로는 이렇게 풀더라. 잘 푸는 사람의 '답'이 아니라 '사고 과정'을 봅니다. 어디서 멈췄고, 무엇을 의심했고, 어떤 갈래를 미련 없이 접었는지.
  3. 스텝 3. 내 생각과 구조적으로 어떻게 다른지, 내 입으로 말한다. 지식의 차이("아, 저 지표를 몰랐네")가 아니라 구조의 차이입니다. "나는 결과 숫자에서 출발했는데, 이 사람은 제품의 작동 방식에서 출발했네" 같은 것.

스텝 3에서 결정적인 게 하나 있습니다.

차이를 남이 말해주는 게 아니라 내가 언어화해야 한다는 것.

유명한 협상 수업 실험이 있는데요, 좋은 사례 두 개를 각각 공부시킨 집단보다, 두 사례를 나란히 놓고 공통 구조를 스스로 쓰게 한 집단의 실전 적용률이 2~3배 높았습니다.

"이거 비슷한 거야"라고 들어서 아는 지식은 정작 필요한 순간에 안 꺼내집니다. 내가 발견한 닮음만 꺼내집니다.

이 반복을 하다 보면, 반드시 오는 순간이 있습니다.

"어? 이 문제… 지난번 그 문제랑 같은 문제네."

겉보기엔 전혀 다른 두 문제가 하나로 보이는 순간입니다.

"이탈 위험 고객 쿠폰 푸시를 누구한테 보낼까"와 "이력서 수백 장을 어떻게 거를까"가 같은 문제(Precision & Recall)로 보이는 순간이요. (이 의미가 한 번에 와닿으셨다면, 축하합니다. 이런 류의 문제를 잘 푸실 수 있을거에요)

그 순간 여러분 머릿속에 생긴 것이 프레임워크입니다. 외운 게 아니라 자라난 프레임워크요. 그게 충분히 쌓인 상태를, 세상은 '직관'이라고 부릅니다.

글 처음에 "이 질문들은 사실 전부 같은 질문"이라고 했죠. 그것도 같은 원리입니다.

서로 다른 것을 하나로 묶어내는 것. 직관의 정체는 그게 전부입니다.


참고로, 처음엔 이게 안 되는 게 정상입니다.

초심자에게 두 문제는 진짜로 달라 보인다는 게 연구들이 반복 확인한 사실입니다.

소방관 지휘관처럼 직관이 극한으로 발달한 전문가들은 옵션을 비교하는 게 아니라, 눈앞의 상황을 머릿속에 저장된 사례와의 '닮음'으로 알아봅니다.

저장고가 비어 있으면 닮음 자체가 안 보이는 겁니다. 재능의 문제가 아니라 저장고의 문제입니다. 채우면 됩니다.


말로만 하면 안 믿기실 테니, 지금 바로 한 번 채워보시죠

클래스101에서 실제로 했던 실험입니다. (사례 보호를 위해 수치는 각색했고, 패턴은 그대로입니다.)

유저가 최근 7일간 가장 많이 본 상품을 '관심 상품'으로 정하고, 6일에 걸쳐 최대 7통의 카카오톡 메시지를 보내는 리타게팅 CRM. 이커머스의 '장바구니 이탈 메시지'와 같은 계열의 제품입니다.

결과가 나왔습니다.


  1. 관심 상품 재조회 : +44% (p=0.01, 유의)
  2. 결제 전환율 : 차이 없음 (p=0.2)


이걸 본 PM이 말합니다.

🗣️ "재방문에는 효과가 있는데 결제까지는 안 이어지네요… 특정 시점에 구매지원금으로 캐시를 지급하면 어떨까요?"

자, 스텝 1입니다. 여러분이 이 자리에 있었다면, 이다음에 무엇을 하시겠습니까?

스크롤을 멈추고, 진짜로 답을 만들어보세요. 어설퍼도 됩니다.



.

.

.

.

.

.

.

.



만드셨나요? 그럼 스텝 2. 제가 실제로 갔던 길의 뼈대만 드리겠습니다.

저는 데이터를 더 뜯기 전에 제품의 작동 방식부터 확인했습니다.

첫 메시지는 관심 상품 확정 +1시간 뒤에 나가니, 최초 1시간의 데이터는 실험의 영향권 밖입니다. 이 선을 긋지 않으면 있는 효과도 노이즈에 묻혀 없어 보입니다(#2. 전략적 생각원칙 2 - 맥락).

영향권을 긋고 결제 여정을 퍼널로 펼치자, Checkout까지는 Test가 유의미하게 더 보내는데 정작 그다음 문턱에서 새고 있었습니다(전략적 생각원칙 4.Where).

Checkout까지 온 사람에게 없는 것은 기능이 아니라 '지금 사야 할 명분'이었고(전략적 생각원칙 4.Why),

그래서 캐시 지급이 아니라 CRM 유입 유저로 타겟팅을 한정한 One Time Offer의 솔루션을 제안했습니다.


여기까지 오는 데 쓴 도구는 뺄셈과 가중평균뿐입니다. 고급 SQL도, 인과추론 라이브러리도 없습니다.


이제 스텝 3, 오늘의 진짜 숙제입니다.

방금 여러분이 만든 답과 이 답은, 구조적으로 어디가 달랐나요?

머릿속으로만 느끼지 말고, 한 문장으로 직접 써보세요.


"나는 ___에서 출발했는데, 이 답은 ___에서 출발했다."

결과 숫자에서 출발하셨나요, 제품의 작동 방식에서 출발하셨나요?

솔루션으로 점프하셨나요, Where를 먼저 좁히셨나요?

쓴 사람과 느끼기만 한 사람은 다음 문제에서 갈립니다.

위의 협상 실험 그대로요. 그 한 문장을 썼다면, 방금 여러분의 저장고에 사례가 하나 들어간 겁니다.


그리고 솔직한 이야기

위에 제안들인 뼈대는 '답'이지, '사고 과정'이 아닙니다.

실제 과정에는 훨씬 많은 것이 있습니다.

Checkout 증분이 정말 CRM 때문인지 확인한 검증, 소득 없이 접었던 갈래, "CRM 유입 전환율이 2배"라는 화려한 숫자가 착시였음을 뺄셈으로 밝혀낸 역산, One Time Offer에 5% 상한과 타겟팅 제약을 건 이유. 그리고 사실, OTO보다 먼저 꺼낸 더 싼 카드가 하나 있습니다.

직관의 조건이 "피드백 있는 반복"이라고 했죠. 요약된 답을 보는 건 반복이 아닙니다. 사고 과정 전체와 내 생각을 비교하는 것이 피드백입니다.

그래서 이 실험의 풀버전 (팀의 실제 대화, 막다른 골목, 역산 산수 전체) 을 멤버십에 사고 과정 그대로 기록해뒀습니다. 오늘 여러분이 쓴 그 한 문장을 들고 가서, 구조적으로 어디가 달랐는지 비교해보세요. 그게 이 글에서 말씀드린 훈련의 첫 번째 반복입니다.


👉 [⭐️실전사례] 실험에서 러닝을 얻는 데이터 리터러시 (feat. 클래스101의 Disco CRM 실험) — 멤버십

긴 글 읽으셨으니, 오늘의 스텝 1은 이미 하신 겁니다. 남은 건 반복입니다 🙏




연관 컨텐츠


  1. [⭐️실전사례] 실패한 실험으로부터 배우기 (feat. 클래스101 환불 방어 실험)
  2. [⭐️실전사례] 실험에서 러닝을 얻는 데이터 리터러시 (feat. 클래스101의 Disco CRM 실험)
  3. [⭐️ 실전 분석 케이스] 이 정도 분석은 1분이면 생각해야죠. (feat. 휴대폰 점유인증과 CRM)
  4. [실험] AB테스트가 잘 구성되었는지 검증할때(이론편/개괄)
  5. [전략적 생각 원칙] 시리즈
  6. #1. 지적 게으름을 벗어나라. : https://buly.kr/CWvFqML
  7. #2. 모든 문제는 맥락 속에 존재한다. : https://buly.kr/2JpIx2t
  8. #3. ’R2’를 찾아야만, 문제를 정의할 수 있다 : https://buly.kr/G3EPSgU
  9. #4-1. 세 가지 프레임워크로 문제를 정확하게 정의하라(1) : https://buly.kr/1vSn2C
  10. #4-2. 세 가지 프레임워크로 문제를 정확하게 정의하라(2) : https://buly.kr/CqGJBH
  11. #5. 언제든 처음으로 돌아갈 용기를 가져라 : https://buly.kr/44yybOa


0
389
무료 공개
아직 작성된 댓글이 없어요