커뮤니티 채널
Growth School
AI 프로덕트 빌더 스쿨 1
AI 프로덕트 빌더 클럽 2
AI 프로덕트 클럽 3
community_post_owner
윤민정
크리에이터
Growth 전략
Aha Moment를 정의하는 법: 사용자에 대한 해상도 높이기

Aha Moment를 찾았는데 지표가 안 움직이는 이유

우리 프로덕트의 리텐션을 개선하려는 상황에 놓여 있다고 해봅시다.

데이터를 살펴보니, 특정 행동을 한 유저는 거의 다 남습니다. "이게 우리 Aha Moment구나" 생각하게 되죠. XX를 YY일 안에 ZZ번 하는 유저는 95% retain 된다! 유레카! 라고 생각하면서요.

그래서 모든 신규 유저가 그 행동을 하도록 온보딩을 바꾸고, 기능을 만들고, 푸시를 보냅니다. 그런데 한 달 뒤, 리텐션은 생각만큼 움직이지 않습니다. MAU도 늘지 않네요. 왜 그럴까요?

제품팀이 기능 출시는 열심히 하는데 성장으로 이어졌는지 모르겠다는 고민의 상당수가 여기서 시작됩니다.


이 함정을 가장 잘 피해 간 사례가 있습니다.

너무 직관적인 예시여서, 제품의 Activation을 개선하여 Retention을 강화하고자 하는 상황에서 무엇을 알아야 할지 프레임워크를 설명할 때 저도 자주 인용하는 사례인데요. 무려 10년도 더 된 이야기입니다. 초기 트위터 그로스팀이 “30명 팔로우”라는 아하 모먼트를 찾아낸 이야기예요.

흔히 "트위터는 30명을 팔로우하면 남는다"라는 결론만 알고 있는데, 정작 배울 건 그 숫자가 아니라 그 숫자를 찾은 다음에 한 일이라고 생각해요. 정말로 '코끼리 더듬듯' 제품의 본질 가치를 향해 접근을 좁혀 간 모범사례 거든요.


오늘은 트위터의 Head of Growth였던 Josh Elman의 인터뷰 아티클 및 미디엄 블로그 글들에 기반해 이 사례를 다시 재구성하여 설명해보려고 합니다.


그로스팀이 맞닥뜨린 문제: 가입은 많은데, 남는 사람이 적다

당시 런칭 초기 트위터의 문제는 리텐션이었어요. 가입하는 사람은 많았지만 대부분 금방 떠났고, 아주 활발하게 쓰는 사람은 훨씬 적은 소수였습니다.

그로스팀을 이끌던 Josh Elman은 "무엇이 사람을 남게 하나"를 찾기 전에, 먼저 "남는다"가 무엇인지부터 숫자로 정의했습니다.

Step1: "남는 사람"부터 정의하기

유저를 한 달에 트위터를 방문한 횟수로 나누고, 같은 사람이 다음 달에 얼마나 오는지 비교했습니다. 그랬더니 한 달에 7번 이상 온 사람은 다음 달에도 90~100% 남았어요.

그래서 유저를 세 집단으로 나눴습니다.


문제: 가입은 많은데, 남는 사람이 적다

당시 트위터의 문제는 리텐션이었어요. 가입하는 사람은 많았지만 대부분 금방 떠났고, 아주 활발하게 쓰는 사람은 훨씬 적은 소수였습니다.

이를 보고 그로스팀은 "무엇이 사람을 남게 하나"를 찾기 전에, 먼저 "남는다"가 무엇인지부터 숫자로 정의했습니다.


첫 번째 발견: "남는 사람"부터 정의하기

유저를 한 달에 트위터를 방문한 횟수로 나누고, 같은 사람이 다음 달에 얼마나 오는지 비교했습니다. 그랬더니 한 달에 7번 이상 온 사람은 다음 달에도 90~100% 남았어요.

그래서 유저를 세 집단으로 나눴습니다. 여기서 우리가 원하는 다음 달 리텐션을 보여준 유저가 ''핵심 유저'' 로 정의됩니다.


Step 2: 리텐션의 레버가 되는 '아하 모먼트' 찾기


두 번째 발견: 남는 사람 = 핵심 유저의 행동 찾기 (30명 팔로우)

다음으로 핵심 유저들에게만 있고 다른 집단에는 없는 공통 행동을 찾았습니다. 그랬더니 핵심 유저들은 대체로 30명 안팎의 계정을 팔로우하고 있다는 것을 발견합니다(예: 핵심 유저의 하위 70%가 30명을 팔로우한다). 물론 훨씬 많이 팔로우하는 사람도 있었지만, 팀은 30이라는 숫자가 사람을 붙잡는 "티핑 포인트"로 정의해도 괜찮겠다는 생각을 하게 됩니다.

여기서 질문 하나를 던져볼게요. 왜 300명이 아니라 30명일까요?

정방향과 역방향으로 다시 보기

어떤 행동이 Aha인지 볼 때는 두 방향의 질문을 같이 던져야 합니다.

  1. 정방향: 이 행동을 한 사람은 남는가?
  2. 역방향: 남은 사람은 이 행동을 했는가?

이 관점으로 트위터를 다시 보면 이렇습니다. (기사가 이 숫자를 직접 보여주지는 않아서, 아래는 제 해석입니다)

정방향만 보면 "많이 팔로우할수록 좋다"는 결론이 나오고, 역방향만 보면 "일단 한 명이라도 팔로우하게 하자"는 결론이 나옵니다. 둘 다 충분한 결론은 아니죠. 각 의사결정에 tradeoff가 명확히 존재합니다. Aha는 두 방향이 함께 괜찮은 지점 어딘가에서 정의되곤 합니다.


그런데 여기서 멈추지 않고, 제품 본질 가치를 정의하고자 더 파고들었다

보통의 팀이라면 여기서 "신규 유저가 30명을 팔로우하게 만들자"로 바로 갔을 거예요. 기사도 그렇게 했어도 어느 정도 효과는 있었을 거라고 말합니다.

하지만 트위터 팀은 상관관계가 인과관계는 아니라는 것을 알고 있었던 것 같아요. 이건 그냥 상관관계거든요.

그래서 질문을 바꿨습니다.


"사람들이 많이 팔로우하고 싶어서 남는 게 아니라면, 30명이라는 숫자 뒤에 진짜 이유는 뭘까?"


데이터를 더 파 보니 또 하나의 상관관계가 나왔어요. 내가 팔로우한 사람 중 몇 명이 나를 맞팔로우하느냐가 리텐션을 가르는 것 처럼 보인거죠.

그런데 결과가 직관과 반대였어요. 맞팔이 많을수록 잘 남는 게 아니었습니다. 팔로우한 사람의 3분의 1 정도가 나를 맞팔로우할 때 가장 충성도 높은 유저가 됐어요.



가져갈 것: 숫자 하나를 찾았을 때, 그걸 바로 목표로 삼기 전에 "이 숫자 뒤에 있는 메커니즘은 뭘까?"를 한 번 더 쪼개 봐야 합니다. 같은 30명이어도 어떤 30명이냐에 따라 결과가 달랐어요.


Step 3: 사용자의 언어로 '아하 모먼트'를 해석해보기


왜 3분의 1의 맞팔일까? 유저에게 직접 물었다

데이터는 "무엇이" 일어나는지는 보여주지만 "왜"는 알려주지 않습니다. 그래서 팀은 유저들에게 직접 전화를 걸어 인터뷰했다고 해요.

  1. 맞팔이 3분의 1보다 훨씬 많은 사람들은: 트위터가 그냥 또 하나의 SNS처럼 느껴졌습니다. 트위터만의 가치가 분명하지 않았어요.
  2. 맞팔이 3분의 1보다 적은 사람들은: 트위터가 뉴스 사이트처럼 느껴졌습니다. 그리고 뉴스 사이트는 이미 대안이 넘쳐났죠.
  3. 그 사이일 때: 비로소 ”내 세상에서 지금 무슨 일이 일어나는지 알 수 있는 곳"이라는 트위터만의 가치가 분명해졌습니다.

팀이 전달하고자 하는 우리 제품의 Product Experience를 가장 정확하게 전달받는 지점이었던 거죠.

저는 이 부분이 가장 인상적이었는데요. 역시 그로스의 중심에는 '사용자에게 전달되는 Product Experience' 즉 본질가치가 있는 것 같아요.


트위터 그로스팀은 이에 그치지 않고, 또 다른 집단도 인터뷰했어요. 한동안 사라졌다가 갑자기 돌아와 활발해진 사람들입니다. (이탈 후 부활한 유저의 계기를 알고 싶었던 것이겠죠. 아마도 이 시점에 상당수의 이탈 유저가 이미 존재했고, 그렇기 때문에 이탈 유저를 다시 불러올 계기를 알고 싶었던 것 같습니다.)

이들은 처음에 트위터를 "내가 무언가를 방송하는 도구", 특히 홍보용 도구로 이해했어요. 관심이 없으니 떠났죠. 그러다 지인이 "이 사람 팔로우해 봐"라며 유명인이나 관심 분야의 사람을 알려준 뒤에야, 트위터가 다른 사람과 연결되고 배우는 곳이라는 걸 깨닫고 돌아왔습니다.

가져갈 것: 유저 인터뷰는 데이터로는 보이지 않는, 정량 데이터 뒤의 사용자 심리를 이해할 수 있는 도구입니다. 그리고 항상 대체재와 우리의 관계를 파악하는 것이 중요합니다.


결론: 아하 모먼트에 대한 해상도 높이기

팀이 내린 결론은 이랬습니다. "누구를 팔로우하고, 누가 나를 팔로우하느냐"가 사용자의 잔존을 만드는 핵심 레버다. 왜냐면 그때 사용자가 정말 우리 제품과 사랑에 빠지게 되니까.

그리고 이 발견을 바탕으로 신규 유저에게 팔로우할 사람을 추천하는 방식을 다듬었어요.

처음 발견과 최종 결론을 나란히 놓으면 차이가 보입니다.

처음: “30명을 팔로우한 사용자가 남는다”
마지막: "내 세상의 소식이 제대로 흘러드는 연결을 느낀 사용자가 남는다"

첫 번째 문장으로 기능을 만들면 “30명 팔로우하기” 진행 바를 만들겠지만, 두 번째 문장으로 만들면 이 사람에게 의미 있는 계정을 고르는 추천에 집중하게 됩니다. 같은 데이터에서 출발했는데 만드는 기능이 달라져요.

저는 이것이 사용자에 대한 팀의 해상도라고 생각합니다.

가장 그로스를 잘하는 제품팀들은 보통 이 해상도가 매우 높고, 꾸준한 실행을 통해 이 해상도를 높여 갑니다.

(기사에는 이후 리텐션이 얼마나 올랐는지 같은 결과 수치는 나오지 않습니다.)


단 하나의 Takeaway, 근거를 겹쳐 가설을 좁히고 해상도를 높이기

트위터 팀이 한 일을 단계별로 다시 정리하면, 매 단계마다 다른 종류의 근거를 썼다는 게 보입니다.


어느 하나만으로는 결론이 나지 않았죠. 데이터만 봤다면 “30명”에서 멈췄을 거고, 인터뷰만 했다면 몇 명의 의견에 그쳤을 겁니다. 서로 다른 방향의 근거가 한 점으로 모였을 때 비로소 "이걸 밀면 된다"고 말할 수 있었던 거예요.

저는 Aha가 "찾는" 것이 아니라 "좁혀가는" 것이라고 생각합니다. 첫 숫자는 출발점이고, 근거를 하나씩 겹칠 때마다 가설이 더 선명해져요. 그래서 사용자에 대한 해상도 높이기 라고 표현해 봤습니다.


기능을 만들기 전에 확인할 것

Aha 후보를 찾았다면, 그걸 밀기 위한 기능을 만들기 전에 이것만 확인해 보세요.

  1. "남았다"를 숫자로 정의했나? 트위터의 "한 달 7번 방문"처럼
  2. 정방향과 역방향 데이터를 둘 다 봤나? 300명 팔로우처럼 한 사람은 잘 남지만 아무도 못 하는 행동은 아닌지, 1명 팔로우처럼 누구나 해서 아무것도 못 가르는 행동은 아닌지
  3. 숫자 뒤의 메커니즘을 한 번 더 쪼개 봤는가? 같은 30명이어도 맞팔 비율에 따라 결과가 갈렸던 것처럼
  4. 숫자 말고 정성 데이터는 확인해 봤는지? 사용자 인터뷰, 대체재 비교, 떠났다 돌아온 사용자의 계기 조사 등
  5. 그 행동의 이유를 한 문장으로 말할 수 있는가? “30명 팔로우”가 아니라 "내 세상의 소식이 흘러드는 연결"처럼
  6. 실험으로 확인할 계획이 있나? 찾은 건 결론이 아니라 실험할 후보입니다. 여전히 우리는 사용자에 대해서 '가설'을 세우고 있는 거니까요.

마치면서

“첫 NN일 내 30명 팔로우”는 유명한 숫자지만, 트위터 사례의 핵심은 그 숫자가 아니라고 생각합니다. 그 숫자를 찾고 나서도 의심했고, 더 쪼갰고, 사람에게 물었다는 데 있어요.

기능을 만들었는데 지표가 안 움직였다면, 실행이 부족했던 게 아니라 가설을 너무 성급하게 확정했던 것일 수 있습니다. 다음에 "이 행동을 한 유저는 다 남네?"라는 숫자를 만나면, 트위터 팀처럼 한 번만 더 물어보세요.

"이 숫자 뒤에 있는 진짜 이유는 뭘까?"


출처

  1. Sean Ellis, Putting It All Together – How Josh Elman Identified A Growth Driver At Twitter, Mattermark, 2017.04.25
  2. 위 글은 Sean Ellis·Morgan Brown, Hacking Growth: How Today’s Fastest-Growing Companies Drive Breakout Success (Crown Business, 2017)의 발췌입니다.
  3. 정방향·역방향 표와 최종 가설 문장은 원문을 바탕으로 이해를 돕기 위해 첨부한 저의 가상 데이터 + 해석 입니다.
909
  • community_post_owner
    Faith
    좋은 아티클 감사합니다:)
  • community_post_owner
    부동산보는여우1395
    큰 도움이 되었습니다 감사합니다