#Markov Chain #Memoryless #Growth Model

저는 그로스 모델을 꽤 자주 만들어온 편이에요.

그중 하나는 제가 회사를 나온 뒤에도 아직 그 팀 그로스의 근간으로,

여전히 액션을 만드는 우선순위로 돌아가고 있다는 얘기를 종종 듣습니다.

제가 만들었던 모델의 기반은 Markov Chain입니다.

그러고보면 듀오링고도 그들의 그로스 정체기를 뚫을 때, Markov Chain 기반 모델을 사용했죠.

(저도 듀오링고 아티클이 나오기전부터 써왔는데, 양쪽다 독립적으로 성과를 거뒀으니 저는 꽤 실증 사례가 탄탄하다고 생각합니다)

사실 마르코프 체인 얘기를 하면 거의 항상 같은 질문을 받아요.

"직전 상태만 보고, 그 이전 history는 다 버린다고요? 그게 맞을까요?"

이걸 '무기억성(memorylessness)'이라고 부르는데,

현업에서도 코칭에서도, 이걸 쓰는 저 역시 똑같이 했던 고민이자 걱정이었습니다.

무기억성은 쉽게말하면 다음과 같아요.

"어디서 왔든, 지금 이 상태에서 다음으로 나가는 비율은 똑같다."

3개월 연속 열심히 쓴 유저든, 이번 달에 막 올라온 유저든, 지금 같은 상태면 똑같이 취급합니다. 지나온 경로를 통째로 버리는 거죠.

이게 합당한 가정일까, 참 많은 고민을 하게 됩니다.

사실 이럴 때 가장 좋은 정답은 하나예요. 테스트 해보는 겁니다.

쉽게말하면, "과거를 더 넣으면 더 정확해지지 않을까?"

그래서 '직전 상태의 그 이전'까지 기억하게 모델 구조를 바꿔봤어요.

그로스 모델은 백테스트로 검증하는데(영어 표현을 빌려 대과거 데이터로 과거를 예측해보고, 실제와 얼마나 어긋나는지 오차를 재는 거예요), 이렇게 과거를 더 기억하게 만든 모델의 백테스트 오차가 오히려 커졌습니다.

과거를 더 기억시켰더니, 예측이 더 틀린 거예요.

여기서 기억하면 좋은 게 두 가지 있습니다.

1️⃣ 첫 번째는 누구나 아는 이야기예요.

과거를 많이 넣을수록, 모델은 '그 시절의 우연한 패턴'까지 외웁니다.

외운 건 지나간 데이터엔 기가 막히게 맞아요. 근데 처음 보는 상황엔 덜 맞습니다.

정보가 많다고 더 정확하기만 한 게 아니죠. (이걸 과적합이라고 하고요.)

2️⃣ 두 번째는 많은 분이 놓치는 부분이에요.

사실 이 모든 의심은 '모델로 미래를 맞히려는' 생각에서 나옵니다.

근데 모델은 미래를 맞히는 점쟁이가 아니에요. 팀을 한 방향으로 움직이게 하는 도구죠.

'맞히기'를 목표로 두는 순간, 자꾸 모델을 복잡하게 만들고, 그러다 망가집니다.

종종 시간이 지나 실제 팩트와 제가 만든 모델을 맞춰보면 매우 높은 정확도를 가지는 걸 보면, 역시 “너무 쪼개지도 않고, 덜 쪼개지도 않음”의 미학은 정말 함의가 깊다는 생각이 들어요.

물론 항상 맞는 건 아니에요. (그런 모델이 있었으면 저는 미래 맞히는 부자가 됐겠죠 ㅎㅎ.)

그리고 그로스 모델을 만들 때 백테스팅을 꼭 활용해보세요. 이건 아주 기본적인 수단이지만 안 해보시는 분이 꽤 많더라고요.

모델링을 하는 분은 보통 제품 기획을 하는 분이고, 백테스팅은 통계 쪽 툴이다 보니, 이 두 개를 다 손에 쥔 분이 의외로 드뭅니다.

모델을 만들었다면, 꼭 과거로 한번 되돌려서 맞춰보세요.