커뮤니티 채널
전략가의무기들(멤버십)
[제품전략의 정석 1기]
DA전략코칭프로그램수강생전용
community_post_owner
하길우
크리에이터
[Q&A] 좋은질문과 답
[데이터 환경] 클래스101의 AI 데이터 분석환경은 어떤가요? (feat. AI로 분석할 때 진짜 중요한 것)
[데이터 환경] 클래스101의 AI 데이터 분석환경은 어떤가요? (feat. AI로 분석할 때 진짜 중요한 것)

종종 이런 류의 질문을 받습니다.

"AI를 분석 환경에서 어떻게 쓰고 계신가요? 2~3명이서 회사 전체를 커버하는게 가능하다는 게 신기하기도 하고... AI를 연결하는 걸 별게 아니지만 늘상 신뢰도가 고민입니다."

이 질문이 포함하는 내용이 워낙 방대해서, 여러 편의 글로 나눠서 풀어내야 할 것 같다는 생각이 듭니다.

"AI 분석 환경의 체계", "신뢰도 문제", "팀의 생산성" 등.

특히 클래스101은 AI 데이터 분석환경을 구축하기 위한 '데이터팀'은 물론 관련 엔지니어 자체가 없습니다.

그럼에도 모든 구성원은 적절한 권한/조건을 통과하면 자연어로 데이터를 조회할 수 있는 환경에 있습니다.

가령, 이런 질문을 불편함 없이 할 수 있죠.


"https://class101.net/ko/live/liv_01km0m7g133ns6ae9tfmd7wt6n?viewMode=tvod 이 페이지의 CTR을 알려줘!


여기 URL은 제가 진행한 라이브 무료 특강의 상세 페이지입니다. 지금은 종료되었지만 원래는 '참여하기'버튼이 활성화되어있고, 이 질문을 AI에게 물어보면 참여하기 버튼을 특정하지 않음에도 불구하고 참여하기 CTR을 구해줍니다.



실제로 이런 식으로 답변을 해줍니다.







이런 단순한 조회 외에도, "이번 실험 A 초기 검증해줘", "소재 A의 LT70 FT30 ROAS알려줘" 등등의 질문들도 가능하면 거의 대부분 높은 정확도로 정답을 제공해주는 편입니다.






실제로 신세계를 경험중인 팀원 분이 이런말씀을 주셨죠.

오늘은 클래스101의 분석 환경을 기반으로 제 생각을 풀어볼게요.


이 글에서는 핵심 포인트를 먼저 다루겠습니다.

구체적인 How To가 궁금하신 분은 아래 글을 읽어보시면 도움이 될 것 같습니다.


[⭐️실전케이스] 데이터팀이 없는 회사에서 전사 AI분석 환경 구축하기 (디테일 주의)


클래스101의 이야기


클래스101의 데이터 분석환경은 많은 부분 AI의 도움을 받습니다.

물론 클래스101은 데이터 분석환경을 담당하는 데이터 엔지니어는 물론 '데이터팀' 자체가 없습니다만,

제가 이끄는 제품전략팀에서 '실행을 위한 제품 전략'을 더 빨리 뽑아내기 위해서,

데이터의 입수, 가공, 정제와 분석 환경까지를 거의 모든 부분을 단 3명(저와 2년차 DA, 그리고 DA 인턴)이서 담당하고 있습니다.



아래는 제품전략팀이 협업하는 구조를 대략적으로 정리한 그림입니다. 사실상 회사의 거의 모든 분들과 협업을 하는 구조입니다. 따라서 수많은 도메인을 파악하고 있어야하고, 필연적으로 1인 생산성이 너무 중요한 팀이기도 합니다.


저는 팀의 리더로서 팀의 일하는 방식과 일하는 환경을 개선하고, 1인 생산성을 늘려야하는 의무가 있다고 생각하는데요. (당연하게도 리더에게 성과란 팀의 퍼포먼스를 종합한 것이니까요)

다행히 데이터 조직은 많은 부분을 AI와 자동화를 통해 개선할 수 있는 조직이기도 합니다.


그래서 클래스101의 데이터 파이프라인이 정리되고(당연히 이 작업도 제품전략팀이 진행했습니다), 회사의 지식들이 정리되어가던 시점에 제가 가장 먼저 한 것은 AI 분석 환경을 갖추는 일이었습니다.

AI가 시대의 흐름이어서가 아니라, 제가 해야 하는 일이 너무 많았기 때문에 생산성을 비약적으로 늘려야 했거든요.

저는 문제를 먼저 인지하면 효용을 가장 빨리 평가할 수 있는 솔루션부터 찾기 때문에, 당장 내일 혹은 다음 주면 테스트해볼 수 있는 것을 찾습니다.

실제로 초기의 AI 데이터 분석 환경은 작업에 착수한 지 단 이틀 만에 갖춰졌습니다.


그리고 시간이 흘러 개선이 이루어지면서, 현재 클래스101에서는 누구나 AI를 통해 자연어로 데이터를 조회할 수 있는 구조가 되어 있습니다.





"95% 정확도 셀프서빙"의 진실

얼마 전 앤트로픽(클로드)이 "사내 비즈니스 분석 쿼리의 95%가 Claude로 자동화되고 있고, 종합 정확도는 약 95%"라는 글을 올렸습니다.

이 글이 퍼지자 반응은 두 갈래였습니다.

  1. 비데이터 직군은 "이제 DA 없어도 되겠네",
  2. DA들은 "이제 나 없어도 되겠네".


그런데 재밌는 사실이 하나 있습니다.

그 글을 끝까지 읽어보면, 앤트로픽 스스로 이렇게 적어놨습니다.

스킬(맥락 문서 체계) 없이 Claude의 분석 정답률은 자체 평가셋 기준 21%를 넘지 못했다고요.

심지어 문서 유지보수를 놓치자 한 달 만에 정확도가 95% → 65%로 떨어졌다는 이야기까지요.


즉 95%는 모델의 숫자가 아닙니다.

시맨틱 레이어, 스킬, 평가 체계, 유지보수 프로세스까지 그 회사 데이터 조직이 갈아 넣어 만든 인프라의 숫자입니다.


저희가 이 환경을 밑바닥부터 구축하며 살펴봐온 숫자도 같은 이야기를 합니다.


여기서 잔인한 조건 하나. 80%는 '시맨틱 레이어에 정의된 값'을 물었을 때만입니다. 정의 밖의 주제는 다시 50%짜리 답이 됩니다. 결국 선택지는 둘입니다. 모든 사용자가 물어볼 값을 전부 시맨틱 레이어에 정의하든가, 아니면 어떤 건 틀리게 놔두든가.

마침 이 블로그가 화제일 때, 해외의 유명 데이터 분석 리드 Paul Levchuk이 링크드인에 이렇게 일갈했습니다.


"Don't read marketing papers. 그들이 권하는 방법을 직접 적용해보라. 그리고 클로드의 분석 오류를 얼마나 자주, 얼마나 오래 고치게 되는지 보라."



그는 본인의 다음과 같은 실수를 공유하고 이 말을 합니다. Claude가 그려준 다이어그램에서 구조적 오류(한 단계에 출구가 없는)를 본인이 놓쳤고, 그걸 고치느라 한 시간을 썼다는 이야기를요.

그리고 그가 남긴 첫 번째 교훈이 이겁니다.

"Latest LLM model will not safe you. Only your homework can help here."

최선 모델이 당신을 구하지 않는다. 오직 당신의 Homework만이 당신을 돕는다.

Homework는 '당신이 했어야만하는 당신의 일'로 자주 쓰이는 것 같습니다.

그 일이 무엇인지는 직감하실 것입니다.

관심있는 분은 원문을 읽어보세요. (링크)


AI는 확률적으로, 무조건 틀립니다

그렇다면 AI는 왜 틀릴까요? 이 틀림은 영원히 구원될 수 없는걸까요?

제가 실제로 했던 실험 하나를 보여드리겠습니다.


AI에게 과거 기억을 못 보게 막고 완전히 똑같은 질문을 열 번 던졌습니다.

"최근 30일 신규 가입 유저의 광고 수신 동의율 알려줘."



결과는 흥미로웠습니다.

답은 여러번 바뀌었습니다. (물론 아래는 가짜 수치입니다.)

40% · 40% · 41% · 41% · 44.5% · 45.7% ...


이 결과를 보면 매우 혼란하실 겁니다. 어떻게 답이 매번 다르지?


하지만 사실 이건 AI의 성능 문제는 아닙니다.

가령 AI가 임의로 선택한 디테일한 조건이 있습니다.

  1. 탈퇴 대기 유저를 포함했느냐
  2. 집계 시 '오늘'을 포함했느냐? 혹은 언제부터 시작했느냐?


물론 이런 요소들은 1~2%p의 차이를 만듭니다.

아무리 저런 요소들이 있더라도, 40~41% 의 답은 납득이 가는데 44.5%, 45.7% 는 납득이 안갑니다.

그러면 AI는 정말 틀린걸까요?

사실 그렇다고 보기 애매합니다.

여기서 40~41%는 지난 30일간 일별 발생한 광고 수신 동의율을 가중평균한 값이고,

반면, 44.5%, 45.7%는 단순 평균한 값입니다.

물론 직관적으로 신규가입자는 유니크하므로 가중 평균한 값이 맞긴하겠지만

이것을 정말 틀렸다고 할 수 있을까요?


보통 이런 문제를 발견하면 프롬프트를 추가하면 되지 않을까? 하고 생각하기 쉽겠지만, 이런 식으로 발생되는 에러를 막고자 지침과 맥락을 계속 부으면, 토큰이 늘어나고, 토큰이 늘어나면 이번엔 토큰 속에서 길을 잃습니다. 환각의 확률이 같이 올라가게 되죠.

그래서 적절한 대안은 시맨틱 레이어입니다만, 시맨틱 레이어에 '모든 지표를 미리 정의'할 수도 없는 노릇이구요. (시맨틱 레이어는 자주 집계되는 지표를 미리 정의해서 AI가 시맨틱 레이러를 먼저 조회하게 하는 방법으로 생각하시면 쉽습니다.)


사실 저는 이 환경을 팀에 열면서 한 가지를 명시적으로 선언했습니다.

이것은 의도된 혼란(Intended Chaos)입니다.



사실 우리의 전통적인 데이터 웨어하우스의 세계에서는 통제를 원합니다. "동일한 질문에는 동일한 답이 나와야 한다." LLM은 그 반대편, 확률의 세계에 있습니다.


그런데 여기서 한 번 뒤집어 생각해볼 게 있습니다.

어차피 인간도 비슷한 틀림 또는 위의 조건을 고민하게 될겁니다.

위에서 AI의 답이 변했던 것처럼, 인간도 꽤 여러명이서 돌리게 된다면 엄밀한 조건이 주어지지 않을 때,

AI가 다른 이유 목록(필터 누락, 조인 실수, 집계 방식 선택, 시간대 처리) 등의 이유로 다른 답을 내놓을 수 있겠죠.


차이는 인간의 다름이 실제 현실에서 테스트된 적 없으니 조용히 묻히는 동안, AI의 오류는 열 번 돌려보면 드러난다는 것 정도죠.


네 그래서 여기에서의 섹션은 다소 충격적인 이야기입니다.

AI는 이미 정의된 경우 80% 확률로 맞히지만, 정의되지 않은 경우 50%~80% 사이를 왔다갔다 할겁니다.


데이터가 꼭 맞아야 하는 건 아닙니다

여기서 아마 이런 생각이 드실 겁니다.

"아무리 그래도 정확도 50~80%짜리를 어떻게 업무에 써?"


이 질문에 대한 답은 우리가 데이터를 보는 이유를 먼저 고민해야만 제대로 답할 수 있습니다.

언제나 강조하듯 데이터는 '실행을 위해서' 쓰이는 겁니다.

그 자체로 가치가 되지 않습니다.


냉정하게 회사의 조회된 데이터들을 살펴보다보면, 어느 회사든 공통적으로 느끼게 되는 지점들이 있습니다. 사실 어떤 데이터들은 보나 안 보나 사람의 실행을 바꾸지 않습니다.


그러면 그럼에도 데이터를 봐서 좋은 이유는 뭘까요? 그건 실행이 빨라진다는 것입니다.

그건 데이터가 옳아서가 아니라 데이터가 그 사람의 믿음을 강화해줬기 때문이에요.

사람은 맞히려고만 데이터를 보는 게 아닙니다. 불안해서 봅니다. 확신을 얻으려고 봅니다.

자신이 이성과 합리 위에 있다는 믿음을 갖기 위해 봅니다.

(실제로 거의 대부분의 데이터는 '맞다, 옳다'를 나타내주지않습니다)


그리고 Documentation이 된 환경에서 AI는 '방향성' 정도는 거의 맞게 줍니다. 실제 동의율이 60%면, 얼추 50~70% 사이의 답을 줘요. "우리 동의율이 절반은 넘는구나, 이 캠페인 해볼 만하겠다"는 판단에는 이걸로 충분합니다.


물론 절대 틀리면 안 되는 숫자들이 있습니다. 매출, 정산, 경영 보고 지표. 그건 시맨틱 레이어와 검증된 대시보드가 담당합니다. 그래서 저희 설계 원칙은 이렇습니다. 틀려야될 문제와 틀려도 되는 문제를 구분한다. 모든 문제에 높은 정확도가 필요하지 않다.


이 사실을 받아들이지 못하면 어떻게 되냐면, 자꾸 진리탐구를 하게 됩니다. 숫자 하나를 소수점까지 맞히려고 며칠을 쓰는 거죠. 그런 조직은 정확하고, 느리고, 그래서 뒤처집니다.



AI 데이터 분석 환경에서 정말 중요한 것

자, 이제 이 글의 제목 이야기를 할 차례입니다.


이런 환경을 도입하면 반드시, 예외 없이 벌어지는 일이 있습니다. 누군가 AI로 데이터를 뽑고는 이렇게 묻습니다.


"혹시 이거 맞는지 검증해주실 수 있나요?"



저는 이것이 데이터 민주화의 가장 큰 장벽이라고 생각합니다. 조회(권리)는 민주화됐는데 책임(의무)은 위임되는 구조.


그래서 저희 사용자 가이드의 첫 페이지에는 이렇게 적혀 있습니다.


"AI 답변의 검증 책임은 100% 본인에게 있습니다. 클래스101에 자신이 뽑은 데이터를 검증해주는 팀은 없습니다"

사실 이 원칙은 AI 도입이전에서 부터 강력하게 제가 지켜오던 원칙입니다.

클래스101에서는 데이터 요청이 부적절하다고 판단되면 그게 C-level일지라도 제가 반려합니다.


저희는 올데니(All-data-needs)라는 슬랙 채널을 통해서 데이터 니즈를 수집합니다. 이것은 명시적으로 요청과 다릅니다. 니즈를 수집하되, 그것이 적절한지는 제품전략팀이 판단합니다.

제품전략팀은 판단할 권리를 얻기 위해, 팀을 더 똑똑히 만들 수 있는 러닝을 발굴하며 실행을 이끌어내는 의무를 집니다.

단순히 일을 거절하는게 아니라, 강력한 책임에 따른 강력한 힘입니다.

그러니, 강력한 힘을 얻고 싶다면 강력한 책임을 질 필요가 있습니다.


영화 스파이더맨의 유명한 대사처럼요

With great power comes great responsibility(큰 힘에는 큰 책임이 따른다)


"검증해주세요"라는 요청을 처리하는 팀은 저희 회사에 없다는 걸 말하면 냉정하게 들리시겠지만, 계산을 해보면 당연한 결론입니다. 내 조회 결과를 평생 대신 검증해주는 DA가 붙어야 한다면, 그건 그 사람에게 최소 연봉 4천만 원 이상을 더 들일 가치가 있는가의 문제거든요. 사고력과 교차검증 능력은 회사가 제공하는 서비스가 아니라, 그 사람이 갖춰야 할 자산입니다.


앤트로픽의 그 블로그도 사실 같은 결론을 첫머리에 적어놨습니다. "분석 정확도는 코드 생성의 문제가 아니라, 맥락과 검증의 문제다."


그럼 검증을 어떻게 하느냐. SQL을 배우라는 게 아닙니다. 저희가 전사에 가르치는 건 세 단계짜리 습관입니다.


SQL 교육이 아니라 책임의 습관. 우리는 그것을 교육합니다.


  1. 찾기 : AI에게 묻기 전에 검증된 대시보드부터 봅니다. AI는 대시보드보다 정확하지 않습니다. (그리고 지금 저희 환경에서는 이 '찾기'조차 AI가 대행합니다)
  2. 묻기 : '왜'를 묻지 않습니다. "어제 MAU가 왜 떨어졌어?"는 발산형 질문이라, 수십 개의 가능한 답 중 아무거나를 생성해줄 뿐입니다. 시간 범위·분석 단위·분모와 분자·분해 축을 직접 정의해서, 답이 하나로 찝히는 수렴형 질문을 단계별로 던집니다. '왜'는 AI에게 위임하지 마세요. 그건 여러분의 일이고, 위임하는 순간 여러분의 사고력도 같이 위임됩니다.
  3. 의심하기 : 받은 답을 최소 두 가지 방법으로 흔들어봅니다. 다른 축으로 쪼개서 합이 맞는지 보고("월별로 쪼개서 합계가 일치하는지 보여줘"), 아는 실측치와 비교하고, 직관과 어긋나면 되묻습니다. 가장 강력한 검증은 팩트로 때리기입니다. "대시보드에는 50%대 후반이라는데 뭐가 맞아?"라고 실측치를 들이밀면, AI는 그제야 정신을 차리고 스스로 오류를 찾아 고칩니다. 그리고 이 중 하나도 안 했다면, 그 결과를 의사결정에 쓰면 안 됩니다.

여기서 한 걸음 더 나갔습니다. 이 세 단계를 사용자의 의지에만 맡기지 않고, 시스템이 보조하도록 에이전트를 설계한 겁니다. 저희 에이전트의 시스템 지침은 이렇게 작동합니다.


데이터 질문이 들어오면 에이전트는 쿼리부터 짜지 않습니다.

먼저 "이 질문이 검증된 대시보드로 답이 되는가"를 판정합니다.

완전히 커버되면 대시보드 URL을 안내하고, 그 턴의 쿼리 실행을 종료합니다.

사용자의 '찾기'를 AI가 대행하는 거죠.

커버가 안 될 때만 과거 대화·도메인 가이드·스키마를 탐색해 직접 분석에 들어가고, 탐색으로 풀리는 것은 사용자에게 묻지 않으며 남는 결정만 객관식으로 되묻습니다('묻기'의 보조).

그리고 모든 분석 답변 하단에는 출처 테이블·기간·모집단·지표 정의·가정을 적은 메타데이터 블록이 붙습니다. ('의심하기'를 위한 보조자료)


허들은 시스템이 낮추고, 책임은 사용자가 지는 구조.

이게 저희가 말하는 '사용자 포커스'입니다.

정확도를 올리는 인프라와 사용자를 훈련시키는 교육은 대립하는 게 아니라, 이렇게 한 시스템 안에서 맞물립니다.


정리하면 이렇습니다.

AI 데이터 분석 환경에서 정말 중요한 것은 모델의 정확도가 아닙니다.

데이터를 바라보는 사용자의 사고방식입니다. 이 환경의 핵심에서 사용자를 배제하는 접근("정확도가 충분히 오르면 사람은 안 배워도 된다"는 접근)을 하지 마세요.

교육이 인프라의 마지막 조각이고, 그 교육은 SQL 문법이 아니라 자기 조회에 온전히 책임지는 법이어야 합니다.


그래서, DA는 대체되는가

마지막으로 모두가 궁금해하는 질문입니다.

이 질문에 답하기 위해 저는 데이터 분석 일을 두 종류로 나눕니다. 답이 있는 문제와, 답이 없는 문제.


AB테스트에서 p-value를 구하는 것, SRM을 체크하는 것, 집계하고 추출하는 것. 답이 있는 문제입니다.

예전에는 이것만으로도 분석가의 가치가 있었습니다. SQL을 짜야 하고, 통계를 알아야 하고, DB를 잘못 조회하면 안 되니까요. 노동집약적으로 시간이 들었습니다. 실험 사전 검증에 족히 2~3시간은 걸렸어요. LLM의 축복으로 이제 15분이면 합니다.


이 영역은, 솔직하게 말씀드리면, LLM이 DA를 대체합니다. 실제로 클래스101은 이미 오랜 기간 그렇게 돌아가고 있습니다.


그런데 같은 AB테스트에도 답이 없는 문제가 있습니다.

Control과 Test가 차이가 났든 안 났든 "왜 증분이 있었는가, 혹은 왜 없었는가"에 대한 납득 가능한 메커니즘을 설명하고, 팀의 다음 액션을 만들어내는 것.

팀이 실험을 하는 이유는 증분 측정 그 자체가 아니라, 고객과 현상에 대한 러닝을 얻거나 리스크 있는 결정을 잘하기 위해서니까요.


이 영역에서 AI는 어떨까요? 무수한 가설을 세워줍니다. 어

제 물으면 어제의 가설을, 오늘 물으면 오늘의 가설을요. 답이 없는 영역에서 확률적 생성기는 발산할 뿐입니다. 그래서 이곳은 사람이 현상을 해석하고, 납득 가능한 설명을, 논리적으로 주장하고, 그 주장에 책임지는 영역으로 남습니다.


이게 어렵기 때문에 오랫동안 등한시되어 왔습니다. 답이 정해진 노동집약적 일들에 밀려서요. 하지만 그 일들이 사라진 지금, 남은 것이 본질입니다. 그리고 이 역량은 의도적인 훈련을 통해서만 길러집니다. 제가 이 채널에서 계속 실전 사례와 사고 과정을 기록하는 이유입니다.


맺으며

AI 셀프서빙 데이터 분석의 성패는 정확도 몇 %냐로 갈리지 않습니다.


절대 틀리면 안 되는 것과 틀려도 되는 것을 구분하는 설계, 그리고 자기 조회에 책임지는 사용자. 이 둘이 갖춰지면 20%짜리 Baseline으로 시작해도 조직의 실행은 빨라집니다. 이 둘이 없으면 95%짜리 환경이 와도 "이거 맞는지 검증해주실래요?"의 행렬만 길어질 겁니다.


얼마 전까지만해도 통계/SQL/Python은 그 도구 자체로 직군이 되었습니다. 그러나 AI는 세상을 바꿨죠.

이제 남은 건 사고방식입니다.



연관 컨텐츠

[⭐️실전케이스] 데이터팀이 없는 회사에서 전사 AI분석 환경 구축하기 (디테일 주의)

그러고보면 언젠가, 강의로 만들어도 좋겠다 싶었던 내용입니다.





510
무료 공개