본문으로 건너뛰기

05. 그로스 해킹 시작부터, 성장 실험까지

5.1 그로스 해킹 시작하기​

그로스 해킹의 꽃은 성장 실험이다. 핵심 지표를 정의하고, 가설을 세워서 실험을 진행하고, 데이터를 분석하는 과정을 반복하면서 조직은 배움을 축적하고 서비스는 성장할 수 있다.

  • 1단계: 데이터를 활용할 수 있는 업무 환경 만들기
  • 2단계: 데이터 파이프라인 구축하기
  • 3단계: 데이터 활용을 위한 역량과 문화 갖추기
  • 4단계: 성장 실험

5.2 데이터 파이프라인 만들기​

데이터 파이프라인은 말 그대로 데이터를 쌓고, 필요한 형태로 가공하고, 추출하고, 의사결정에 활용할 수 있는 프로세스를 만드는 일이다.

1) 행동 로그 분석을 위한 데이터 파이프라인​

서비스를 이용하는 사용자가 남기는 로그는 서비스 로그와 행동 로그로 구분된다. 서비스 로그는 트랜잭션의 결과를 기록하는 로그다. 가입하거나 예약하거나 결제를 하는 것처럼 하나의 트랜잭션이 완료되면 각각에 대한 서비스 로그가 남는다. 반면 행동 로그는 트랜잭션에 이르기까지 사용자가 서비스에서 하는 하나하나의 액션에 대한 로그를 의미한다.

2) 이벤트와 속성​

행동 로그 설계의 핵심은 이벤트의 속성을 어떤 수준으로 함께 남길 것인가를 정의하는 부분이다.

3) 행동 로그 설계하고 적재하기​

이벤트를 어떤 기준으로 쌓아서 볼 것인지 정의하는 문서를 이벤트 스키마 설계서라고 한다. 이벤트 스키마 설계서에는 어떤 화면의 어떤 이벤트를 기록할지, 그 이벤트가 발생하는 정확한 조건이 무엇인지, 이벤트와 함께 기록해야 하는 속성에는 어떤 것이 있는지, 이벤트가 처음 기록되기 시작한 시점은 언제인지 등을 포함해야 한다.

무작정 많은 이벤트를 수집하려고 하기보다는 '필요한' 이벤트를 '정확하게' 수집하는 것이 중요하다는 것을 기억하자. 수집하는 이벤트의 수가 많아지면 이후 QA와 유지보수가 그만큼 힘들어진다. 발생하는 모든 이벤트를 기록해야 한다는 생각을 버리고 분석에 필요한 이벤트를 정확하게 적재하는 것이 이 단계의 핵심이다.

5.4 성장 실험: A/B 테스트​

1) A/B 테스트란?​

A/B 테스트란 두 개의 변형 A와 B를 사용하는 종합 대조 실험으로, 통계적 가설 검정 또는 2-표본 가설 검정의 한 형태다. 쉽게 설명하면 두 가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떤 옵션이 더 효과적인지를 검증하는 과정이다.

2) A/B 테스트 설계하기​

가설

A/B 테스트의 출발점은 가설이다. A/B 테스트가 의미 있으려면 실험을 통해 무엇을 확인하고 싶은지가 명확해야 한다. 가설은 독립 변수와 종속 변수가 무엇인지를 정의하고 종속 변수의 목표 수준을 정하는 형태로 이뤄진다. 일반적인 A/B 테스트에서의 가설은 '서비스 소개를 텍스트로 보여주는 화면보다 이미지로 보여주는 화면에서의 가입 전환율이 높을 것이다'와 같은 형태다.

실험 집단/통제 집단

전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의해야 한다. 통제 집단 및 실험 집단과 관련해서 무엇보다 중요한 절차는 변수 관리와 엄격한 기준에 따른 샘플링이다.

독립 변수

인과 관계에서 원인이 되는 변수, 즉 종속 변수에 영향을 줄 꺼라고 기대되는 변수다. 앞에서 예로 든 가설을 기준으로 하면 '서비스 소개를 보여주는 방식'이 독립 변수가 된다.

종속 변수

독립 변수에 의해 영향을 받을 것으로 기대되는 변수다. 인과 관계에서 결과가 되는 변수라고 볼 수 있다. 일반적으로 종속 변수의 변화량에 따라 실험의 성과를 판별할 수 있다. 앞의 예시에서는 '가입 전환율'이 종속 변수가 된다. 당연히 측정 가능해야 하며, 구체적으로 어떤 기준으로 측정할 것인지에 대한 정의가 명확하게 돼 있어야 한다.

통제 변수

실험 결과에 영향을 미칠 수 있기 때문에 실험 집단/통제 집단 모두에서 동등한 조건을 가져야 하는 변수를 의미한다. 즉, 독립 변수가 아니지만 종속 변수에 영향을 미칠 수 있는 제 3의 변수라고 볼 수 있다. 사실 A/B 테스트의 성패는 통제 변수를 얼마나 잘 관리하느냐에 달린 경우가 많다. 예를 들어, 앞의 가설로 A/B 테스트를 한다면 가입 경로와 같은 것이 대표적인 통제 변수가 될 것이다.

3) A/B 테스트 설계 시 유의사항​

실험 집단과 통제 집단 샘플링

제3의 변수가 종속 변수에 영향을 미칠 수 있다고 판단되면 이를 통제 변수에 포함해서 샘플링 과정에 반영함으로써 종속 변수에 미치는 영향을 차단해야 한다. 통제 변수를 깊이 고민하지 않은 상태에서 단순히 홀/짝 구분을 한다고 해서 랜덤 샘플링이 잘 됐다고 볼 수는 없다.

순차 테스트와 동시 테스트

순차 테스트는 A조건으로 일정 기간 테스트를 한 다음, B 조건으로 바꿔서 연이어 테스트를 진행하고 이 두 가지 조건의 결과를 비교하는 식으로 진행하는 테스트다. 엄밀히 이야기하면 순차 테스트는 A/B 테스트가 아니다. 순차 테스트의 가장 큰 문제는 제대로 된 통제 변수 관리를 할 수 없다는 점이다.

4) A/B 테스트 결과를 분석하는 방법​

p-value에 대한 이해

실험의 유의 수준을 판단하기 위해 통계학에서 사용하는 기준은 p값이다. p값은 귀무가설 하에 관찰된 검정통계량 만큼의 극단적인 값이 관찰될 확률을 의미한다.