[DS/Marketing] 이커머스 산업에서 꼭 알아야 하는 지식들! - A/B test의 이해와 산업에서의 적용
첫 출근을 하면서 가장 놀랐던 것은 앞뒤양옆 부서 모두 A/B test 관련 이야기를 많이 한다는 것이었는데요..
학부 때 이론으로만 배웠었지, 이렇게 실무에서 많이 진행되는 것인줄 몰랐습니다. ^^;..
특히 고객의 심리와 행동을 반영하는 산업에서는 필수로 알고 있어야 하는 것 같습니다.
오늘은 A/B test에 대해 다뤄보도록 하겠습니다!
1. A/B Test 개념
A/B 테스팅이란 웹 사이트 방문자를 임의로 두 집단으로 나누고, 한 집단에게는 기존 사이트를 보여주고 다른 집단에게는 새로운 사이트를 보여준 다음, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정하여, 새 사이트가 기존 사이트에 비해 좋은지를 정량적으로 평가하는 방식을 말한다.
대표적으로 클릭 버튼 변경이나, 문구 변경, 혹은 배치 변경 등이 있으며, 이를 통해 회원 가입율, 재방문율, 구매 전환율 등의 정량적인 지표를 통해 성과를 확인한다. 또한, 디자인, 인터페이스, 상품 배치 등을 개선하기 위해 사용하기도 한다.
2. A/B test 방법
AB 테스트는 일반적으로 다음과 같은 절차로 진행한다.
- 테스트할 요소(예: 버튼 문구, 색상, 이미지 등)를 한가지로 설정
- 명확한 가설 수립: “빨간 버튼이 파란 버튼보다 클릭률이 높을 것이다” 등
- 사용자 그룹을 무작위로 분류하여 두 버전을 동일한 조건에서 노출
- 실험 툴을 활용하여 수치 수집 및 비교
- 통계적으로 유의미한 차이를 가진 버전 선택
한 번에 하나의 변수만 테스트하는 것이 가장 이상적이며, 그래야 원인과 결과의 상관관계를 명확히 판단할 수 있다.
※ 기업에서 실험을 진행할 때 대상 규모를 어떻게 설정하는지 지인에게 살짝 여쭤봤더니, 실제 사용자 중 극히 소수에게만 실험을 적용한다고 합니다. 덕분에 만약 실패하더라도 손실이 거의 없거나 매우 미미하다고 해요. =_=
3. A/B test가 왜 필요할까
A/B Test를 진행하는 이유는, 상관관계로부터 인과관계, 즉 인과관계일 가능성이 높은 것을 찾아내기 위함이다. 그래야만 우리가 “원인”에 해당하는 요소에 개입을 해서 “결과”에 해당하는 요소가 우리가 원하는 방향으로 변화되도록 할 수 있다. 혹은 이미 “결과”에 변화가 생겼을 때 이 변화의 “원인”이 우리가 했던 그 개입 때문이 맞는지 아닌지 판단할 수 있다.
https://boxnwhis.kr/2015/01/29/a_b_testing.html(통계적으로 설명되어 있는 내용도 담겨 있어 같이 보시면 좋을 것 같습니다!)
예를 들어, 버튼을 페이지 상단에 둘 때와 하단에 둘 때의 전환율 차이를 수치로 비교해 객관적인 결론을 도출할 수 있다. 이러한 실험을 반복하다 보면 고객 이해도가 축적되고, 더 나은 가설 설계 → 더 나은 결과 도출로 이어지는 선순환이 형성된다.
4. 주의할 점
A/B 테스팅을 통해 인과관계를 찾아내려면 두 집단을 임의적으로 나누어야 한다.
- 남성은 A 집단, 여성은 B 집단
- 짝수 시간대 방문자는 A 집단, 홀수 시간대 방문자는 B 집단
- 첫 일주일 동안 방문한 사용자는 A 집단, 그 다음 일주일 동안 방문한 사용자는 B 집단
등 임의적이지 않은 방식을 사용할 경우 두 집단의 차이가 무엇 때문에 발생하는지 가려낼 수 없게 된다.
A/B 테스팅을 통해 찾아낸 결과가 범용성을 지니려면 애초에 실험에 참가한 집단이 모집단을 대표할 수 있어야 한다. 이를 임의적 추출(random sampling)이라고 한다. 예를 들어 초등학교 학생들을 대상으로 한 실험의 결과를 초중고등학교 학생 모두에게 적용하거나, 페이스북 사용자를 대상으로 한 실험의 결과를 트위터에 적용하거나 하면 추출된 집단의 성격과 모집단의 성격에 차이가 있기 때문에 기대와 다른 결과가 나올 수 있다.
5. 적용 사례 예시
넷플릭스가 대표적인 사례이다. 클릭 아이콘을 세 가지로 나눠 실험을 진행했다.
그 외에도 당근 테크 블로그에서 실제 적용 사례에 대해서 이야기한 내용이 있는데, 흥미롭게 본 사례이다. 해당 링크 참고해서 보면 좋을 듯 하다.
그 외에도 신뢰구간, p-value와 같은 통계적인 내용과 엮어 서술한 내용도 있는데 같이 보면 도움이 될 것이다.