"A안이 B안보다 30% 높게 나왔는데, 지금 바꿔도 될까요." 이런 문의를 자주 받습니다. 답을 드리기 전에 되묻는 것이 하나 있습니다. 언제부터 봤고, 몇 번 확인하셨나요. 이 두 가지에 따라 같은 숫자의 의미가 완전히 달라집니다.
성능이 똑같아도 초반에는 큰 차이가 보인다
말로 설명하는 것보다 직접 돌려보는 편이 빠릅니다. A안과 B안의 실제 전환율을 완전히 똑같이 3%로 맞춰 두고 14일간 진행한 결과입니다. 차이가 없는 것이 정답인 실험입니다.
1일차에는 A안이 144% 앞섰습니다. 4일차에도 여전히 70.8% 앞서 있었고, 이 시점의 결과는 통계 검정을 통과합니다. 여기서 멈췄다면 "A안이 이겼다"고 보고했을 것입니다. 그런데 계속 돌리자 차이는 점점 줄어 14일차에는 0.4%가 되었습니다. 원래 차이가 없었으니 당연한 결과입니다.
표본이 적을 때 나타나는 큰 숫자는 실력이 아니라 우연입니다. 동전을 열 번 던져 앞면이 일곱 번 나오는 일은 흔하지만, 그렇다고 그 동전이 앞면에 유리한 것은 아닙니다.
자주 들여다볼수록 없는 차이를 찾아낸다
여기서 많은 분들이 놓치는 부분이 있습니다. 확인 자체가 결과를 바꿉니다. 정확히는, 확인한 뒤 이긴 시점에 멈추는 습관이 판정을 망가뜨립니다.
실제로는 차이가 없는 두 안을 두고, 확인 횟수만 바꿔가며 20,000번씩 돌린 결과입니다. 끝나고 한 번만 보면 오판 확률은 5%로, 통계에서 원래 감수하기로 한 수준입니다. 그런데 매일 확인하고 이긴 날 멈추면 24.8%까지 오릅니다. 아무 차이가 없는데도 넷 중 하나꼴로 승자가 만들어집니다.
이유는 단순합니다. 매일 보면 우연히 크게 벌어지는 날이 언젠가 옵니다. 그날 멈추면 그 우연이 결론이 됩니다. 여러 번 기회를 주면서 한 번만 봤을 때의 기준을 그대로 쓰는 것이 문제입니다.
필요한 표본은 생각보다 훨씬 많다
그렇다면 얼마나 모아야 하는가. 이것은 계산으로 나옵니다. 찾으려는 개선폭이 클수록 적게 필요하고, 작을수록 급격히 늘어납니다.
핵심은 개선폭이 절반이 되면 필요한 표본은 네 배가 된다는 점입니다. 50% 개선을 확인하는 데는 그룹당 2,500명이면 되지만, 5% 개선을 확인하려면 20만 명이 넘습니다.
이 계산이 실무에서 갖는 의미는 분명합니다. 하루 방문자가 500명인 사이트에서 10% 개선을 확인하려면 두 그룹 합쳐 10만 명이 넘게 필요하고, 일곱 달가량 걸립니다. 그 기간에 사이트를 한 번도 바꾸지 않아야 유효한 실험입니다. 대부분의 경우 현실적이지 않습니다.
그러면 어떻게 해야 하나
큰 변화부터 테스트한다
버튼 색 같은 작은 변경은 개선폭도 작아서 확인에 필요한 표본이 감당하기 어렵습니다. 페이지 구조, 제안 방식, 가격 표시처럼 크게 다른 안을 비교하면 개선폭이 커서 훨씬 적은 표본으로 판단할 수 있습니다.
시작 전에 기간과 표본을 정한다
"언제까지, 몇 명 모이면 본다"를 미리 정하고, 그 전에는 결과를 보지 않거나 보더라도 멈추지 않습니다. 이것 하나만 지켜도 앞의 24.8%가 5%로 돌아옵니다.
최소 일주일 단위로 끊는다
요일에 따라 방문자 성격이 다릅니다. 평일에만 돌린 결과는 주말 이용자를 설명하지 못합니다. 7일 배수로 끊는 편이 안전합니다.
유의미한 것과 의미 있는 것을 구분한다
표본이 아주 크면 0.1% 차이도 통계적으로 유의미해집니다. 하지만 그 차이가 개발과 운영 비용을 넘어서는지는 별개입니다. 실험 전에 "이 정도는 나와야 바꿀 가치가 있다"는 선을 정해두는 것이 통계보다 먼저입니다.
테스트를 시작하기 전에 확인할 것
- 지금 전환율과 방문자 수를 아는가. 이 둘이 없으면 필요한 기간을 계산할 수 없고, 계산하지 않은 실험은 대부분 중간에 판단하게 됩니다.
- 몇 퍼센트 개선이면 바꿀 것인가. 이 선을 먼저 정해야 필요한 표본이 정해집니다. 반대 순서로는 결정이 나지 않습니다.
- 그 기간 동안 다른 것을 건드리지 않을 수 있는가. 실험 중간에 광고를 늘리거나 페이지를 고치면 결과를 해석할 수 없게 됩니다.
정리하면, A/B 테스트에서 어려운 부분은 도구가 아니라 참고 기다리는 일입니다. 기간과 기준을 먼저 정해두면 그 기다림이 훨씬 수월해집니다.
