A/B 테스트 계산기 (유의성·표본 크기)

비율이 0%나 100%에 가깝거나 표본이 작을 때 믿기 어렵기 때문입니다. 0 아래로 내려가기도 하고, 실제 포함률이 표방한 95%에 한참 못 미치는 일이 많습니다. Wilson 구간은 복잡도를 늘리지 않고 이를 해결하며, Newcombe는 1998년에 두 Wilson 구간을 조합하면 차이에 대해 단순한 공식보다 훨씬 나은 구간이 된다는 것을 보였습니다. Clopper–Pearson은 포함률이 모자라는 일이 없다는 의미에서 정확하지만 대신 더 넓습니다.

각 안의 사용자 수가 계획한 비율과 우연으로 설명할 수 있는 정도 이상으로 다른 경우입니다. 보통 버그를 뜻합니다. 일부 사용자를 잃는 리디렉션, 한쪽에만 적용된 봇 필터, 다르게 동작하는 추적 코드 같은 것들이고, 비교를 알 수 없는 방향으로 치우치게 합니다. 이 도구는 방문자 수를 균등 분배와 비교해 실험 플랫폼들이 흔히 쓰는 기준인 p = 0.001 아래에서 경고합니다.

p값이 원래 의미를 갖기를 원한다면 안 됩니다. 여러 번 확인하다가 처음 p가 0.05 아래로 내려갈 때 멈추면 잡음이 선을 넘을 기회가 훨씬 많아져, 실제 거짓 양성률이 몇 배로 커질 수 있습니다. 표본 크기 계산기로 미리 크기를 정하고 한 번만 평가하거나, 순차 모니터링을 위해 설계된 방법을 쓰세요.

두 비율을 비교하는 통상적인 공식을 씁니다. 신뢰수준의 임계값에 차이가 없을 때의 표준편차를 곱한 것과, 검정력의 임계값에 효과가 있을 때의 표준편차를 곱한 것을 더해 제곱하고, 차이의 제곱으로 나눕니다. 안별 수치이므로 전체는 그 두 배입니다. 시뮬레이션과 대조했으며, 이 크기에서 시뮬레이션한 실험이 목표 검정력에 도달했습니다.

두 비율의 비에 대한 구간은 눈에 띄게 비대칭이며 차이의 구간과는 다른 방법이 필요하기 때문입니다. 상승률 주위에 대칭인 ±를 붙이면 오해를 부릅니다. 퍼센트포인트 차이와 Newcombe 구간이 그런 함정 없이 같은 정보를 담고 있고, 상승률은 여기서 쉽게 읽어 낼 수 있습니다. 대조군 전환율로 나누면 됩니다.