비교

비교(Compare)는 라우팅으로 트래픽을 나눠 실은 뒤, 며칠이 지나 결과를 읽을 때 엽니다. 새 옵션을 막 흘리기 시작한 며칠 동안 에러율과 응답 속도가 튀지 않는지 살피는 자리이기도 합니다. 옵션별 수치는 이 화면에서 봅니다.

성공 지표기준 정의 테스트후보 시험 라우팅트래픽 배정 비교성과 판정

차트와 옵션 카드

영역	내용	읽는 법
비교 기준	이벤트 전환율이나 성공 지표 중 무엇으로 견줄지 고르고, 견줄 옵션 두 개를 지정합니다	대표(Primary) 지표가 있으면 처음부터 선택되어 있습니다
차트	선택한 기준의 추이를 옵션별 선으로 겹쳐 표시	선이 벌어진 채 유지될 때만 차이로 읽습니다
옵션 카드	옵션마다 호출당 비용, p50 지연시간, 에러율, 그리고 선택한 비교 기준의 값	네 숫자를 한 화면에서 견줍니다

옵션당 사용자가 100명 미만이면 화면이 경고를 띄웁니다

기준이 되는 것은 호출 수가 아니라 그 옵션을 받은 사용자 수입니다. 이 수가 작을 때의 전환율은 우연에 크게 흔들립니다. 경고가 떠 있는 동안은 어느 쪽이 낫다고 말하지 말고 트래픽이 더 쌓이기를 기다리세요. 라우팅에서 비율을 올려도 될지 판단할 때도 같은 기준을 씁니다.

ABTO는 p-value 같은 통계 판정을 대신 내려주지 않습니다. 숫자를 있는 그대로 보여줄 뿐입니다.

이 순서로 판단하세요

순서	지표	판단
1	에러율	눈에 띄게 높은 옵션은 성과와 무관하게 제외
2	성공 지표 또는 전환율	새 후보가 기존과 같거나 앞서는가
3	호출당 비용	성과가 비슷하다면 저렴한 쪽을 고릅니다

전환율이 조금 높은데 비용이 몇 배라면, 그 값어치는 사업적 판단의 영역입니다. 고를 옵션이 정해지면 라우팅으로 돌아가 트래픽을 옮깁니다.