비교

비교(Compare)는 라우팅으로 트래픽을 나눠 실은 뒤, 며칠이 지나 결과를 읽을 때 엽니다. 새 옵션을 막 흘리기 시작한 며칠 동안 오류율과 응답 속도가 튀지 않는지 살피는 자리이기도 합니다. 옵션별 수치는 이 화면에서 봅니다.

성과 지표기준 정의 테스트후보 시험 라우팅트래픽 배정 비교성과 판정

차트와 옵션 카드

영역	내용	읽는 법
비교 기준	이벤트 전환율이나 성과 지표 중 무엇으로 견줄지 고르고, 견줄 옵션 두 개를 지정합니다	대표(Primary) 지표가 있으면 처음부터 선택되어 있습니다
차트	선택한 기준의 추이를 옵션별 선으로 겹쳐 표시	선이 벌어진 채 유지될 때만 차이로 읽습니다
옵션 카드	옵션마다 요청당 비용, 평균 지연시간, 오류율, 그리고 선택한 비교 기준의 값	네 숫자를 한 화면에서 견줍니다. 앞의 세 값은 기능 안 모든 노드의 요청을 섞은 요청 한 건의 평균입니다
실행 단위 비교	옵션마다 실행 수, 실행당 요청, 실행당 비용	요청당 비용이 싼 옵션도 실행 한 번에 요청을 많이 보내면 실행당 비용은 비쌀 수 있습니다. 옵션 카드의 요청당 비용과 함께 봅니다
노드별 상세	노드마다 옵션별 요청 수, 요청당 비용, 평균 지연시간, p50, p95, p99, 오류율	노드별 요청 수가 옵션마다 다르면 옵션 카드의 값이 그 차이 때문에 달라집니다. 이 표에서 노드끼리 견줍니다

실행 단위 비교는 에이전트나 워크플로 실행 한 번을 단위로 셉니다. 서버 SDK가 실행 ID를 보내는 호출만 세고, 실행 ID를 보내는 호출이 없으면 표가 나타나지 않습니다. 비용을 확인하지 못한 성공 요청이 섞인 옵션은 실행당 비용을 표시하지 않습니다. 여러 요청을 한 실행으로 묶는 방법은 서버 SDK 문서(JavaScript, Python, JVM)를 참고하세요.

옵션 카드와 노드별 상세의 숫자는 앱이 보낸 요청 한 건을 단위로 셉니다.

• 요청 수: ABTO가 재시도한 요청도 한 건으로 셉니다.
• 평균 지연시간: 성공한 요청이 응답을 받기까지 걸린 시간입니다. 재시도에 걸린 시간을 포함하고, 실패한 요청은 넣지 않습니다.
• 요청당 비용: 비용이 확인된 요청 기준입니다.
• 오류율: 모델 제공사 오류(5xx), 시간 초과, 연결 실패, ABTO 내부 오류로 끝난 요청의 비율입니다. 사용량 제한(429), 요청 형식 오류, API 키나 결제 문제, 앱이 먼저 끊은 요청은 옵션의 문제가 아니라서 세지 않습니다. 이런 실패는 요청 화면에서 확인합니다.

옵션당 사용자가 100명 미만이면 화면이 경고를 띄웁니다

기준이 되는 것은 요청 수가 아니라 그 옵션을 받은 사용자 수입니다. 이 수가 작을 때의 전환율은 우연에 크게 흔들립니다. 경고가 떠 있는 동안은 어느 쪽이 낫다고 말하지 말고 트래픽이 더 쌓이기를 기다리세요. 라우팅에서 비율을 올려도 될지 판단할 때도 같은 기준을 씁니다.

ABTO는 p-value 같은 통계 판정을 대신 내려주지 않습니다. 숫자를 있는 그대로 보여줄 뿐입니다.

이 순서로 판단하세요

순서	지표	판단
1	오류율	눈에 띄게 높은 옵션은 성과와 무관하게 제외
2	성과 지표 또는 전환율	새 후보가 기존과 같거나 앞서는가
3	요청당 비용	성과가 비슷하다면 저렴한 쪽을 고릅니다

전환율이 조금 높은데 비용이 몇 배라면, 그 값어치는 사업적 판단의 영역입니다. 고를 옵션이 정해지면 라우팅으로 돌아가 트래픽을 옮깁니다.