라우팅 | ABTO 가이드

라우팅(Routing)은 테스트에서 저장해 둔 옵션에 실제 사용자를 붙이는 단계입니다. 슬라이더를 움직여 저장하면 그 순간부터 적용됩니다. 배포도, 설정 파일 수정도 필요 없습니다.

비율 그래프와 슬라이더

영역	내용
상단 비율 그래프	지금 트래픽이 옵션들에 어떤 비율로 나뉘고 있는지 그림으로 보여줍니다
옵션 행	옵션마다 한 행씩 슬라이더. 한 행을 바꾸면 나머지가 자동으로 조정되어 합이 항상 100입니다. 저장을 눌러야 반영됩니다
우측 상단 “비교에서 결과 보기”	지금 나눠 싣고 있는 실험의 결과 화면으로 이동합니다

옵션 추가와 롤백

하려는 일	방법
새 옵션 만들기	테스트에서 검증한 뒤 옵션으로 저장하는 길을 권장합니다. 새 옵션은 항상 비율 0으로 시작합니다
옵션 끄기	스위치는 따로 없습니다. 비율 0이 곧 꺼짐입니다
롤백	새 옵션을 0으로, 기존을 100으로 되돌리면 끝입니다. 몇 초면 됩니다
옵션 수	한 정책에 넣을 수 있는 옵션은 다섯 개까지입니다. 비율을 0으로 내려도 자리는 그대로 차지하므로, 자리를 비우려면 “라우팅에서 빼기”를 씁니다

배정은 사람 단위로 고정됩니다

어느 사용자가 어느 옵션을 받을지는 사용자 기기를 기준으로 계산되므로, 같은 사람은 호출할 때마다 같은 옵션을 받습니다. 경험이 흔들리지 않고, 비교의 전환율이 사람 단위로 깨끗하게 갈립니다. 비율을 바꾸면 그 시점부터 새 비율에 맞춰 다시 배정되므로 일부 사용자는 다른 옵션으로 옮겨갑니다.

비율을 올리는 요령

단계	비율	확인할 내용
새 옵션 저장 직후	10%	하루 이틀 동안 새 옵션의 에러율과 p50 지연시간
이상이 없으면	30~50%	새 옵션의 성과가 기존과 같거나 앞서는지
차이가 확실하면	100%	쓰지 않을 옵션은 0으로. 전환 뒤에는 개요 30일 화면에서 비용과 성과 추이

단계마다의 확인은 비교에서 합니다. 표본이 얼마나 쌓여야 판단해도 되는지도 그 화면의 기준을 따릅니다. 한 기능에서는 한 번에 하나만 바꾸세요. 모델과 프롬프트를 같이 바꾸면 어느 변경이 효과를 냈는지 구분할 수 없습니다.