핵심 개념

이 안내서에서는 고객용 용어 여섯 개를 사용합니다. 쇼핑몰의 리뷰 요약 기능을 예로 들면 이렇습니다. 괄호 안에는 영어 고객용 용어를 적었습니다.

용어	한 줄 정의	리뷰 요약 예시
기능(feature)	사용자가 보고 성과를 판단하는 상위 기능 단위. 기능 ID로 식별	review.summary
옵션(variant)	기능을 실행하는 한 가지 방식. 모델 + 프롬프트 + 파라미터	GPT에 긴 프롬프트 / Claude에 짧은 프롬프트
라우팅(routing)	옵션별로 실제 트래픽을 나누는 비율	기존 90% + 새 후보 10%
테스트 실행(test run)	내보내기 전의 일회성 시험 호출. 운영 기록에 남지 않음	실제 리뷰 입력으로 두 옵션을 나란히 호출
이벤트(event)	응답을 본 사용자가 실제로 한 행동	summary_copied, purchase
성공 지표(success metric)	이 기능의 성공을 정의한 숫자 하나	요약 성공률, AI 비용 대비 매출

여섯 용어는 이렇게 연결됩니다

라우팅트래픽 나누기 옵션응답 만들기 이벤트사용자의 행동 성공 지표성과를 숫자로

기능(리뷰 요약) 하나 안에서 도는 흐름입니다. 새 후보는 테스트 실행으로 거른 뒤에만 이 흐름에 들어옵니다.

알아두면 좋은 동작 방식

• 기능과 이벤트는 처음 호출되거나 발생하는 순간 자동으로 등록됩니다.
• ABTO를 거친 첫 호출이 들어오면, 코드가 원래 쓰던 설정이 Origin이라는 옵션으로 자동 등록됩니다.
• 같은 사용자는 비율을 바꾸기 전까지 계속 같은 옵션을 받습니다. 경험이 흔들리지 않고, “A를 받은 사람들”과 “B를 받은 사람들”의 비교가 사람 단위로 깨끗해집니다.
• 비교, 라우팅, 성공 지표는 모두 기능 단위입니다. 리뷰 요약에 좋은 모델과 상담 답변에 좋은 모델은 다르기 때문입니다.

이벤트와 성공 지표

이벤트는 웹과 앱에 넣은 SDK가 한 줄로 보냅니다. 보낸 이벤트는 그 사용자가 받았던 AI 응답과 자동으로 연결됩니다.

abto.capture('summary_copied');
abto.capture('purchase', { value: 32000 });

무엇을 성공으로 볼지는 이벤트와 호출 기록을 재료로 직접 정의하며, 성공 지표를 정의하는 방식은 두 가지입니다.

형식	무엇을 재나	예시
비율	이 기능을 쓴 사용자 중 목표 행동을 한 사람의 비율	요약 성공률 = 구매 70% + 요약 복사 30%
값	계산식으로 정의하는 숫자 하나	AI 비용 대비 매출 = 구매액 합계 ÷ 호출 비용 합계

기능마다 하나를 대표(Primary)로 지정하면 개요 화면의 요약 숫자와 비교 화면의 기본 기준이 됩니다.

이 용어를 사용하는 고객 작업은 대시보드 한눈에 보기에서 이어집니다.