대시보드 가이드
성공 지표
무엇을 성공으로 볼지 숫자 하나로 정의합니다.
성공 지표(Success metrics)는 실험을 시작하기 전에 먼저 들르는 자리입니다. 비용과 응답 속도는 ABTO가 알아서 재지만 서비스마다 성공의 기준은 다르므로, 무엇을 성공으로 볼지는 여기서 직접 정합니다. 기준이 없으면 나중에 비교에서 어느 옵션이 나은지 판정할 수 없습니다.
지표 목록과 이벤트 표
섹션 제목: “지표 목록과 이벤트 표”| 영역 | 내용 |
|---|---|
| 지표 목록 | 정의해 둔 지표들. 그중 하나가 대표(Primary)로 표시됩니다 |
| 지표 편집 | 비율과 값 중 형식을 고르고 이벤트나 계산식을 지정합니다. 편집 내용은 자동 저장됩니다 |
| 아래쪽 이벤트 표 | 클라이언트 SDK가 보낸 이벤트가 자동으로 나타납니다. 이벤트마다 기간 내 발생률과 그 이벤트를 쓰는 지표가 함께 표시됩니다 |
원하는 이벤트가 표에 없다면 웹이나 앱에서 아직 보내지 않는 것입니다.
abto.capture('summary_copied') 한 줄이면 다음 발생부터 나타납니다.
지표의 두 형식
섹션 제목: “지표의 두 형식”| 형식 | 무엇을 재나 | 예시 |
|---|---|---|
| 비율 | AI 호출을 받은 사용자 중 목표 행동을 한 사람의 비율. 이벤트를 최대 다섯 개까지 골라 가중치를 줍니다 | 요약 성공률 = purchase 70% + summary_copied 30% |
| 값 | 호출 쪽 숫자와 이벤트에 실어 보낸 숫자를 계산식으로 엮은 숫자 하나 | AI 비용 대비 매출 = 구매액 합계 ÷ 호출 비용 합계 |
비율은 호출이 아니라 사람을 세기 때문에 항상 0~100% 사이입니다. 값에 넣을 수 있는 호출 쪽 숫자는 비용, 토큰, 지연시간, 호출 수이고, 이벤트에 실어 보낸 숫자와 함께 합계, 평균, 백분위로 집계합니다. “AI 비용 대비 매출”처럼 값 형식으로 만든 지표는 “AI가 돈값 하나”라는 질문에 바로 답이 됩니다.
대표 지표
섹션 제목: “대표 지표”지표 하나를 대표(Primary)로 지정합니다. 첫 지표는 자동으로 대표가 됩니다. 대표 지표는 개요의 요약 숫자와 차트, 비교의 기본 기준으로 올라옵니다. 실수로 지우지 못하게 대표 지표는 삭제가 막혀 있습니다.
어떤 지표가 좋은가요
섹션 제목: “어떤 지표가 좋은가요”단순히 답변이 좋아 보였는지가 아니라 사용자가 그 답변을 받고 무엇을 했는지로 정의하세요. 저장, 구매, 공유처럼요. 기능과 가까운 행동을 하나 넣으면 판정이 빨라집니다. 리뷰 요약이라면 최종 구매보다 요약 복사가 변화에 민감합니다. 처음에는 이벤트 하나짜리 비율 지표로 단순하게 두고, 운영하면서 가중 혼합으로 발전시키면 됩니다.
지표가 하나 서면 테스트에서 후보를 걸러 볼 준비가 끝납니다.