성과 증명하기

몇 주 뒤 경영진 앞에서 이런 문장을 말하는 것이 이 가이드의 목표입니다.

리뷰 요약의 성공률은 12.4%, AI 비용 대비 매출은 18배입니다. 지난달 모델 전환으로 AI 비용 대비 매출을 42% 높였고 성공률은 유지됐습니다.

호출 수와 비용만 가지고는 이런 문장에 닿지 못합니다. 필요한 것은 이벤트 두 줄과 지표 두 개입니다.

성공 지표이벤트 연결, 지표 정의 개요비용과 성공률 겹쳐 보기 비교실험 판정 기준

이벤트 두 줄

성과는 사용자의 행동으로 정의되므로, 먼저 그 행동이 수집되고 있어야 합니다. 웹이나 앱에 클라이언트 SDK가 붙어 있다면, 성과에 해당하는 행동에 capture 한 줄씩을 추가합니다.

abto.capture('summary_copied');             // 요약을 복사했다. 유용했다는 신호
abto.capture('purchase', { value: 32000 }); // 구매했다. 금액을 value로 함께

보낸 이벤트는 성공 지표 화면에 자동으로 나타납니다.

어떤 행동을 보낼지 고민된다면 두 종류를 하나씩 권합니다. 기능과 가까운 행동(복사, 저장)은 변화에 민감해서 실험 판정이 빠르고, 돈과 가까운 행동(구매, 결제)은 경영 보고에 바로 쓸 수 있는 숫자입니다.

지표 두 개

같은 화면에서 지표 두 개를 만듭니다.

지표	형식	정의	답하는 질문
요약 성공률	비율	purchase 70% + summary_copied 30%	이 기능이 목표 행동을 만들고 있나
AI 비용 대비 매출	값	구매액 합계 ÷ 호출 비용 합계	쓴 AI 비용이 매출로 얼마나 돌아오나

요약 성공률을 대표(Primary)로 지정하면 개요 화면의 요약 숫자와 비교 화면의 기본 비교 기준이 됩니다. AI 비용 대비 매출은 경영진의 질문에 대한 직접적인 답입니다.

그다음 계산은 자동

지표를 정의한 순간부터 집계는 자동입니다. 사용자의 행동은 그 사람이 받았던 옵션의 성과로 귀속되므로, 모델별 성과가 사람 단위로 정확히 갈립니다.

개요에서는 비용 선과 성공률 선을 겹쳐 보게 되고, 비교에서는 이 지표가 실험의 판정 기준이 됩니다.

보고에 쓰기

보고에 필요한 숫자는 대시보드에 이미 있습니다. 개요의 30일 화면에서 비용과 성공률 추이를, “AI 비용 대비 매출” 지표에서 핵심 수치를 가져오면 됩니다. 분기 회의에서 비교 화면을 직접 열어 “우리는 이렇게 실험하고 이렇게 검증한다”를 보여주는 것도 설득력이 있습니다.

새 기능에 트래픽을 흘리는 날, 대표 지표 하나를 같이 세우세요.