핵심 개념

이 안내서에서 쓰는 고객용 용어는 다음과 같습니다. 쇼핑몰의 리뷰 요약 기능을 예로 들면 이렇습니다. 괄호 안에는 영어 고객용 용어를 적었습니다.

용어	한 줄 정의	리뷰 요약 예시
기능(feature)	사용자가 보고 성과를 판단하는 상위 기능 단위. 기능 ID로 식별	review.summary
노드(node)	기능 안에서 LLM을 부르는 지점. 노드마다 에이전트 설정을 따로 고름. 호출 지점을 나누지 않은 기능은 노드 하나	리뷰를 고르는 호출, 요약을 쓰는 호출
옵션(variant)	기능을 실행하는 한 가지 방식. 어떤 에이전트 설정으로 응답할지 정함	원본 옵션 / 요약 호출만 Claude로 바꾼 후보
에이전트 설정(agent config)	한 노드의 모델 + 프롬프트 + 파라미터 한 벌. 테스트에서 저장하고 옵션에서 골라 씀. 만든 뒤 내용은 바뀌지 않음	GPT, 긴 요약 지시, temperature 0.3
원본(origin)	코드가 지금 보내는 설정. 첫 호출 때 자동으로 생기며, 기능에는 원본 옵션으로, 노드마다 원본 에이전트 설정으로 남음	지금 코드가 쓰는 GPT + 긴 프롬프트
라우팅(routing)	옵션별로 실제 트래픽을 나누는 비율	기존 90% + 새 후보 10%
이벤트(event)	응답을 본 사용자가 실제로 한 행동	summary_copied, purchase
성과 지표(success metric)	이 기능의 성공을 정의한 숫자 하나	요약 성공률, AI 비용 대비 매출

용어는 이렇게 연결됩니다

라우팅트래픽 나누기 옵션응답 만들기 이벤트사용자의 행동 성과 지표성과를 숫자로

기능(리뷰 요약) 하나 안에서 도는 흐름입니다. 새 후보는 테스트에서 거른 뒤에만 이 흐름에 들어옵니다.

원본

원본은 코드가 보낸 설정으로 자동으로 만들어지며, 기능과 노드 두 곳에 남습니다.

구분	무엇인가
원본 옵션	기능마다 하나 있는 기준 옵션. 코드에서 모델이나 파라미터를 바꾸면 새 원본 옵션이 생겨 이전 원본 옵션의 비율을 이어받고, 이전 원본 옵션은 지난 결과를 볼 수 있게 남습니다
원본 에이전트 설정	노드마다 코드가 보낸 모델과 파라미터. 시스템 프롬프트는 담지 않고 요청의 시스템 프롬프트를 그대로 씁니다. 옵션이 설정을 바꾸지 않은 노드는 이 설정으로 응답합니다

알아두면 좋은 동작 방식

• 기능과 이벤트는 처음 호출되거나 발생하는 순간 자동으로 등록됩니다.
• 같은 사용자는 비율을 바꾸기 전까지 계속 같은 옵션을 받습니다. 경험이 흔들리지 않고, “A를 받은 사람들”과 “B를 받은 사람들”의 비교가 사람 단위로 깨끗해집니다.
• 비교, 라우팅, 성과 지표는 모두 기능 단위입니다. 리뷰 요약에 좋은 모델과 상담 답변에 좋은 모델은 다르기 때문입니다.

이벤트와 성과 지표

이벤트는 웹과 앱에 넣은 SDK가 한 줄로 보냅니다. 보낸 이벤트는 그 사용자가 받았던 AI 응답과 자동으로 연결됩니다.

abto.capture('summary_copied');
abto.capture('purchase', { value: 32000 });

무엇을 성공으로 볼지는 이벤트와 호출 기록을 재료로 직접 정의하며, 성과 지표를 정의하는 방식은 두 가지입니다.

형식	무엇을 재나	예시
비율	이 기능을 쓴 사용자 중 목표 행동을 한 사람의 비율	요약 성공률 = 구매 70% + 요약 복사 30%
값	계산식으로 정의하는 숫자 하나	AI 비용 대비 매출 = 구매액 합계 ÷ 호출 비용 합계

기능마다 하나를 대표(Primary)로 지정하면 개요 화면의 요약 숫자와 비교 화면의 기본 기준이 됩니다.

이 용어를 사용하는 고객 작업은 대시보드 한눈에 보기에서 이어집니다.