테스트

테스트(Testing)는 바꿔 보고 싶은 모델이나 프롬프트가 생겼을 때, 실제 사용자에게 내보내기 전에 거치는 단계입니다. 호출은 실제 모델 제공사로 나가지만 결과는 어디에도 저장되지 않아, 운영 데이터에 섞이지 않고 몇 번이고 부담 없이 돌릴 수 있습니다.

성공 지표기준 정의 테스트후보 시험 라우팅트래픽 배정 비교성과 판정

입력과 슬롯

영역	내용
공통 입력	모든 후보에 똑같이 들어갈 사용자 메시지. “기록에서 불러오기”로 실제 고객이 보냈던 입력을 가져오는 것이 가장 믿을 만합니다
슬롯	슬롯마다 이름, 모델, 시스템 프롬프트, 파라미터를 정합니다. 운영 중인 옵션을 A에, 새 후보를 B에 놓는 것이 기본 구성이고 다섯 개까지 늘릴 수 있습니다
실행 결과	슬롯별 응답 본문, 토큰, 비용, 지연 시간, 프롬프트와 출력의 토큰 분해

입력과 슬롯을 채웠으면 “전체 실행”으로 한 번에 돌립니다. 품질은 눈으로, 비용과 속도는 숫자로 견주고, 만족스러운 슬롯만 “옵션으로 저장”을 눌러 라우팅 후보로 올립니다.

조정할 수 있는 파라미터는 모델마다 다릅니다. 지원하지 않는 모델을 고르면 “이 모델에는 조정 가능한 파라미터가 없습니다”라고 표시됩니다. 입력과 슬롯 구성은 브라우저를 닫기 전까지 유지되므로, 하루 안에 여러 번 나눠 돌려도 됩니다.

저장해도 사용자에게는 영향이 없습니다

새로 저장한 옵션은 비율 0(트래픽 없음)으로 시작합니다. 라우팅에서 직접 비율을 올리기 전까지 실제 사용자에게는 아무 일도 일어나지 않습니다. 저장 알림의 “이 옵션 라우팅하기”를 누르면 라우팅 화면으로 바로 이어집니다.

최종 판정은 비교에서 합니다

테스트는 고른 입력 몇 개로 후보를 거르는 단계까지만 맡습니다. 테스트에서 좋아 보였던 후보도 실제 트래픽에서는 다를 수 있습니다. 비교 화면에서 성과를 확인해야 실험 하나가 끝납니다.