테스트

테스트(Testing)는 바꿔 보고 싶은 모델이나 프롬프트가 생겼을 때, 실제 사용자에게 내보내기 전에 거치는 단계입니다. 호출은 실제 모델 제공사로 나가지만 결과는 어디에도 저장되지 않아, 운영 데이터에 섞이지 않고 몇 번이고 부담 없이 돌릴 수 있습니다.

성과 지표기준 정의 테스트후보 시험 라우팅트래픽 배정 비교성과 판정

요청 본문과 슬롯

영역	내용
요청 본문	모든 슬롯이 함께 보내는 요청 본문입니다. “기록에서 불러오기”로 실제 호출을 가져오면 지나간 대화, 도구 호출과 결과, 당시의 시스템 프롬프트를 기록된 그대로 불러오며, 마지막 사용자 메시지만 고칠 수 있습니다. 이미지와 PDF 첨부는 자리만 표시되고 실행에는 포함되지 않습니다. 불러오지 않으면 빈 사용자 메시지 하나로 시작합니다
슬롯	슬롯마다 이름, 모델, 시스템 프롬프트, 파라미터를 정합니다. 시스템 프롬프트는 “직접 지정”을 켜면 슬롯에 적은 값이, 끄면 요청 본문의 시스템 프롬프트가 그대로 나갑니다. “불러오기”로 저장해 둔 에이전트 설정을 슬롯에 채울 수 있습니다. 처음 열면 A에 원본(코드가 지금 보내는 설정)이 들어가며, 슬롯은 다섯 개까지 늘릴 수 있습니다
few-shot 예시	”직접 지정”을 켠 슬롯에서 “few-shot 추가”를 누르면 예시 입력 창이 열립니다. 입력과 답을 직접 적거나, 창의 “요청 기록에서 불러오기”로 실제 호출 하나를 골라 그 호출의 마지막 사용자 메시지와 응답을 채웁니다. 넣은 예시는 슬롯 시스템 프롬프트의 <examples> 블록에 들어가며, 그대로 실행되고 저장됩니다
실행 결과	슬롯별 응답, 종료 사유, 토큰, 비용, 지연 시간, 프롬프트와 출력의 토큰 분해. 응답은 모델이 낸 순서대로 추론, 도구 호출, 텍스트가 탭으로 나뉘고 최종 출력이 먼저 열립니다. 도구를 부르고 멈춘 응답도 그 호출이 그대로 보입니다

“전체 실행”은 모든 슬롯을 한 번에 실행합니다. “에이전트 설정으로 저장”을 누르면 그 슬롯의 모델, 시스템 프롬프트, 파라미터가 이름을 붙인 에이전트 설정으로 저장됩니다. 저장한 설정은 슬롯의 “불러오기”로 다시 불러올 수 있습니다.

조정할 수 있는 파라미터는 모델마다 다릅니다. 지원하지 않는 모델을 고르면 “이 모델에는 조정 가능한 파라미터가 없습니다”라고 표시됩니다. 요청 본문과 슬롯 구성은 브라우저를 닫기 전까지 유지됩니다.

저장한 설정을 실제 트래픽에 쓰기

저장한 설정은 테스트 중인 노드의 에이전트 설정으로 추가됩니다. 라우팅에서 옵션을 만들 때 그 노드의 설정으로 이 에이전트 설정을 고르면, 그 옵션을 받은 사용자의 요청이 이 설정으로 응답합니다. 저장 알림의 “이 설정으로 옵션 만들기”를 누르면 이 설정을 고른 상태로 옵션 만들기 창이 열립니다.

최종 판정은 비교에서 합니다

테스트는 고른 입력 몇 개로 후보를 거르는 단계까지만 맡습니다. 테스트에서 좋아 보였던 후보도 실제 트래픽에서는 다를 수 있습니다. 비교 화면에서 성과를 확인해야 실험 하나가 끝납니다.