상황별 가이드
프롬프트 비용 줄이기
호출마다 실려 가는 불필요한 토큰을 줄이고, 품질이 유지되는지 확인합니다.
AI 비용은 토큰 수에 비례합니다. 그래서 모델을 그대로 두고 프롬프트에서 불필요한 부분만 걷어내도 호출당 비용이 내려갑니다. 대화 이력을 통째로 싣거나, 지시문이 장황하거나, 예시를 필요 이상으로 붙인 경우가 흔합니다.
호출 하나에 실려 가는 것
섹션 제목: “호출 하나에 실려 가는 것”요청에서 그 기능의 호출 몇 건을 열어 상세의 분해를 봅니다. 프롬프트 토큰과 완성 토큰, 입력 비용과 출력 비용이 나뉘어 보이므로 비용이 입력 쪽에 몰려 있는지 출력 쪽에 몰려 있는지가 먼저 갈립니다.
입력 쪽이라면 대화 내용을 열어 실제로 무엇이 실려 가는지 확인하세요. 줄일 수 있는 덩어리가 눈에 보이는 경우가 많습니다.
줄인 프롬프트를 같은 입력으로
섹션 제목: “줄인 프롬프트를 같은 입력으로”방금 본 호출을 “테스트에서 열기”로 가져오면 그 입력이 그대로 시험 케이스가 됩니다. 테스트에서 현재 옵션과 프롬프트를 줄인 버전을 나란히 돌리면 결과의 토큰 분해에 절감폭이 바로 나오고, 응답 품질은 나란히 눈으로 비교합니다.
10%에서 확인할 두 숫자
섹션 제목: “10%에서 확인할 두 숫자”줄인 버전을 옵션으로 저장하고 라우팅에서 10%부터 흘립니다. 표본이 쌓이면 비교에서 볼 것은 둘입니다. 성공 지표가 기존과 같은가, 그리고 호출당 비용이 기대만큼 내려갔는가. 둘 다 통과하면 비율을 올립니다.
출력 쪽이 문제라면
섹션 제목: “출력 쪽이 문제라면”출력 비용이 크다면 응답이 필요 이상으로 길게 나오고 있다는 뜻입니다. 요약이 세 문단이면 충분한 기능이 열 문단을 만들고 있었다면, 그만큼이 매 호출 낭비되고 있던 것입니다. 프롬프트에 “세 문장으로 답하라” 같은 길이 지시를 넣은 후보를 하나 만들어 위와 같은 순서로 검증하세요.