갑자기 늘어난 비용 대응하기

지난달보다 40% 늘어난 청구서 한 장에서 시작합니다. 총액만 들여다봐서는 “다들 아껴 쓰자”는 말밖에 나오지 않으니, 늘어난 자리를 세 번 좁혀 찾습니다.

인사이트비싼 기능 찾기 비교비싼 옵션 찾기 요청호출 내용 확인 개요조치 후 절감 확인

계단인가 우상향인가

기능별 비용 순위는 인사이트에 물어 받습니다 (묻는 방법은 기능별로 얼마나 쓰는지 보기에 있습니다). 여기서는 “언제부터 늘었나요?”를 이어 물어 증가가 시작된 시점까지 좁힙니다.

특정 날짜부터 계단처럼 올랐다면 그날의 배포나 변경이 유력한 원인입니다. 꾸준히 우상향했다면 트래픽 성장이거나 사용 패턴의 변화입니다. 성과도 같이 늘었다면 성장이고, 비용만 늘었을 때가 조치 대상입니다.

옵션 사이에서 갈리는 호출당 비용

비교에서 그 기능의 옵션들을 나란히 놓고 호출당 비용을 봅니다. 옵션마다 모델과 프롬프트가 다르므로, 어느 조합이 비용을 끌어올리고 있는지가 한 표에서 갈립니다.

옵션이 하나뿐인 기능이라면 비교할 대상이 없으니 바로 다음으로 갑니다.

프롬프트가 큰가 응답이 긴가

요청에서 앞 단계가 지목한 옵션이 쓰는 모델로 필터를 걸면 그 옵션의 호출만 남습니다. 호출 하나의 상세를 열면 토큰과 비용의 분해가 보이고, 커진 쪽이 입력인지 출력인지가 여기서 드러납니다.

증상	흔한 원인	조치
프롬프트 토큰 급증	대화 이력이나 컨텍스트를 통째로 넣고 있음	프롬프트 비용 줄이기
완성 토큰 급증	응답이 필요 이상으로 길게 나옴	프롬프트에 길이 지시를 넣은 후보를 테스트에서 검증하고 옵션으로 저장
호출 수 급증	재시도 루프, 크롤러, 특정 사용자의 남용	요청 목록의 세션과 사용자 컬럼에서 패턴 확인 후 코드나 정책 수정
값비싼 모델	사소한 작업에 모델 과잉	더 저렴한 모델로 바꾸기

고치고 개요에서 확인

프롬프트든 모델이든, 바꾸는 조치는 테스트에서 같은 입력으로 품질이 유지되는지 확인하고 옵션으로 저장해 라우팅에서 비율을 올리는 순서를 따릅니다.

절감이 실제로 났는지는 개요 30일 화면의 비용 추이에서 확인합니다. 다음 급증을 청구서보다 먼저 알아채려면 한 달에 한 번 이 화면을 여는 것으로 충분합니다.