LLM 기능을 출시할 때 요청당 비용이 일정할 것이라고 가정하면 긴 문서와 반복 호출이 몰리는 날 예산이 흔들립니다. 비용 관리는 대시보드에서 지난달 합계를 보는 것보다 요청을 시작하기 전에 상한을 정하는 데서 시작합니다.
요청 경로별 비용을 나눈다
짧은 분류, 문서 요약, 여러 단계의 에이전트 작업은 입력 길이와 호출 횟수가 다릅니다. 기능·고객·모델별로 토큰 사용량과 실패 재시도 비용을 기록합니다. 전체 평균은 큰 고객이나 긴 문서의 꼬리 비용을 숨길 수 있습니다.
입력과 출력 상한을 따로 둔다
사용자가 긴 파일을 넣을 수 있다면 청크 수, 검색 결과 수, 최대 출력 길이를 제한합니다. 에이전트가 루프를 돌 경우 총 호출 횟수와 작업 시간도 제한해야 합니다. 상한에 걸렸을 때는 결과를 잘라내기보다 사용자에게 이유와 다음 선택지를 알려 줍니다.
캐시는 반복 부분에만 적용한다
동일한 시스템 지시문이나 문서 구조가 반복되면 제공자가 지원하는 프롬프트 캐시가 지연과 비용을 줄일 수 있습니다. 다만 사용자별 민감 문서를 다른 고객과 공유 캐시로 섞어서는 안 됩니다. 캐시 적용 범위와 만료를 공급자 정책에 맞춰 확인합니다.
모델을 업무 난도에 맞춰 선택한다
모든 요청에 최고가 모델을 쓰기보다 분류·추출·복잡한 추론을 나눌 수 있습니다. 저가 모델에서 불확실한 경우 상위 모델이나 사람 검토로 올리는 경로를 설계합니다. 절감률만 보면 품질 하락을 놓치므로 실패 비용을 함께 봅니다.
고객별 예산과 품질을 함께 공개한다
테넌트별 일간 사용량과 비용을 추적하고 급증 알림을 둡니다. 예산을 넘으면 무조건 차단할지, 저렴한 모드로 낮출지, 관리자 승인을 받을지 정책을 정합니다. 비용 절감은 업무 성공률을 유지할 때 의미가 있습니다.
현장에 적용할 때의 순서
- 기능·고객별 사용량 기준선을 만든다
- 입력·출력·호출 횟수의 상한을 정한다
- 반복 프롬프트 캐시와 모델 전환을 품질과 함께 검증한다
주의할 실패: 월별 합계만 보면 특정 요청의 폭주를 실행 전에 막을 수 없다.
관찰할 지표: 요청당 비용 P95, 예산 초과, 품질 회귀를 함께 본다.
적용 전 체크리스트
- 기능·고객별 비용과 재시도를 구분하는가
- 호출 횟수·입력·출력에 사전 상한이 있는가
- 캐시와 저비용 모델 전환 뒤 품질을 재평가하는가
참고 자료
Azure OpenAI prompt caching. Microsoft 문서는 지원 모델의 반복 입력 캐시가 지연과 비용에 미치는 영향을 설명합니다. 요청별 상한과 모델 선택은 애플리케이션 운영 정책의 예시입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#LLM비용 #토큰예산 #프롬프트캐시 #LLMOps #모델라우팅 #AI운영 #추론비용 #SaaS #비용관리 #기업AI
