프로덕션에 LLM을 붙이고 나면 가장 먼저 마주치는 현실적인 문제는 비용입니다. 트래픽이 늘어날수록 API 비용이 선형적으로 증가하는 구조라, 초기에 최적화를 해두지 않으면 나중에 손댈 곳이 많아집니다.
적용한 최적화
1. 프롬프트 캐싱
시스템 프롬프트와 few-shot 예시처럼 매 요청마다 반복되는 긴 컨텍스트를 캐싱했습니다. 캐시 히트 시 입력 토큰 비용이 큰 폭으로 줄어듭니다.
2. 모델 라우팅
모든 요청을 최상위 모델로 보내지 않고, 난이도를 분류해서 라우팅했습니다.
- 단순 분류/추출 작업 → 경량 모델
- 복잡한 추론이 필요한 작업 → 상위 모델
3. 배치 처리
실시간 응답이 필요 없는 작업(리포트 생성, 요약)은 배치 API로 전환해 단가를 낮췄습니다.
결과와 트레이드오프
비용은 약 60% 감소했지만, 모델 라우팅 로직 자체가 하나의 시스템이 되어 유지보수 대상이 늘었습니다. 라우팅 분류기의 오분류가 오히려 품질 저하로 이어질 수 있어, 분류 정확도를 지속적으로 모니터링하는 것이 중요합니다.