AI 구독료를 줄이는 법: 비싼 모델을 덜 쓰는 게 아니라, 일을 제대로 나눠야 한다

1. 개요: AI 비용은 운영 방식에서 샌다

팀이 AI 도구를 쓰기 시작하면 보통 먼저 묻습니다. "어떤 구독제를 써야 하지?" 중요한 질문입니다. 하지만 더 먼저 물어야 할 질문은 이것입니다. "우리는 AI에게 어떤 일을 반복해서 시키고 있으며, 왜 그 일이 매번 가장 비싼 계층을 필요로 하는가?"

OpenAI의 비용 최적화 문서는 불필요한 요청 수를 줄이고, 입력/출력 토큰을 줄이고, 정확도가 유지되는 범위에서는 더 작은 모델을 선택하라고 안내합니다. Anthropic의 프롬프트 캐싱 문서도 같은 방향을 가리킵니다. 반복되는 안정적 컨텍스트가 있다면 매번 새로 처리하지 말고 재사용 구조로 만들어야 합니다.

이번 조사에서 로컬 X 인박스 신호도 같은 문제를 보여줬습니다. 전체 저장소를 반복해서 보내는 일, PDF를 통째로 붙이는 일, 단순 작업까지 비싼 모델에 보내는 일, 검증이 부족해 사람이 다시 고치는 일이 반복적으로 등장했습니다. X의 숫자나 과장된 모델 성능 주장은 사실 근거로 쓰지 않았고, 비용이 어디서 새는지 보여주는 현장 신호로만 사용했습니다.

2. 쉬운 용어 정리: 토큰, 컨텍스트, 캐싱, RAG, 라우팅

토큰은 AI가 읽고 쓰는 작은 글자 조각입니다. 쉽게 말하면 AI 작업량의 단위입니다. 입력 토큰과 출력 토큰이 늘면 비용과 시간이 늘고, 관련 없는 내용이 섞일 여지도 커집니다.

컨텍스트는 AI에게 일을 시킬 때 함께 넣어주는 자료 묶음입니다. 지침, 파일, 이전 대화, SOP, 예시, 문서, 도구 실행 결과, 현재 요청이 모두 컨텍스트입니다. 긴 컨텍스트 창은 큰 책상과 같습니다. 책상이 크다고 해서 책상 위의 모든 서류를 정확히 쓰는 것은 아닙니다.

프롬프트 캐싱은 매번 반복되는 앞부분을 재사용하는 방식입니다. RAG 또는 검색 증강 생성은 큰 지식 창고에서 필요한 자료 조각만 찾아 붙이는 방식입니다. 라우팅은 일을 맞는 도구로 보내는 배차표입니다. 검색, 작은 모델, 코딩 에이전트, 프리미엄 추론 모델, 사람 검토 중 어디로 보낼지 정하는 규칙입니다.

• 토큰: AI가 읽고 쓰는 작업량 단위.
• 컨텍스트: 작업할 때 같이 보내는 자료 묶음.
• 프롬프트 캐싱: 반복되는 앞부분을 재사용하는 방식.
• RAG/검색: 전체를 붙이지 않고 필요한 출처 조각만 찾는 방식.
• 라우팅: 일을 맞는 도구로 보내는 배차표.
• 검토 비용: 결과를 사람이 확인하고 고치고 증명하는 시간 비용.

3. 네 가지 누수: 반복 컨텍스트, 잘못된 모델, 재시도, 리워크

첫 번째 누수는 반복 컨텍스트입니다. 같은 정책, 저장소 요약, PDF, 예시, 도구 정의를 매번 다시 보냅니다. 프롬프트 캐싱, 출처 카드, 지속 노트가 필요한 이유는 안정적인 컨텍스트가 매번 새 비용이 아니라 인프라가 되어야 하기 때문입니다.

두 번째 누수는 잘못된 모델 선택입니다. 프리미엄 모델은 구조 설계, 애매한 판단, 위험한 고객 문구, 최종 종합에 가치가 큽니다. 하지만 단순 추출, 포맷팅, 린트, 제목 후보, 번역 초안, 한 줄 수정까지 항상 프리미엄 모델을 쓰는 것은 좋은 품질이 아니라 습관일 수 있습니다.

세 번째 누수는 중복 시도입니다. 요청이 흐릿하면 세 번, 네 번 다시 묻게 됩니다. 네 번째 누수는 리워크입니다. AI가 많은 결과물을 만들었지만 테스트를 통과하지 못하고, 스타일을 깨고, 출처를 놓치고, 라이브 확인을 견디지 못하면 구독료는 보이는 비용의 일부일 뿐입니다. 숨은 비용은 시니어 검토 시간입니다.

4. 컨텍스트 예산: 매번 전부 먹이지 않는다

Lost in the Middle 논문은 운영자에게 좋은 경고입니다. 긴 컨텍스트는 도움이 될 수 있지만, 관련 정보가 긴 입력의 중간에 있을 때 모델이 항상 안정적으로 활용하는 것은 아닙니다. 그래서 "그냥 전체를 붙이자"는 전략이 아니라 탐색할 때 쓰는 임시 방법에 가깝습니다.

반복 업무에는 컨텍스트 예산이 필요합니다. 항상 들어가야 하는 것, 관련 있을 때만 검색할 것, 한 번 요약해서 재사용할 것, 해당 작업이 요구하지 않으면 빼야 할 것을 나눠야 합니다. PDF, 저장소, 회사 위키는 반복 프롬프트가 되기 전에 출처 카드와 검색 단위가 되어야 합니다.

실무 규칙은 간단합니다. 같은 자료가 중요한 세션에 세 번 이상 등장하면 캐싱하거나, 짧은 운영 노트로 만들거나, 검색 계층 뒤에 넣어야 합니다. 워크플로를 포장하지 않았다는 이유로 운영자가 계속 주의력 비용과 토큰 비용을 내면 안 됩니다.

5. 모델 충성보다 라우팅표가 낫다

라우팅표는 배차 규칙입니다. 어떤 일이 어떤 계층으로 가야 하는지 정합니다. 개발팀만 쓰는 개념이 아닙니다. 작은 회사도 Notion, Obsidian, Google Sheets, 저장소 노트 하나로 운영할 수 있습니다.

다섯 개 레인부터 시작하면 됩니다. 검색 레인: 관련 출처를 찾고 인용합니다. 루틴 레인: 요약, 분류, 포맷팅, 번역, 낮은 위험 변환을 처리합니다. Codex 레인: 파일을 수정하고, lint/build를 돌리고, diff와 라우트를 확인하고, 커밋 증거를 남깁니다. 프리미엄 추론 레인: 구조 설계, 애매한 트레이드오프, 위험한 문구, 최종 종합을 맡습니다. 사람 레인: 되돌리기 어려운 행동과 충돌 판단을 승인합니다.

핵심은 한 모델을 숭배하는 것이 아닙니다. 비싼 주의력을 결과가 달라지는 곳에 보존하는 것입니다. 더 저렴한 계층이 충분한 정확도와 검증으로 처리할 수 있는 일을 프리미엄 모델에 보내는 것은 품질이 아니라 비용 습관입니다.

• 출처 기반 질문은 검색부터 시작합니다.
• 반복적이고 위험 낮은 변환은 작은 모델이나 저렴한 계층에 맡깁니다.
• 파일 수정, 검증, 커밋 증거가 필요한 일은 Codex형 에이전트에 맡깁니다.
• 판단, 종합, 애매함, 고위험 검토는 프리미엄 모델에 맡깁니다.
• 결제, 발행 승인, 법적 판단, 되돌리기 어려운 행동은 사람이 승인합니다.

6. 안정적인 컨텍스트는 캐싱하고, 출처는 검색하고, 완료는 검증한다

프롬프트 캐싱은 재사용되는 내용이 동일하게 유지될 때 가장 잘 작동합니다. 시스템 지침, 역할 규칙, SOP, 예시, 스키마, 도구 정의처럼 안정적인 내용은 앞에 둡니다. 특정 요청, 날짜가 중요한 사실, 이번 한 번만 필요한 문맥은 뒤에 둡니다.

OpenAI의 file search와 RAG 연구가 가리키는 실무 아이디어도 같습니다. 모델에게 모든 것을 읽으라고 강요하지 말고, 시스템이 관련 출처 조각을 찾아 붙이게 해야 합니다. 이 방식의 장점은 비용만이 아닙니다. 검토자가 출처를 따라갈 수 있습니다.

마지막으로 검증을 비용 모델 안에 넣어야 합니다. 공개 작업이라면 완료는 라우트 확인, 이미지 확인, sitemap 확인, 커밋, push, 라이브 URL 확인까지입니다. 팀이 왜 이 요청에 이 모델, 이 정도 컨텍스트, 이 증거가 필요했는지 설명할 수 있을 때 AI 비용은 통제됩니다.

• 반복 AI 작업 상위 10개를 적습니다.
• 각 작업을 출처 기반, 루틴 변환, 구현, 판단, 승인으로 분류합니다.
• 작업별 컨텍스트 예산을 정합니다.
• 반복 규칙은 캐시 가능한 앞부분이나 운영 카드로 옮깁니다.
• 큰 지식 베이스는 검색 계층을 씁니다.
• 프리미엄 모델은 고가치 판단과 최종 종합에 남깁니다.
• 검토와 리워크 시간을 AI 비용에 포함합니다.
• 발행, 배포, 전송 전에는 증거를 요구합니다.