구글, 프롬프트 반복 비용 줄여주는 '암시적 캐싱' API 요금제 도입
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
인공지능
대상자
AI 개발자 및 제미나이 API 사용자 (중간~고급 수준)
핵심 요약
- "암시적 캐싱(implicit caching)" 기능 도입으로 프롬프트 입력 비용 75% 감소**
- 제미나이 2.5 프로(2048토큰 기준) 및 제미나이 2.5 플래시(1024토큰 기준) 모델에 적용
- 명시적 캐싱(explicit caching) 방식 대비 자동화된 비용 절감 구현
섹션별 세부 요약
- 기존 문제점
- 명시적 캐싱 방식은 개발자가 수동으로 반복 프롬프트를 지정해야 했음
- 일부 개발자들이 예상보다 높은 요금 발생으로 불만 제기
- 암시적 캐싱 도입
- 반복 입력 문맥 자동 인식 및 캐시 적용
- 제미나이 2.5 프로/플래시 모델에 적용
- 캐시 적용 조건
- 2.5 프로: 2048토큰 이상 (약 750~1500단어)
- 2.5 플래시: 1024토큰 이상
- 구글의 최적화 권장사항
- 변하지 않는 문맥은 요청 앞부분에 배치
- 변화하는 정보는 끝부분에 위치
결론
- *"캐시 적중률 향상"을 위해 요청 구조를 최적화하고, 반복 프롬프트 자동 인식 기능을 활용해 API 요금 효율화**를 추천.