Google, 암시적 캐싱으로 프롬프트 비용 75% 절감
AI Store에서 AI코딩으로 만들어진 앱을 만나보세요!
지금 바로 방문하기

구글, 프롬프트 반복 비용 줄여주는 '암시적 캐싱' API 요금제 도입

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

AI 개발자 및 제미나이 API 사용자 (중간~고급 수준)

핵심 요약

  • "암시적 캐싱(implicit caching)" 기능 도입으로 프롬프트 입력 비용 75% 감소**
  • 제미나이 2.5 프로(2048토큰 기준) 및 제미나이 2.5 플래시(1024토큰 기준) 모델에 적용
  • 명시적 캐싱(explicit caching) 방식 대비 자동화된 비용 절감 구현

섹션별 세부 요약

  1. 기존 문제점
  • 명시적 캐싱 방식은 개발자가 수동으로 반복 프롬프트를 지정해야 했음
  • 일부 개발자들이 예상보다 높은 요금 발생으로 불만 제기
  1. 암시적 캐싱 도입
  • 반복 입력 문맥 자동 인식 및 캐시 적용
  • 제미나이 2.5 프로/플래시 모델에 적용
  1. 캐시 적용 조건
  • 2.5 프로: 2048토큰 이상 (약 750~1500단어)
  • 2.5 플래시: 1024토큰 이상
  1. 구글의 최적화 권장사항
  • 변하지 않는 문맥은 요청 앞부분에 배치
  • 변화하는 정보는 끝부분에 위치

결론

  • *"캐시 적중률 향상"을 위해 요청 구조를 최적화하고, 반복 프롬프트 자동 인식 기능을 활용해 API 요금 효율화**를 추천.