구글 제미나이 API, '암시적 캐싱' 도입으로 AI 개발 비용 절감 혁신

구글 제미나이 API, '암시적 캐싱' 도입으로 AI 개발 비용 절감 혁신

• 핵심 기술: 구글은 AI 개발자들의 비용 부담을 완화하기 위해 제미나이 API에 '암시적 캐싱(implicit caching)' 기능을 새롭게 도입했습니다. 이는 기존 '명시적 캐싱' 방식에서 발생했던 과도한 비용 청구 논란에 대응하고 개발자 커뮤니티와의 신뢰를 회복하기 위한 조치입니다.

• 기술적 세부사항:

• 암시적 캐싱 도입: 반복적인 입력 문맥을 자동으로 인식하여 캐시로 처리함으로써, 입력 비용을 최대 75%까지 절감합니다.
• 적용 모델: 구글의 최신 AI 모델인 '제미나이 2.5 프로(Pro)'와 '제미나이 2.5 플래시(Flash)'에 적용됩니다.
• 동작 방식: 사용자가 제미나이 2.5 모델에 요청을 보낼 때, 이전 요청과 서두(prefix)가 일치하는 경우 자동으로 캐시가 적용되어 비용이 줄어듭니다.
• 별도 설정 불필요: 개발자가 별도의 설정 없이도 비용 절감 효과를 자동으로 누릴 수 있습니다.
• 캐시 적용 최소 토큰 수: 제미나이 2.5 프로는 2048 토큰, 제미나이 2.5 플래시는 1024 토큰입니다. 이는 약 750~1500 단어 분량으로, 반복적인 입력에 충분히 적용 가능합니다.

• 캐시 적중률 향상 조언: 변하지 않는 반복적인 문맥은 요청의 앞부분에, 매번 바뀌는 정보는 끝부분에 배치하는 것이 좋습니다.

• 개발 임팩트: 개발자들은 API 사용 비용을 크게 절감할 수 있어 AI 모델 및 서비스 개발에 더욱 집중할 수 있게 됩니다. 이는 AI 서비스의 접근성을 높이고, 더 많은 혁신적인 애플리케이션 개발을 촉진할 것으로 기대됩니다.

• 커뮤니티 반응: 이전의 명시적 캐싱 방식에서 비롯된 높은 API 요금에 대한 개발자들의 불만이 있었으며, 이에 대해 구글은 사과하고 개선을 약속한 바 있습니다. '암시적 캐싱'은 이러한 개발자 커뮤니티의 피드백을 반영한 결과입니다.

• 톤앤매너: 이 업데이트는 AI 개발 커뮤니티의 실질적인 요구사항을 충족시키려는 구글의 노력을 보여주며, 기술적인 개선을 통해 개발 효율성과 경제성을 동시에 높이는 데 중점을 두고 있습니다.