Cloudflare, AI 봇을 위한 크롤링별 과금(pay-per-crawl) 도입

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

AI

대상자

• *콘텐츠 제작자, 웹사이트 소유자, AI 봇 개발자**

- 난이도: 중간 이상 (HTTP 상태코드, 암호화 기술, 결제 인프라 이해 필요)

핵심 요약

• HTTP 402 Payment Required 상태코드 기반으로 AI 크롤러에 대한 과금 모델 도입
• 콘텐츠 소유자는 '무료 제공', '과금', '차단' 3가지 옵션으로 접근 통제 가능
• Cloudflare가 결제 인프라 및 보안 인증(Ed25519, JWK 등)을 제공하며, 프로그래머블 방식의 결제 협상 지원

섹션별 세부 요약

###1. 서비스 개요 및 주요 기능

• AI 크롤러의 접근 시 과금 모델 도입
• 콘텐츠 소유자는 무료 허용, 유료 접근 허용, 차단의 세 가지 선택지를 제공
• HTTP 402 응답 기반의 결제 프로토콜 도입 (200 OK: 결제 완료 / 402: 과금 요청)
• Cloudflare가 결제 처리 및 정산 인프라를 제공

###2. 기술적 구현 방식

• 크롤러 인증: Ed25519 키 페어 생성, JWK 형식의 공개키 디렉토리 등록
• HTTP 메시지 서명: Signature-Agent, Signature-Input, Signature 헤더 사용
• 두 가지 결제 프로토콜 지원

- 반응형(발견 우선): 402 응답 시 가격 제시 → 동의 시 재요청

- 선제적(의도 우선): crawler-max-price 헤더로 결제 상한 전달

###3. 결제 프로세스 및 관리

• 결제 정보 등록: 크롤러 운영자 및 콘텐츠 소유자, Cloudflare 계정에 결제 정보 등록 필요
• 과금 이벤트 기록: 인증된 결제 요청 및 200 OK 응답 시 Cloudflare가 집계 및 청구
• 크롤러별 과금 예외, 무료 접근 허용 등 정책 유연성 제공

###4. 사용 사례 및 확장 가능성

• AI 크롤러 트래픽 증가(2024~2025년 18% 증가 예상)에 대응
• 동적 과금, AI 트래픽 규모 기반 요율 산정, 대규모 라이선스 관리 등 확장성 논의 중
• HTTP 402 채택으로 AI/에이전트의 디지털 자원 접근 협상 가능

결론

• 콘텐츠 소유자는 디지털 자산 수익화를 위한 새로운 BM(비즈니스 모델) 기회를 얻을 수 있음
• 보안 정책(WAF, 봇 관리)과 연동하여 기존 방화벽 우선 적용 후 pay-per-crawl 룰 작동
• 프라이빗 베타 기간 동안 사용을 희망하는 크롤러 및 콘텐츠 제작자는 별도 신청 링크를 통해 문의 가능