Puppeteer를 활용한 웹 자동화 시 쿠키 배너 자동 처리 가이드

핵심 기술

Puppeteer 라이브러리를 사용하여 웹 페이지 자동화 시 발생하는 쿠키 동의 배너를 효율적으로 처리하는 방법을 다룹니다. 이를 통해 깨끗한 스크린샷을 얻거나, 자동화 스크립트의 안정성을 높일 수 있습니다.

기술적 세부사항

• 패키지 설치: puppeteer, @cliqz/adblocker-puppeteer, @duckduckgo/autoconsent 패키지를 설치합니다.
• @cliqz/adblocker-puppeteer 활용: 광고 차단 필터 목록을 활용하여 쿠키 배너를 자동으로 차단합니다.
  • PuppeteerBlocker.fromLists(fetch, [filterList])로 블로커 초기화
  • blocker.enableBlockingInPage(page)로 페이지 내 차단 활성화
• @duckduckgo/autoconsent 활용: 쿠키 동의 대화상자를 처리하기 위해 설계된 도구를 통합합니다.
  • page.evaluateOnNewDocument(autoconsent.script)를 사용하여 AutoConsent 스크립트 주입
• 커스텀 핸들러 구현: 직접 셀렉터 및 버튼 텍스트를 정의하여 쿠키 배너를 클릭하거나 숨기는 방식으로 처리합니다.
  • [id*='cookie'], [class*='cookie'] 등 다양한 쿠키 관련 셀렉터 활용
  • 'Accept', 'Accept All', 'Got it' 등의 텍스트를 가진 버튼 클릭 시도
  • 찾은 배너 요소의 display 속성을 'none'으로 변경하여 숨김 처리
• 최적 사례: 페이지 로드 대기, 여러 접근 방식 조합, 에러 핸들링, 테스트, 유지보수의 중요성을 강조합니다.

개발 임팩트

쿠키 배너로 인한 스크린샷 품질 저하 및 자동화 프로세스의 불안정성을 해결하여, 보다 일관되고 전문적인 결과물을 얻을 수 있습니다. 또한, 반복적인 수동 개입 없이 자동화 스크립트의 신뢰성을 높입니다.

커뮤니티 반응

톤앤매너

Puppeteer 사용자들이 직면할 수 있는 실제적인 문제를 해결하기 위한 실용적이고 기술적인 가이드를 제공합니다.