Playwright MCP와 Cucumber.js를 결합한 구조화된 BDD 테스트 자동화 접근 방식

핵심 기술

이 글은 Playwright MCP의 AI 기반 테스트 생성 및 실행 기능을 Cucumber.js의 구조화된 BDD(Behavior-Driven Development) 패턴과 결합하여, 자연어 기반 테스트 작성의 유연성과 기존 테스트 자동화 워크플로우의 견고성을 동시에 확보하는 방법을 제안합니다.

기술적 세부사항

• Playwright MCP: LLM을 통해 채팅하듯 테스트를 작성하고 실행하는 기능.
• Cucumber.js: .feature 파일을 사용하여 비즈니스 요구사항을 명확하고 구조화된 영어로 작성.
• 구조화된 BDD + AI: .feature 파일을 테스트의 소스로 활용하고, LLM(MCP)이 Given/When/Then 단계의 실행을 책임지도록 하여, IDE/챗봇 의존성을 제거.
• Custom Playwright MCP Client: 다음 기능을 포함하는 CLI 기반 클라이언트 개발:
  • 표준 .feature 파일 구조 지원
  • LLM 설정을 위한 간단한 구성 (.env 파일 활용)
  • 로컬 MCP 서버로 단계를 위임하는 일반적인 스텝 정의
  • CLI를 통한 표준 Cucumber 테스트 실행
  • Cucumber를 통한 자동 HTML 보고서 생성
  • Faker.js를 이용한 Mock 데이터 생성 통합
• CI/CD 통합: CLI 기반으로 설계되어 CI/CD 파이프라인에서 직접 실행 가능.
• 코드 생성: MCP가 생성한 Playwright JavaScript 코드를 실행 후 출력 가능.

개발 임팩트

• 생산성 향상: 자연어로 테스트 케이스를 작성하고 AI가 코드를 생성/실행함으로써 테스트 작성 시간 단축.
• 협업 강화: .feature 파일의 명확한 구조로 비즈니스 이해관계자와 개발팀 간의 협업 증진.
• 확장성 및 자동화: IDE에 국한되지 않고 CI/CD 환경에서 AI 기반 테스트를 자동화하여 확장 가능.
• 실용성 증대: LLM의 창의성과 BDD의 구조화를 결합하여 AI 테스트의 실용성 증대.

커뮤니티 반응

작성자는 현재까지 IDE 기반의 챗 스타일 워크플로우가 주로 홍보되고 있으며, IDE 외부에서의 구조화된 프롬프트 기반 테스트에 대한 논의는 부족하다고 언급합니다. 또한, 이 접근 방식의 실현 가능성 및 LLM/MCP의 잠재적 제약 사항에 대한 궁금증을 표현하며 커뮤니티의 의견을 구하고 있습니다.