Kotoba v0.0.1: 6배 속도 향상을 달성한 자연어 웹 테스팅 도구의 기술적 접근

핵심 기술

Kotoba는 Playwright와 LLM을 결합하여 자연어 지시를 웹 테스팅 자동화로 변환하는 Python 기반 도구로, 스테이지드 폴백(Staged Fallback) 전략과 203개의 패턴 매칭 규칙을 통해 LLM 의존도를 낮추고 6배의 속도 향상을 달성했습니다.

기술적 세부사항

• 자연어 처리 방식: Playwright와 LLM을 통합하여 직관적인 자연어 명령(예: 'Click the "Login" button')을 실행합니다.
• 성능 병목 및 해결책: LLM 추론으로 인한 초당 1.1-1.6초의 처리 시간을 개선하기 위해, 빈번한 패턴을 미리 정의하여 LLM 의존도를 최소화하는 스테이지드 폴백 전략을 채택했습니다.
  • 2단계 처리 흐름: 첫 번째 단계에서 1ms 미만의 Assertion Pattern Matching을 시도하고, 실패 시에만 100-1000ms의 LLM 기반 일반 액션 처리를 수행합니다.
• Assertion 시스템 구현:
  • 203개의 패턴 매칭 규칙: 다양한 자연어 표현(일본어, 영어, 중국어)을 포괄하는 정규 표현식 패턴을 구현했습니다.
  • 지원 Assertion 유형: TEXT_EXISTS, TEXT_NOT_EXISTS, TEXT_EQUALS, TEXT_CONTAINS, ELEMENT_EXISTS, ELEMENT_VISIBLE, ELEMENT_ENABLED, URL_CONTAINS, TITLE_CONTAINS, INPUT_VALUE_EQUALS, CHECKBOX_CHECKED 등을 지원합니다.
  • 성공률 및 오류 처리: 100%의 테스트 성공률과 견고한 폴백 메커니즘을 갖추고 있습니다.
• 국제화 지원: 일본어, 영어, 중국어 등 다국어 환경을 지원합니다.

개발 임팩트

• 속도 향상: 평균 처리 시간을 300ms에서 50ms로 6배 단축하여 대규모 테스트 스위트 실행 시간을 획기적으로 줄였습니다.
• 사용 편의성 증대: 자연어 인터페이스를 통해 개발 및 QA 팀의 생산성을 높입니다.
• 확장성: 향후 500개 이상의 패턴 구현을 목표로, 커뮤니티 기반 패턴 데이터베이스 구축 및 동적 최적화를 계획하고 있습니다.

커뮤니티 반응

별도의 커뮤니티 반응은 언급되지 않았으나, 오픈 소스로 공개되어 개발자들의 참여와 기여를 기대하고 있습니다.