Benchi - 벤치마크 자동화 도구 요약
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
DevOps
대상자
소프트웨어 개발자, DevOps 엔지니어
핵심 요약
- 경량 벤치마킹 프레임워크로, Docker Compose를 통해 테스트 환경을 자동화 설정
- CSV 형식 메트릭 수집 및 trimmed mean 방식으로 상하위 5% 제거한 평균값 계산
- 사용자 정의 hook 기능으로
pre-infra
,post-test
등 단계별 커맨드 실행 가능
섹션별 세부 요약
- Docker 통합 기능
- 벤치마크 환경은 Docker Compose 파일로 정의
- 컨테이너 상태 모니터링 및 결과 수집 자동화
- CSV 메트릭 수집 방식
- 성능 지표는 CSV 파일로 저장
- trimmed mean 알고리즘을 사용해 이상치 제거 후 평균값 계산
- 사용자 정의 hook 설정
pre-infra
,post-test
등 단계별 커스텀 명령어 실행 가능- 테스트 전후 작업 자동화를 지원
- 실시간 상태 모니터링
- 벤치마크 중 컨테이너 상태 및 수집된 메트릭 실시간 확인 가능
결론
Benchi는 Docker Compose 기반의 경량 벤치마크 도구로, CSV 저장과 trimmed mean 기반의 메트릭 분석을 통해 성능 테스트를 효율화하며, 사용자 정의 hook을 통해 테스트 프로세스를 유연하게 확장할 수 있다.