CI/CD 파이프라인 설계: 스테이지, 잡, 병렬 실행으로 최적화하기
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
DevOps
대상자
- 대상자: 소프트웨어 개발자, DevOps 엔지니어
- 난이도: 중급~고급 (CI/CD 파이프라인 설계 및 최적화 기술 이해 필요)
핵심 요약
- 스테이지(
stages)는 Build, Test, Deploy 등 전체 파이프라인의 대규모 단계를 정의하며, 순차적 실행이 필수적이다. - 잡(
jobs)은 각 스테이지 내에서 실행되는 구체적 작업으로, 병렬 실행(parallel)을 통해 시간을 절약할 수 있다. - 병렬 실행을 통해 단위 테스트, 리인팅, 통합 테스트 등을 동시에 수행해 테스트 단계 시간 절반으로 단축 가능.
섹션별 세부 요약
1. 스테이지(`stages`)
- 정의: 파이프라인의 전체 흐름을 구성하는 대규모 단계 (예:
build,test,deploy). - 특징:
- 순차 실행이 필수적 (예:
build→test→deploy). - 너무 많은 스테이지는 병목 현상 발생 (예:
notify-slack,generate-docs등 비필수 스테이지 제거 권장).
2. 잡(`jobs`)
- 정의: 각 스테이지 내에서 수행되는 구체적 작업 (예:
npm test,npm run lint). - 구현 예시:
```yaml
jobs:
unit-tests:
stage: test
script: npm test
lint:
stage: test
script: npm run lint
```
3. 병렬 실행(`parallel`)
- 목적: 동일한 스테이지 내에서 여러 잡을 동시에 실행해 시간 절약.
- 예시:
```yaml
test:
stage: test
parallel:
- job: unit
script: npm test
- job: lint
script: npm run lint
```
- 효과: 테스트 단계 시간을 50% 절감 가능.
4. 파이프라인 예시 (Node.js 앱)
- 구조:
```yaml
stages:
- build
- test
- deploy
build:
stage: build
script:
- npm install
- npm run build
artifacts:
paths:
- dist/
test:
stage: test
parallel:
- job: unit
script: npm test
- job: lint
script: npm run lint
deploy:
stage: deploy
script:
- npm run deploy-staging
rules:
- if: $CI_COMMIT_BRANCH == "main"
script: npm run deploy-prod
```
- 핵심 기능:
- 아티팩트(artifacts)로
dist/폴더 공유. - 조건부 배포:
main브랜치에서만 프로덕션 배포.
5. 일반적인 실수 및 해결 방법
- 모든 작업을 하나의 잡에 묶는 것:
- ❌
test,lint,build를 하나의 잡에 묶음. - ✅ 분할해 병렬 실행.
- 복잡한 스테이지 추가:
- ❌
notify-slack,generate-docs등 비필수 스테이지 추가. - ✅ 백그라운드 잡 또는 포스트 배포 훅 사용.
- 캐싱 무시:
- ❌ 매번
node_modules/재다운로드. - ✅ 캐싱(
cache: node_modules/) 적용.
6. 고급 기능: 매트릭스 잡(`matrix jobs`)
- 목적: 다양한 환경 (OS, 버전)에서 동시에 테스트.
- 예시:
```yaml
strategy:
matrix:
node-version: [14, 16, 18]
```
7. 실패 처리 및 모니터링
- Fail Fast: 첫 번째 실패 잡에서 파이프라인 중단 (필요 시 정리 작업 제외).
- 모니터링: CI/CD Analytics (예: GitLab)로 느린 잡 식별 및 최적화.
결론
- 병렬 잡과 캐싱, 매트릭스 잡 활용으로 파이프라인 시간 50% 이상 단축 가능.
- 조건부 배포 및 실패 시 즉시 중단 전략으로 안정성 향상.
- 모니터링 도구로 지속적인 최적화 수행.
- 핵심 팁: 병렬 처리 가능한 스테이지 식별 → 작업 분할 → 실험적 적용 후 성능 측정.