대용량 데이터 처리 및 저장: 배치, 스트리밍, DB, 샤딩, 캐싱, 파티셔닝, 인덱싱, 큐, 아카이빙 전략

핵심 기술

본 문서는 대용량 데이터를 효율적으로 처리하고 저장하기 위한 다양한 기술적 접근 방식을 소개합니다. 핵심은 데이터의 특성과 요구사항에 맞춰 배치 처리, 스트리밍 처리, 다양한 데이터베이스 활용, 그리고 서버 및 데이터 분산 기법을 최적의 조합으로 선택하는 것입니다.

기술적 세부사항

• 데이터 처리 방식:
  • 배치 처리: 데이터를 모아서 한 번에 처리하며, 정확성과 안정성을 중시할 때 사용합니다. 높은 처리량, 결과 도출 시간 소요, 비용/자원 효율성, 높은 신뢰도가 특징입니다. (예: 일일/월간 정산, 통계)
  • 스트리밍 처리: 데이터가 들어오는 즉시 실시간으로 처리하며, 빠른 응답이 가능합니다. 데이터 양의 한계, 지속적인 부하, 낮은 신뢰도(이벤트 순서/중복 처리 이슈)가 특징입니다.
• 대용량 데이터 저장 DB 후보:
  • RDB: 데이터 무결성 및 트랜잭션 보장, 정형 데이터 저장에 유리합니다.
  • NoSQL: 스키마리스, 수평 확장에 유리하며, 로그, IoT, 실시간 서비스 데이터 저장에 적합합니다.
  • Data Warehouse: 분석에 최적화, SQL 기반 빠른 분석, 대규모 병렬 처리(열 단위 저장)에 유용합니다. (예: Amazon RedShift, Google BigQuery)
  • Data Lake: 형태가 다른 대용량 데이터를 원본 그대로 저장, 미정제 데이터 저장에 유리합니다. (예: Hadoop, Amazon S3)
  • Object Storage: 파일 단위 저장, URL 접근, 클라우드 기반 기본 파일 저장소로 사용됩니다. (예: AWS S3, Google Cloud Storage)
• 서버 분산 기법:
  • 샤딩: 대용량 데이터를 여러 서버에 분산 저장하는 방식 (범위, ID 등 기준).
  • 로드 밸런싱: 트래픽 분산을 통해 여러 서버로 요청을 분산.
• 성능 최적화 기법:
  • 캐싱: 자주 사용하는 데이터를 미리 저장하여 빠르게 접근.
  • 파티셔닝: 하나의 큰 데이터를 작은 조각으로 나누어 저장 (Range, Hash, List).
  • 인덱싱: 데이터 위치를 미리 정리하여 검색 속도 향상.
• 비동기 처리 및 데이터 관리:
  • 큐(Queue): 오래 걸리는 작업을 뒤에서 따로 처리 (예: 이메일 발송, 로그 저장).
  • 아카이빙/티어링: 오래되거나 사용 빈도가 낮은 데이터를 압축하거나 별도 저장소로 이동하여 DB 공간 절약.