AWS SQS와 Python을 활용한 실시간 의료 데이터 모니터링 시스템 기초 구축 (VitalWatch Phase 1)

핵심 기술

AWS SQS FIFO 큐와 Python을 활용하여 MIMIC-IV 데이터셋의 생체 신호를 실시간으로 스트리밍하는 의료 데이터 모니터링 시스템의 기초를 구축하는 과정을 다룹니다. 이 시스템은 향후 이상 징후 감지 및 알림 기능으로 확장될 예정입니다.

기술적 세부사항

• 프로젝트 개요: "VitalWatch" 프로젝트의 Phase 1으로, ICU 환자 데이터를 실시간으로 처리하여 이상 징후를 감지하고 알림을 보내는 것을 목표로 합니다.
• 데이터 소스: MIMIC-IV 데이터셋 (실제 학습 시에는 데모 데이터셋 사용)
• 핵심 메시징 서비스: AWS SQS (Simple Queue Service)
  • SQS FIFO vs Standard: 의료 데이터의 순서 중요성을 강조하며 FIFO 큐 사용. FifoQueue=true, ContentBasedDeduplication=true 속성 활용.
  • SQS 장점: 신뢰성, 지속성, 디커플링, 자동 스케일링, 관리 용이성.
• Python 프로젝트 구조: pyproject.toml을 사용한 현대적인 Python 프로젝트 구성 (pip install -e .을 통한 개발 환경 구축).
  • vitalwatch/ 디렉토리 내 producer.py 스크립트.
• 데이터 스트리밍 로직:
  • gzip 압축 해제 및 csv.DictReader를 이용한 MIMIC-IV icustays.csv 파일 처리.
  • yield 키워드를 사용한 메모리 효율적인 제너레이터 구현.
  • boto3 SDK를 사용하여 SQS에 메시지 전송 (send_message).
  • MessageGroupId 및 MessageDeduplicationId 설정.
• AWS CLI 활용: SQS 큐 생성(aws sqs create-queue), 큐 URL 조회(aws sqs get-queue-url), 메시지 수신(aws sqs receive-message).
• 필요 라이브러리: boto3, pandas, python-dateutil.
• 리소스 관리: cleanup.sh 스크립트를 통한 SQS 큐 삭제.
• 스루풋 제어: ROWS_PER_SEC 환경 변수를 이용한 메시지 전송 속도 조절 (AWS 프리 티어 초과 방지).

개발 임팩트

• 실시간 데이터 수집 및 전송 파이프라인의 기초를 마련하여 Phase 2 (Spark를 이용한 데이터 처리 및 이상 징후 감지)로의 확장을 가능하게 합니다.
• AWS SQS의 신뢰성과 확장성을 활용하여 안정적인 데이터 처리 시스템을 구축할 수 있습니다.
• Python의 현대적인 개발 방식과 제너레이터를 활용하여 효율적인 데이터 처리 방법을 학습할 수 있습니다.

커뮤니티 반응

톤앤매너

본 콘텐츠는 IT 개발 기술 및 프로그래밍 실무에 초점을 맞춰 전문적이고 상세한 기술 분석을 제공합니다.