AWS Lambda 실시간 로그 스트리밍: CloudWatch 없이 Kinesis 및 WebSocket 활용 가이드

핵심 기술

이 가이드는 AWS Lambda의 기존 CloudWatch 로깅 방식에서 발생하는 비용 및 성능 제약을 해결하기 위해 Kinesis Firehose, Lambda Destinations, 그리고 WebSocket 서버를 활용하여 실시간 로그를 브라우저 UI로 스트리밍하는 방법을 제시합니다.

기술적 세부사항

• 문제점: CloudWatch Logs의 느린 속도, 제한, 높은 비용, 특히 웹 대시보드나 개발 도구에서 실시간 Lambda 출력을 원할 때의 비효율성.
• 해결 아키텍처: Kinesis Firehose → Lambda Destinations → WebSocket Server → Browser UI
• Kinesis Firehose 설정: lambda-logs-firehose라는 이름으로 Direct PUT 방식으로 Delivery Stream 생성. 목적지는 S3 또는 개발/테스트를 위해 Discard records로 설정 가능.
• Lambda 로깅 개선: console.log 대신 AWS SDK를 사용하여 로그 데이터를 Firehose로 전송. FirehoseClient와 PutRecordCommand를 사용하며, 로그 데이터는 JSON 문자열화 후 개행 문자를 추가하여 버퍼로 변환.
• WebSocket 서버 구축: Node.js의 ws 라이브러리를 사용하여 간단한 WebSocket 서버를 생성. 클라이언트 연결을 관리하고, 수신된 로그 데이터를 연결된 모든 클라이언트에게 브로드캐스트.
• Firehose → WebSocket Lambda: Firehose의 Lambda Destination 트리거를 사용하여 Firehose의 로그 데이터를 수신하는 Lambda 함수를 구성. 이 Lambda는 Base64로 인코딩된 레코드를 디코딩하여 WebSocket 서버로 전송.
• 브라우저 UI: 간단한 JavaScript 코드를 사용하여 WebSocket 서버에 연결하고, 수신된 로그 데이터를 파싱하여 DOM에 표시.

개발 임팩트

• 비용 효율성: CloudWatch Logs의 과도한 비용 발생을 줄일 수 있습니다.
• 실시간 가시성: Lambda 함수의 실행 로그를 실시간으로 웹 인터페이스에서 확인할 수 있어 디버깅 및 모니터링 효율성이 극대화됩니다.
• 유연한 로깅 파이프라인: Lambda Destinations와 Kinesis를 활용하여 다양한 목적지로 로그를 라우팅하는 확장 가능한 로깅 시스템 구축이 가능합니다.

커뮤니티 반응

(본문에서 직접적인 커뮤니티 반응은 언급되지 않았습니다. 하지만 이러한 방식은 서버리스 환경에서 실시간 로깅 및 모니터링 문제를 해결하는 일반적인 패턴으로, 개발자 커뮤니티에서 활발히 논의되고 채택되는 기술입니다.)