Apache Kafka란 무엇인가?

카테고리

프로그래밍/소프트웨어 개발

웹 개발

- 초보 개발자 및 중급 개발자

- 이벤트 기반 아키텍처에 관심 있는 사람들

- 분산 시스템을 구축하는 개발자

- 데이터 흐름을 실시간으로 처리해야 하는 시스템 개발자

Apache Kafka는 메시지 스트리밍 플랫폼으로, 실시간 데이터 처리 및 분산 시스템 간의 통신을 지원한다.
Kafka의 핵심 구성 요소는 Producer, Consumer, Topic, Partition, Broker이다.
Kafka는 고가용성, 확장성, 높은 처리 성능을 특징으로 하며, 고객 주문, 로그인, 결제 등 다양한 시스템에서 사용된다.

- Kafka는 메시지 스트리밍 플랫폼이며, 실시간 데이터 전송을 지원한다.

- 예시: WhatsApp과 유사하지만, 더 빠르고 강력한 메시지 처리가 가능하다.

- Kafka는 데이터를 저장하며, 7일, 30일, 또는 영구히 보관할 수 있다.

- Producer는 메시지를 생성하고 Kafka에 전송하는 시스템이다.

- 예시: e-commerce 사이트에서 주문 정보를 생성하는 시스템이 Producer이다.

- Consumer는 Kafka에서 메시지를 읽고 처리하는 시스템이다.

- 예시: 재고 시스템, 결제 시스템, 배송 시스템이 Consumer이다.

- Topic은 Kafka의 채널이며, 특정 유형의 메시지를 저장한다.

- 예시: "user-orders", "user-logins", "payment-notifications" 등.

- Partition은 Topic을 여러 개의 서브 채널로 나누는 방식이다.

- 예시: "user-orders" Topic은 Partition 0, Partition 1, Partition 2로 나뉜다.

- Broker는 Kafka의 서버이며, 메시지 전송 및 저장을 관리한다.

- 여러 Broker가 함께 운영되어 고가용성을 보장한다.

- 예시: 도하의 여러 버스 터미널처럼 운영된다.

- Facebook에서 좋아요를 눌렀을 때, 친구의 피드, 알림, 검색 인덱스 등에 데이터 전송.

- Daraz에서 주문을 했을 때, SMS, 이메일, 재고 업데이트 등 여러 시스템에 데이터 전송.

- Bkash에서 송금 시, 수신자의 알림, 잔액 업데이트 등에 데이터 전송.

- PUBG에서 죽었을 때, 스코어 업데이트, 친구 알림 등에 데이터 전송.

- 프로그래밍 언어: Java, Python, JavaScript 등이 필요하다.

- 기초 네트워크 지식: TCP/IP에 대한 이해가 필요하다.

- Linux 명령어: 서버에서 작업하기 위해 기본 지식이 필요하다.

- JSON: 데이터 형식으로 JSON을 사용한다.

- 높은 처리 성능: 초당 수십만 개의 메시지를 처리할 수 있다.

- 고가용성, 확장성: 트래픽 증가 시 Broker 및 Partition을 추가하여 확장 가능하다.

- 대규모 기업 사용 사례: Netflix, Uber, LinkedIn 등이 Kafka를 사용한다.

- Kafka는 분산 시스템 간의 실시간 데이터 흐름을 효과적으로 관리하는 데 유리하다.

- Producer, Consumer, Topic, Partition, Broker 등의 개념을 이해하고, JSON, Linux, TCP/IP, 프로그래밍 언어 등의 기술을 배우면 Kafka를 잘 활용할 수 있다.

- Kafka는 현대 소프트웨어 개발에서 중요한 기술이며, 실무에서 활용 가능성이 매우 높다.