Apache Kafka

2024년 11월 04일 golgol [Dev] Open API 0

Apache Kafka는 오픈 소스 분산 이벤트 스트리밍 플랫폼으로, 실시간 데이터 스트리밍을 위한 메시지 큐 시스템입니다. Kafka는 주로 대용량의 데이터를 빠르게 처리하고, 실시간으로 데이터를 수집, 처리 및 분석하는 데 사용됩니다. LinkedIn에서 개발되었으며, 현재는 Apache Software Foundation에 의해 관리되고 있습니다.

Kafka의 주요 기능과 개념은 다음과 같습니다:

  1. 프로듀서와 컨슈머 (Producer and Consumer):
    • 데이터 생산자(Producer)가 메시지를 Kafka에 전송하면, 소비자(Consumer)가 이 메시지를 구독하여 데이터를 가져갑니다.
  2. 토픽 (Topic):
    • 메시지가 저장되는 카테고리 또는 스트림입니다. 각 토픽은 특정 데이터를 보유하며, 여러 파티션으로 나누어져 병렬 처리를 가능하게 합니다.
  3. 파티션 (Partition):
    • 토픽은 여러 파티션으로 분할되며, 각 파티션은 메시지를 순서대로 유지합니다. 이로 인해 확장성과 고가용성을 확보할 수 있습니다.
  4. 브로커 (Broker):
    • Kafka 클러스터를 구성하는 서버들로, 데이터를 저장하고 관리하는 역할을 합니다.
  5. 스트리밍 처리 (Stream Processing):
    • Kafka는 실시간 데이터 처리 시스템과 통합되어 데이터를 수집, 처리 및 전달하는 데 유용합니다.

Kafka는 대규모 시스템에서 높은 처리량과 낮은 지연 시간으로 데이터 스트리밍을 처리하는 데 탁월하며, 금융, IoT, 로그 처리, 실시간 분석 등 다양한 분야에서 널리 사용됩니다.

Apache Kafka를 운영하기 위한 서버는 주로 다음과 같은 요소를 고려하여 구성됩니다. Kafka의 요구사항은 사용하려는 데이터의 볼륨, 메시지 처리량, 저장 용량, 그리고 가용성 요구사항에 따라 달라집니다.

1. 하드웨어 사양

  • CPU: 고성능 멀티코어 프로세서가 유리합니다. Kafka는 병렬 처리가 많기 때문에 일반적으로 코어 수가 많은 CPU를 사용하는 것이 좋습니다. 8코어 이상의 CPU를 권장합니다.
  • 메모리 (RAM): 일반적으로 32GB 이상의 메모리가 추천되지만, 메시지 볼륨이 매우 높다면 더 많은 메모리를 사용하는 것이 좋습니다. Kafka는 메시지 전송을 위해 메모리를 많이 사용하기 때문에, 충분한 메모리를 확보하면 성능에 도움이 됩니다.
  • 스토리지 (Disk): 고성능 SSD를 사용하는 것이 좋습니다. 디스크 I/O가 매우 중요한데, Kafka는 데이터 저장과 메시지 처리에 있어서 디스크 사용량이 많습니다. 따라서 높은 입출력 속도를 제공하는 SSD를 권장하며, 가능한 경우 RAID 구성을 고려할 수 있습니다. 또한, 디스크 용량은 저장하고자 하는 데이터 양에 따라 결정됩니다.
  • 네트워크: 최소 10Gbps의 네트워크 속도가 권장됩니다. 네트워크 대역폭이 넓을수록 데이터 전송 속도가 빨라지므로, 클러스터 내 통신이 원활해집니다.

2. 서버 구성

  • 클러스터 구성: Kafka는 여러 대의 서버로 구성된 클러스터 형태로 운영됩니다. 최소한 3대의 브로커(Broker) 노드를 두는 것이 일반적이며, 이는 가용성과 데이터 복제를 위해 필요합니다. 브로커가 많을수록 부하 분산이 잘 되고 장애 복구가 용이합니다.
  • ZooKeeper 서버: Kafka는 ZooKeeper를 통해 클러스터 상태를 관리하므로 별도의 ZooKeeper 서버가 필요합니다. 보통 3~5대의 ZooKeeper 서버를 구성하여 가용성을 높입니다.

3. 운영 환경

  • 운영체제: 대부분 Linux 환경에서 Kafka를 운영하며, Ubuntu나 CentOS가 널리 사용됩니다.
  • 자바 (Java): Kafka는 Java로 작성되어 있으므로 최신 Java JDK를 설치해야 합니다. 일반적으로 OpenJDK를 사용하며, Kafka가 지원하는 Java 버전을 확인한 후 설치해야 합니다.
  • 모니터링 도구: Kafka 클러스터의 상태를 모니터링하기 위해 Prometheus, Grafana와 같은 모니터링 툴을 함께 사용하는 것이 좋습니다.

4. 확장성 고려

  • Kafka는 파티션과 복제본을 통해 확장성을 높일 수 있으므로, 초기에는 요구사항에 맞는 최소 사양의 클러스터를 구성한 후, 필요에 따라 브로커와 ZooKeeper 노드를 추가하여 확장할 수 있습니다.

Kafka의 성능은 하드웨어와 클러스터 구성이 중요하기 때문에, 위 사양을 기반으로 예산과 데이터 요구량을 고려해 서버를 구성하면 좋습니다.