JH-Labs

Broker의 설정 파일(server.properties)에 log.dirs 파라미터를 통해 Segment File이 생성되는 위치를 조정할 수 있다. (콤마를 통해 여러 디렉토리 설정 가능) 만약 topic1이라는 이름의 Topic과 Partition 0번이 있다고 가정하면, log.dirs에 명시된 위치 중 하나가 결정되고 그 하위 디렉토리에 "Topic명-Partition번호"(topic1-0) 형태의 하위 디렉토리가 생성되며 해당 디렉토리에 Segement File이 기록된다. Log File들의 확장자와 파일명에는 의미가 있다. 예를들어 위와 같이 00000000000000000217.* 이라는 파일명이 있으면 해당 파일은 00000000000000000217 offset부터 기록하고 있는 S..

Broker와 Zookeeper Kafka의 주요 구성 요소중 Broker, Zookeeper는 카프카 클러스터를 구성하는 것들이다. Apache Zookeeper는 카프카 클러스터 윗 단에서 역할을 하고 Broker는 카프카 클러스터 내에서 역할을 한다. 1. Broker(Kafka Server) 카프카의 Broker는 Topic과 Partition을 유지 및 관리한다. 즉, Topic과 Partition에 데이터가 Read 및 Write 되도록 관리하는 소프트웨어이다. 카프카 서버라고도 부르며 Topic 내 partition들을 분산(배치)하고 유지 및 관리한다. - 각 Broker들은 숫자로 구성된 ID로 구분되며 카프카 클러스터는 여러 개의 Broker로 구성된다. - Topic 데이터의 일부분(..