hadoop3 kafka kafka-reassign-partitions.sh를 사용한 파티션 재할당 kafka-reassign-partitions는 아래와 같은 경우 사용된다. 브로커 간의 리더 불균형을 제어 한 브로커에서 다른 브로커로 파티션을 재할당하여 기존 클러스터를 확장 동일한 브로커의 로그 디렉토리 간에 파티션을 재할당하여 브로커에서 사용 가능한 디스크 간의 스토리지 로드 불균형을 해결 여러 브로커의 로그 디렉토리 간에 파티션을 재할당해 여러 브로커에서 스토리지 로드 불균형을 해결 test topic의 partition은 아래와 같이 분산되어 있다. # server01 [root@server01 ~]# ll -d /kafka/kafka-logs/t* drwxr-xr-x. 2 root root 204 Aug 23 07:12 /kafka/kafka-logs/test-2 [root@server01 .. 2022. 9. 13. apache kafka_2.13-2.8.0 설치 1. host file 작성 (모든 노드에 배포) 172.30.1.101 kafka1.io 172.30.1.102 kafka2.io 172.30.1.103 kafka3.io 2. 키 교환 ssh-keygen ssh-copy-id 172.30.1.101 ssh-copy-id 172.30.1.102 ssh-copy-id 172.30.1.103 3. jdk 설치 for i in {1..3} ; do ssh 172.30.1.10${i} "yum -y install java-1.8.0-openjdk.x86_64" ; done 4. zookeeper binary 파일 다운로드 및 압축해제 [root@kafka1 ~]# for i in {1..3} ; do ssh 172.30.1.10${i} "mkdir /zooke.. 2022. 5. 3. atlas 로그인 authentication error 2022. 4. 27. 이전 1 다음 반응형
