일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- re
- Namenode
- yarn
- 람다 아키텍처
- HDP
- Scala
- python
- SlackWebhookOperator
- slack
- airflow
- execution_date
- 정규표현식
- MapReduce
- jupyter
- Windows
- slack app
- Kafka
- 빅데이터
- ambari
- HIVE
- docker
- Example DAG
- HDFS
- java
- NoSQL
- LDAP
- HBase
- hadoop
- Lambda architecture
- Service
Archives
- Today
- Total
목록reassign (1)
IT 삽질기
Kafka-manager을 이용한 Partition reassign
Kafka Scale out 지난 글에서 Kafka Scale out 작업을 진행했다. 2021.06.01 - [BigData/Kafka] - Kafka scale out 마지막 부분에 언급한 것처럼 scale out을 진행했다고 해서 기존에 사용하고 있던 partition들의 데이터가 새로운 broker로 전달되지 않고, 새로운 topic의 데이터들만 전달되기 때문에 기존 topic의 데이터를 옮기기 위해서는 Patition reassign작업이 필요하다. Partition reassign을 하는 방법은 broker에서 제공하는 명령어를 이용하는 방식과 kafka-manager을 이용하는 방식이 있는데 여기서는 kafka-manager을 이용한 방법을 먼저 설명한다. Partition reassign ..
BigData/Kafka
2021. 6. 5. 12:00