일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Namenode
- MapReduce
- HBase
- HDFS
- hadoop
- Scala
- jupyter
- Kafka
- re
- Windows
- java
- Example DAG
- Service
- airflow
- Lambda architecture
- 정규표현식
- execution_date
- python
- slack app
- docker
- 빅데이터
- 람다 아키텍처
- LDAP
- yarn
- NoSQL
- ambari
- SlackWebhookOperator
- HIVE
- HDP
- slack
Archives
- Today
- Total
목록scale out (1)
IT 삽질기
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/AjCHW/btq6kGCgiL0/dwbyTS4gbZvV7kraxH9wC1/img.png)
kafka scale out Kafka scale out을 진행해보자. 공식 문서에 나와있는 cluster 확장에 대한 부분이다. http://kafka.apache.org/documentation/#basic_ops_cluster_expansion 서버를 추가하는 방법은 매우 간단하다. server.properties에서 설정을 변경하면 되는데 다른 설정 값은 기존 kafka 설정과 동일하게 진행하고 일반적으로 변경이 필요한 부분은 아래 2가지 설정이다. - broker.id - listeners broker.id는 kafka 클러스터 내부에서 유일한 값을 가져야 하기 때문에 기존에 사용하던 broker.id와 다른 값을 지정하고, listeners는 kafka broker가 토오신을 위해 열어둘 인터..
BigData/Kafka
2021. 6. 1. 23:24