일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
Tags
- Windows
- 정규표현식
- docker
- Example DAG
- Kafka
- execution_date
- re
- HIVE
- LDAP
- hadoop
- Namenode
- Scala
- 빅데이터
- jupyter
- MapReduce
- NoSQL
- airflow
- HBase
- slack
- java
- Service
- yarn
- 람다 아키텍처
- ambari
- HDP
- python
- Lambda architecture
- slack app
- HDFS
- SlackWebhookOperator
Archives
- Today
- Total
목록ISR (1)
IT 삽질기

ISR(In-Sync-Replicas)이란? ISR은 kafka 리더 파티션과 팔로워 파티션이 모두 싱크가 된 상태를 말하는데, 리더 파티션과 팔로워 파티션에 대해 간단하게 알아보도록 하자. 리더 파티션과 팔로워 파티션 Kafka에서는 복제 계수라는 것이 존재하는데, 이는 Hadoop에서 사용하는 복제 계수와 비슷한 개념으로 데이터의 유실을 방지 하기 위해 사용되는 개념이다. 복제 계수가 2인 kafka topic은 리더 파티션 1개와 팔로워 파티션이 1개 생성이 되며, 데이터를 전달받았을 때 각각 아래의 역할을 수행한다. 리더 파티션 리더 파티션은 producer로부터 데이터를 전달받아 저장하는 작업을 진행 팔로워 파티션 복제 계수를 맞추기 위해 리더 파티션으로부터 데이터를 전달받아 동기화 그림을 통해..
BigData/Kafka
2021. 5. 29. 11:58