일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- execution_date
- Kafka
- yarn
- Windows
- Scala
- Lambda architecture
- slack
- airflow
- Example DAG
- java
- ambari
- re
- 빅데이터
- python
- docker
- HDP
- HIVE
- MapReduce
- NoSQL
- HBase
- SlackWebhookOperator
- hadoop
- LDAP
- Namenode
- 정규표현식
- slack app
- Service
- jupyter
- HDFS
- 람다 아키텍처
Archives
- Today
- Total
목록Producer (1)
IT 삽질기
Kafka 멱등성 producer
이번 글에서는 kafka에서 멱등성을 적용한 producer를 사용하기 위해서 어떻게 해야 하는지 알아보도록 하자. 멱등성이란? 멱등성이란 여러 번 연산을 수행하더라도 동일한 결과를 나타내는 것 https://ko.wikipedia.org/wiki/%EB%A9%B1%EB%93%B1%EB%B2%95%EC%B9%99 멱등성 producer 멱등성 producer는 동일한 데이터를 여러번 전송해도 단 한 번만 저장되는 것을 의미한다. 이렇게 멱등성 producer를 적용하게 되면 동일한 데이터를 중복 처리하는 것을 방지할 수 있는데 그 방식에 대해서 알아보도록 하자. 멱등성 적용하기 멱등성 producer를 사용하기 위해서는 enable.idempotence의 옵션 값을 true로 설정하면 되는데, 해당 옵션..
BigData/Kafka
2021. 7. 11. 23:50