일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- HIVE
- MapReduce
- 람다 아키텍처
- Scala
- hadoop
- java
- HDP
- airflow
- docker
- HDFS
- NoSQL
- 정규표현식
- Windows
- Example DAG
- 빅데이터
- execution_date
- slack app
- re
- Kafka
- Service
- slack
- Lambda architecture
- LDAP
- yarn
- jupyter
- ambari
- Namenode
- python
- SlackWebhookOperator
- HBase
Archives
- Today
- Total
목록멱등성 (1)
IT 삽질기
Kafka 멱등성 producer
이번 글에서는 kafka에서 멱등성을 적용한 producer를 사용하기 위해서 어떻게 해야 하는지 알아보도록 하자. 멱등성이란? 멱등성이란 여러 번 연산을 수행하더라도 동일한 결과를 나타내는 것 https://ko.wikipedia.org/wiki/%EB%A9%B1%EB%93%B1%EB%B2%95%EC%B9%99 멱등성 producer 멱등성 producer는 동일한 데이터를 여러번 전송해도 단 한 번만 저장되는 것을 의미한다. 이렇게 멱등성 producer를 적용하게 되면 동일한 데이터를 중복 처리하는 것을 방지할 수 있는데 그 방식에 대해서 알아보도록 하자. 멱등성 적용하기 멱등성 producer를 사용하기 위해서는 enable.idempotence의 옵션 값을 true로 설정하면 되는데, 해당 옵션..
BigData/Kafka
2021. 7. 11. 23:50