Kafka 보관 주기 설정하기

Kafka 보관 주기 설정

오늘은 Kafka 보관 주기를 설정하는 방법에 대해서 알아보자.

Kafka에서 데이터를 삭제하지 않으면, 지난 데이터를 다시 가지고 올 수 있지만 그에 따라 디스크 사용량과 카프카 운영 비용 역시 증가하기 때문에 적절하게 설정해주는 것이 좋다.

 

Kafka 보관 주기를 설정하기 위해서는 kafka/config/server.properties에서 설정 내용을 변경하면 된다.

먼저 기본 설정값을 파일과 공식 문서에서 확인해보도록 하자.

설정 파일에 지정되어 있는 값은 위와 같으며, 공식문서를 통해 하나씩 살펴보도록 하자.

 

log.retention.hours

로그 파일을 삭제하기 전 보관하는 보관 주기를 설정하는 옵션으로 기본값으로 168(7일)로 지정되어 있다.

hours 단위로 지정하는 것이 아닌 분단위 minutes, 밀리초단위 ms 설정도 지원

일반적으로는 3일 정도로 설정하여 사용한다고 한다.

log.retention.bytes

로그 파일을 삭제하기 전 최대 크기로 기본값을 설정되어 있지 않음

log.segment.bytes

단일 로그 파일의 최대 크기

log.retention.check.interval.ms

로그를 삭제하기 위해 check 간격으로 ms단위이며, 위에 설정된 값을 기준으로 로그를 지울지 말지 판단한다.