일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- execution_date
- SlackWebhookOperator
- yarn
- HDFS
- MapReduce
- slack app
- HDP
- Service
- docker
- NoSQL
- HBase
- Example DAG
- 빅데이터
- ambari
- HIVE
- Kafka
- Lambda architecture
- LDAP
- 정규표현식
- slack
- airflow
- java
- python
- jupyter
- Scala
- 람다 아키텍처
- re
- Windows
- Namenode
- hadoop
Archives
- Today
- Total
목록compaction (1)
IT 삽질기
HBase Compaction
HBase Compaction에 대해서 알아보도록 하자. Compaction에 대해 알기 전에 HBase에서 데이터를 저장하기 위한 과정에 대해 먼저 알아야 하는데, 아래의 글을 참고하도록 하자. 2021.05.15 - [BigData/HBase] - HBase 데이터 쓰기/읽기 과정 위의 글에서 HBase에 데이터를 쓸 때, Memstore에 저장되어 있는 데이터를 HFile 형식으로 저장한다고 설명되어 있는데, Compaction은 이렇게 생성된 HFile의 수를 줄여 읽기 성능을 향상시키는데 목적을 둔다. Compaction은 Major, Minor Compaction으로 구분되는데 하나씩 알아보도록 하자. major Compaction HBase에서는 데이터를 삭제하더라도 실제로 바로 삭제가 되지..
BigData/HBase
2021. 6. 23. 23:09