일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 빅데이터
- slack app
- re
- MapReduce
- docker
- Kafka
- Example DAG
- yarn
- execution_date
- Service
- LDAP
- Windows
- HDP
- hadoop
- HIVE
- 람다 아키텍처
- NoSQL
- Namenode
- SlackWebhookOperator
- jupyter
- ambari
- Scala
- Lambda architecture
- airflow
- HBase
- 정규표현식
- slack
- HDFS
- java
- python
Archives
- Today
- Total
목록managed table (1)
IT 삽질기
Hive managed table과 external table
이번 글에서는 hive의 managed table와 external table에 대해 알아보도록 하자. hive에서는 hive에서 생애주기를 관리하는 managed table과 그렇지 않은 external table를 생성해서 사용할 수 있다. 각각 어떻게 무엇인지 알아보도록 하자. Managed table 먼저 Managed table는 hdfs상 hive.metastore.warehouse.dir 경로에 존재하며 해당 디렉터리 하위에 테이블의 데이터가 저장되게 된다. 예를 들어 hive.metastore.warehouse.dir의 설정값이 /apps/hive/managed로 설정되어 있다면 managed table의 경로는 /apps/hive/managed의 하위가 되고, 일반적인 방법으로 테이블을 ..
BigData/Hadoop
2021. 8. 2. 23:57