BigData/Hadoop
HDP(Ambari) Node Groups
화이팅빌런
2021. 3. 22. 23:42
Hadoop클러스터를 구축할 때 Node별 성능이 다르거나 운영중 하드웨어에 문제가 발생하는 경우가 있다
클러스터 구축 시 서버를 Grouping하여 설정을 다르게 하는 방법과 운영중 disk fault가 발생했을 때 disk 교체가 어려운 경우 어떻게 대응할 수 있는지에 대해 포스팅 한다
Ambari에서는 Node를 group으로 나누고 설정을 적용할 수 있는 기능을 제공한다
먼저 Ambari에 접근해 HDFS - Configs - Manage Config Groups탭으로 들어가보자
아래의 창에서 Node를 Group로 나누어 설정할 수 있다
기본적으로 모든 Node들은 Default에 속해 있는데 아래의 + 버튼을 이용하여 그룹을 만든다
이후 새로 추가된 그룹에 설정 변경을 원하는 특정 노드들을 선택한 후 아래의 config 설정을 변경하면 group별로 다른 설정을 적용할 수 있게 된다
disk의 수가 다른 경우 DataNode에서 사용할 DataNode directories과 같이 disk관련 옵션을 설정하거나
메모리 관련 옵션들도 설정하여 Node별로 최적화하여 사용하는 것이 가능하다
이미지 및 내용 출처