HDP(Ambari) Node Groups

Hadoop클러스터를 구축할 때 Node별 성능이 다르거나 운영중 하드웨어에 문제가 발생하는 경우가 있다

클러스터 구축 시 서버를 Grouping하여 설정을 다르게 하는 방법과 운영중 disk fault가 발생했을 때 disk 교체가 어려운 경우 어떻게 대응할 수 있는지에 대해 포스팅 한다

 

Ambari에서는 Node를 group으로 나누고 설정을 적용할 수 있는 기능을 제공한다

먼저 Ambari에 접근해 HDFS - Configs - Manage Config Groups탭으로 들어가보자

아래의 창에서 Node를 Group로 나누어 설정할 수 있다

기본적으로 모든 Node들은 Default에 속해 있는데 아래의 + 버튼을 이용하여 그룹을 만든다

이후 새로 추가된 그룹에 설정 변경을 원하는 특정 노드들을 선택한 후 아래의 config 설정을 변경하면 group별로 다른 설정을 적용할 수 있게 된다

disk의 수가 다른 경우 DataNode에서 사용할 DataNode directories과 같이 disk관련 옵션을 설정하거나

메모리 관련 옵션들도 설정하여 Node별로 최적화하여 사용하는 것이 가능하다

 

이미지 및 내용 출처

docs.cloudera.com/HDPDocuments/Ambari-2.6.1.3/bk_ambari-operations/content/using_host_config_groups.html