IT 삽질기

Hadoop클러스터를 구축할 때 Node별 성능이 다르거나 운영중 하드웨어에 문제가 발생하는 경우가 있다 클러스터 구축 시 서버를 Grouping하여 설정을 다르게 하는 방법과 운영중 disk fault가 발생했을 때 disk 교체가 어려운 경우 어떻게 대응할 수 있는지에 대해 포스팅 한다 Ambari에서는 Node를 group으로 나누고 설정을 적용할 수 있는 기능을 제공한다 먼저 Ambari에 접근해 HDFS - Configs - Manage Config Groups탭으로 들어가보자 아래의 창에서 Node를 Group로 나누어 설정할 수 있다 기본적으로 모든 Node들은 Default에 속해 있는데 아래의 + 버튼을 이용하여 그룹을 만든다 이후 새로 추가된 그룹에 설정 변경을 원하는 특정 노드들을 선..

2018년 10월 cloudera와 hortonworks가 합병을 진행했다. www.ciokorea.com/news/39756 cloudera는 CDH를 유료로 공개하여 사용자들이 사용료를 내고 사용하는 형태였고 hortonworks의 HDP는 오픈소스로 무료로 사용할 수 있는 Hadoop패키지였다. 두 회사가 합병을 진행한 이후 cloudera는 HDP 3.1.5까지만 공개하고 이후 버전은 나오지 않고 있다 기존 Legacy에 대한 지원은 계속되는 것으로 알고 있었지만 kr.cloudera.com/downloads/paywall-expansion.html 위의 공지처럼 21년 1월 31일부터 HDP Repo에 대해 접근시 유료 서브스크립션이 필요하도록 변경 HDP Repo를 사용하여 새로운 클러스터를 ..

Ambari에서 HDFS 관련 컴포넌트(Namenode, JournalNode, ZookeeperFailOverController)을 재시작 하는 경우 이슈 발생 hadooplzo 관련 에러로그 확인 hadooplzo 관련 이슈로 보여 NN(NameNode)로 사용하는 두 노드 간의 패키지를 비교 NN1과 NN2에 존재하는 hadooplzo-native 관련 패키지의 버전이 다른 것으로 확인 해당 패키지 관련 이슈일 가능성이 있어 NN2에 hadooplzo-native를 설치하는 것으로 결정 NN2에 있는 lzo를 제거한 후 버전을 맞춰 재설치 진행 #NN2 remove yum remove hadoop-lzo-native #NN2 install yum install hadoop-lzo-native yum..