IT 삽질기

HDP 3.1.4 환경에서 Hive 설정을 진행하던 중 아래와 같은 에러가 발생했다 UnicodeDecodeError 인코딩 관련 문제로 생각하여 python 파일에 한글 인코딩 관련 코드를 추가해 보았다 파일의 경로는 에러메세지에 명시된 파일을 우선으로 작업했다 /usr/hdp/3.1.4.0-315/hive/scripts/llap/yarn/package.py #-*-coding:utf8-*- 해당 코드를 추가하여 테스트를 진행한 결과는 달라진 것은 없었다 이후로 추가로 리서치를 진행했다 community.cloudera.com/t5/Support-Questions/Install-UnicodeDecodeError-ascii-codec-can-t-decode-byte/td-p/139342 동일하진 않지만 ..

Hadoop클러스터를 구축할 때 Node별 성능이 다르거나 운영중 하드웨어에 문제가 발생하는 경우가 있다 클러스터 구축 시 서버를 Grouping하여 설정을 다르게 하는 방법과 운영중 disk fault가 발생했을 때 disk 교체가 어려운 경우 어떻게 대응할 수 있는지에 대해 포스팅 한다 Ambari에서는 Node를 group으로 나누고 설정을 적용할 수 있는 기능을 제공한다 먼저 Ambari에 접근해 HDFS - Configs - Manage Config Groups탭으로 들어가보자 아래의 창에서 Node를 Group로 나누어 설정할 수 있다 기본적으로 모든 Node들은 Default에 속해 있는데 아래의 + 버튼을 이용하여 그룹을 만든다 이후 새로 추가된 그룹에 설정 변경을 원하는 특정 노드들을 선..

Ambari에서 HDFS 관련 컴포넌트(Namenode, JournalNode, ZookeeperFailOverController)을 재시작 하는 경우 이슈 발생 hadooplzo 관련 에러로그 확인 hadooplzo 관련 이슈로 보여 NN(NameNode)로 사용하는 두 노드 간의 패키지를 비교 NN1과 NN2에 존재하는 hadooplzo-native 관련 패키지의 버전이 다른 것으로 확인 해당 패키지 관련 이슈일 가능성이 있어 NN2에 hadooplzo-native를 설치하는 것으로 결정 NN2에 있는 lzo를 제거한 후 버전을 맞춰 재설치 진행 #NN2 remove yum remove hadoop-lzo-native #NN2 install yum install hadoop-lzo-native yum..

Ambari-Airflfow 연동하기 Ambari는 HDP(Hortonworks Data Platform)에서 제공하는 Hadoop 관리용 툴로 각종 Hadoop 서비스 설정과 시작, 중지 등 다양한 동작을 할 수 있는 관리 도구인데 Ambari에서는 Airflow 연동 기능을 제공하지 않는다 Airflow를 단독으로 구성하여 사용하는 방법도 있지만 여기서는 Ambari와 연동해서 사용하기 위해서는 어떻게 해야하는 지 알아보자 설치환경 OS : CentOS 7.7 HDP : 3.1.4 python : 3 mpack 설치 mpack를 이용해 Ambari에 Airflow를 연동할 수 있는데 아래의 github link에서 mpack를 다운받아 사용할 수 있다 github.com/miho120/ambari-a..

failed due to EOF occurred in violation of protocol (_ssl.c:579) Ambari 연결 중 node 하나에서 lost-heartbeat 현상 발생 log를 살펴보니 아래와 같은 문제가 발생 이를 해결하기 위해 찾아본 결과 https://community.hortonworks.com/content/supportkb/188002/ioerror-request-to-httpslocalhost8441agentv1regist.html "IOError: Request to https://localhost:8441/agent/v1/register/namenode.exterrocloud.info failed due to EOF occurred in violation comm..