HBase Thrift Server SocketTimeOut

장애 발생 log확인

Python HappyBase를 이용해 HBase Thrift에 접근

SocketTimeoutException이 발생

 

thrift server log도 확인

동일하게 SocketTimeoutException이 발생

리서치 진행

HBase 옵션 리서치 진행

아래의 2가지 옵션이 해당 설정과 관련이 있는 것으로 판단

 

 

설정 변경

에러 메세지상 Scanner 관련 내용이 포함되어 있어 hbase.client.scanner.timeout.period 설정값을 변경하는 것으로 결정

설정 변경 값은 HDP 권장 값을 적용하여 300000으로 설정

https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.3.4/bk_installing_manually_book/content/best-practices-timeouts-phoenix.html

 

HDP를 사용하여 ambari에서 설정을 변경하는 경우 HBase RegionServer rolling restart를 통해 설정 적용이 가능하며 thrift server은 추가로 재시작 작업을 진행

모니터링 진행

hbase thrift server log를 이용해 모니터링 진행

이후 동일한 에러 메시지는 보이지 않음

정리

HBase thrift Server에서 SocketTimeoutException이 발생하는 경우

hbase.client.scanner.timeout.period 설정값을 변경하여 모니터링 진행

항상 이와 같은 문제가 발생하지 않을 수 있으니 error message를 잘 확인한 후 설정 변경이 필요