일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- re
- MapReduce
- Namenode
- LDAP
- docker
- slack
- Example DAG
- Windows
- 람다 아키텍처
- Scala
- airflow
- HDP
- hadoop
- execution_date
- NoSQL
- java
- yarn
- Service
- 빅데이터
- HDFS
- slack app
- Kafka
- jupyter
- SlackWebhookOperator
- Lambda architecture
- HBase
- python
- HIVE
- 정규표현식
- ambari
Archives
- Today
- Total
목록close_wait (1)
IT 삽질기
Yarn NodeManager BindException(Close_wait)
장애내용 확인 NodeManager가 올라온 이후 죽는 현상이 계속 발생하는 노드 발견 log를 확인 원인 분석 log를 확인하니 이미 사용중인 주소로 BindException이 발생 NodeManager에서 사용하는 port인 45454를 이미 사용중이라고 판단하여 45454 port 사용 여부를 확인 다른 서버의 50010 port와 connection이 맺어져 있어 문제가 발생한 것으로 보임 50010 port는 data node에서 사용하는 port netstat | grep 45454 pid를 얻기 위해 root권한을 획득하여 아래의 명령어를 실행 맨 뒤에 나오는 값이 pid으로 해당 pid를 이용하여 실행중인 process를 탐색 netstat -nap | grep 45454 해당 pid확인 ..
BigData/Hadoop
2021. 6. 25. 23:13