IT 삽질기

이번 글에서는 python datetime.datetime에서 제공하는 strftime과 strptime을 활용해 datetime과 str타입간 변경 방법을 알아보자. datetime import 먼저 strftime과 strptime을 사용하기 위해 python에서 datetime.datetime을 import하기 위해 아래의 구문을 사용한다. from datetime import datetime strftime strftime는 datetime을 문자열로 바꿔주는 함수로 아래와 같이 사용할 수 있다. from datetime import datetime now = datetime.now() # now = datetime.datetime(2021, 8, 7, 22, 54, 43, 632023) date..

지난 글에서 windows에 python을 설치하는 작업을 진행했다. 2021.08.04 - [개발/python] - windows에 python 설치 오늘은 jupyter를 설치해 사용해보자. pip 설치하기 지난 글과 같이 python을 설치했다면 pip도 함께 설치되었을 것이다. shell에서 pip를 입력해 pip가 설치되어 있다면 아래와 같은 메세지를 볼 수 있다. 만약 설치되어 있지 않다면 아래의 파일을 다운받아 명령어를 실행해 설치를 진행한다. python get-pip.py jupyter 설치하기 이제 pip를 이용하여 jupyter를 설치하자. 아래의 명령어를 통해 jupyter를 설치할 수 있다. pip install jupyter 정상적으로 설치된 경우 위와 같은 로그를 볼 수 있다...

예전 글에서 Mac에 jupyter를 설치하는 방법에 대한 글을 작성했다. 2019.04.30 - [개발/python] - Mac에 jupyter 설치하기 이번에는 windows에 python을 설치하고 다음 글에서는 jupyter를 설치해보자. python 설치 windows10에서 python 명령어를 실행시켰을 때 설치되어 있지 않다면 Microsoft Store로 연결된다. 이렇게 연결되는 경우 Microsoft Store에서 설치해서 사용하면 된다. 연결되지 않는 경우에는 Python을 직접 다운로드 하여 설치하면 되는데, 아래의 사이트에서 다운받아 사용한다. https://www.python.org/downloads/windows/ 운영체제가 64bit로 설정되어 있어 64bit용 python..

이번 글에서는 hive의 managed table와 external table에 대해 알아보도록 하자. hive에서는 hive에서 생애주기를 관리하는 managed table과 그렇지 않은 external table를 생성해서 사용할 수 있다. 각각 어떻게 무엇인지 알아보도록 하자. Managed table 먼저 Managed table는 hdfs상 hive.metastore.warehouse.dir 경로에 존재하며 해당 디렉터리 하위에 테이블의 데이터가 저장되게 된다. 예를 들어 hive.metastore.warehouse.dir의 설정값이 /apps/hive/managed로 설정되어 있다면 managed table의 경로는 /apps/hive/managed의 하위가 되고, 일반적인 방법으로 테이블을 ..

이번 글에서는 LDAP이 무엇인지 알아보도록 하자. LDAP(Lightweight Directory Access Protocol)이란? LDAP는 경량 디렉토리 액세스 프로토콜로 TCP/IP 위에서 디렉토리 서비스를 조회하고 수정하는 응용 프로토콜이다. 네트워크 상에서 디렉토리 서비스 표준으로 사용하는 X.500의 DAP의 경량화 버전으로, TCP/IP 레이어에서 동작하고 Lightweight하여 통신 네트워크 대역폭 상의 가벼움을 의미하여 많이 사용된다. 사용자, 시스템, 네트워크, 서비스, 앱 등의 정보를 공유하기 위한 목적으로 사용되며 사용자 정보를 중앙 집중적으로 관리하는데 유용하고 디렉토리 형식의 트리, 계층 구조로 되어 있어 조회하거나 관리하는데 용이하며 Server - Client 구조를 기..

이번 글에서는 Namenode의 safe mode에 대해서 알아보도록 하자. Namenode Safe mode safe mode는 일반적으로 Namenode(NN)가 새로 시작되는 경우에 들어가게 되는데 Namenode가 새로 시작되게 되면 지난번 글에서 설명했던 것과 fsimage와 edits log를 병합하는 과정을 거치게 된다. 2021.07.26 - [BigData/Hadoop] - Namenode fsimage, edits log 이런 과정이 수행되는 동안 NN는 safe mode에 들어가게 되는데, 이 상태에서는 데이터를 조회하는 것은 가능하지만, 파일을 변경하는 작업은 할 수 없다. fsimage와 edits log 병합 이외에 어떤 작업이 이루어질까? 지난 글에서 NN는 블록이 어디에 저장..

이번 글에서는 Namenode의 디렉토리 구조와 fsimage, edits log에 대해서 알아보도록 하자. Namenode 디렉토리 구조 먼저 Namenode의 디렉토리는 아래와 같이 구성되어 있다. ${dfs.namenode.name.dir}/ ㄴ in_use.lock ㄴ current ㄴ VERSION ㄴ edits_0000000066074616938-0000000066076353481 ㄴ edits_inprogress_0000000066083634643 ㄴ fsimage_0000000066076831695.md ㄴ fsimage_0000000066076831695 ㄴ fsimage_0000000066079768707.md ㄴ fsimage_0000000066079768707 ㄴ fsimage.ck..

FQNC는 object, 함수, 변수의 계층적 구조를 모두 포함하여 표현하는 것을 말하며 Java로 예를 드는 경우 해당 클래스가 속한 패키지명을 모두 포함한 이름을 말한다. 예를 들어 아래와 같다. // 일반적인 사용법 String s = new String(); // FQCN java.lang.String s = new java.lang.String(); 참고자료 https://en.wikipedia.org/wiki/Fully_qualified_name https://itcoin.tistory.com/488 https://dreamzelkova.tistory.com/entry/%EC%9E%90%EB%B0%94%EC%9D%98-%EA%B8%B0%EC%B4%88-FQCN-JAR