일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- HDP
- HBase
- Scala
- airflow
- ambari
- docker
- hadoop
- MapReduce
- jupyter
- python
- HIVE
- NoSQL
- slack
- slack app
- java
- 빅데이터
- 람다 아키텍처
- yarn
- Namenode
- SlackWebhookOperator
- re
- HDFS
- Service
- Windows
- 정규표현식
- execution_date
- LDAP
- Example DAG
- Lambda architecture
- Kafka
- Today
- Total
목록개발 (29)
IT 삽질기
이번 글에서는 python datetime.datetime에서 제공하는 strftime과 strptime을 활용해 datetime과 str타입간 변경 방법을 알아보자. datetime import 먼저 strftime과 strptime을 사용하기 위해 python에서 datetime.datetime을 import하기 위해 아래의 구문을 사용한다. from datetime import datetime strftime strftime는 datetime을 문자열로 바꿔주는 함수로 아래와 같이 사용할 수 있다. from datetime import datetime now = datetime.now() # now = datetime.datetime(2021, 8, 7, 22, 54, 43, 632023) date..
지난 글에서 windows에 python을 설치하는 작업을 진행했다. 2021.08.04 - [개발/python] - windows에 python 설치 오늘은 jupyter를 설치해 사용해보자. pip 설치하기 지난 글과 같이 python을 설치했다면 pip도 함께 설치되었을 것이다. shell에서 pip를 입력해 pip가 설치되어 있다면 아래와 같은 메세지를 볼 수 있다. 만약 설치되어 있지 않다면 아래의 파일을 다운받아 명령어를 실행해 설치를 진행한다. python get-pip.py jupyter 설치하기 이제 pip를 이용하여 jupyter를 설치하자. 아래의 명령어를 통해 jupyter를 설치할 수 있다. pip install jupyter 정상적으로 설치된 경우 위와 같은 로그를 볼 수 있다...
예전 글에서 Mac에 jupyter를 설치하는 방법에 대한 글을 작성했다. 2019.04.30 - [개발/python] - Mac에 jupyter 설치하기 이번에는 windows에 python을 설치하고 다음 글에서는 jupyter를 설치해보자. python 설치 windows10에서 python 명령어를 실행시켰을 때 설치되어 있지 않다면 Microsoft Store로 연결된다. 이렇게 연결되는 경우 Microsoft Store에서 설치해서 사용하면 된다. 연결되지 않는 경우에는 Python을 직접 다운로드 하여 설치하면 되는데, 아래의 사이트에서 다운받아 사용한다. https://www.python.org/downloads/windows/ 운영체제가 64bit로 설정되어 있어 64bit용 python..
이번 글에서는 LDAP이 무엇인지 알아보도록 하자. LDAP(Lightweight Directory Access Protocol)이란? LDAP는 경량 디렉토리 액세스 프로토콜로 TCP/IP 위에서 디렉토리 서비스를 조회하고 수정하는 응용 프로토콜이다. 네트워크 상에서 디렉토리 서비스 표준으로 사용하는 X.500의 DAP의 경량화 버전으로, TCP/IP 레이어에서 동작하고 Lightweight하여 통신 네트워크 대역폭 상의 가벼움을 의미하여 많이 사용된다. 사용자, 시스템, 네트워크, 서비스, 앱 등의 정보를 공유하기 위한 목적으로 사용되며 사용자 정보를 중앙 집중적으로 관리하는데 유용하고 디렉토리 형식의 트리, 계층 구조로 되어 있어 조회하거나 관리하는데 용이하며 Server - Client 구조를 기..
FQNC는 object, 함수, 변수의 계층적 구조를 모두 포함하여 표현하는 것을 말하며 Java로 예를 드는 경우 해당 클래스가 속한 패키지명을 모두 포함한 이름을 말한다. 예를 들어 아래와 같다. // 일반적인 사용법 String s = new String(); // FQCN java.lang.String s = new java.lang.String(); 참고자료 https://en.wikipedia.org/wiki/Fully_qualified_name https://itcoin.tistory.com/488 https://dreamzelkova.tistory.com/entry/%EC%9E%90%EB%B0%94%EC%9D%98-%EA%B8%B0%EC%B4%88-FQCN-JAR
이번 글에서는 jvm이 무엇인지 어떻게 구성되어 있는지에 대해서 간단히 살펴보도록 하자. JVM(Java Virtual Machine)이란? JVM이란 java 바이트코드를 실행할 수 있는 주체로 java는 JVM을 이용하여 플랫폼에 독립적이며 이론적으로 CPU나 운영 체제의 종류와 무관하게 동일하게 작동하는 것을 보장한다. 또한 메모리 관리, Garbage collection을 수행하는 스택 기반의 가상머신이다. JVM의 구조를 그림으로 살펴보자. 이번 글에서는 JVM의 기본 구조만 다루는 것으로 각각의 구성 요소들이 어떤 역할을 하는지 간단하게만 설명하도록 한다. Class Loader Class Loader은 컴파일된 java 바이트코드를 runtime data areas 영역으로 로드하고 링크를 ..
Shell Script 실행인자 값 사용하기 이번 글에서는 shell script를 사용할 때 실행인자 값을 전달받아 사용하는 방법에 대해서 알아보도록 하자. 먼저 script 예제를 살펴보자. https://github.com/dydwnsekd/ShellScript_study/blob/master/example_parameter_01.sh #!/bin/bash # 첫번째 실행인자 command1=$1 # 두번째 실행인자 command2=$2 echo "$1" echo "$2" echo "$command1" echo "$command2" 실행인자를 전달받아 사용하기 위해서는 $1, $2 ... 과 같이 ${숫자}를 이용해 사용할 수 있으며, 순서에 따라 각 변수에 맵핑된다. 위의 예제는 2개의 실행인자를..
python 리스트를 정렬하는 방법과 특정 index의 값을 기준으로 정렬하는 방법에 대해 알아보도록 하자. python list 정렬하기 먼저 일반적인 정렬 방법에 대해 알아보도록 하자. 일반적으로 python list를 정렬하는 방법은 sorted() 함수를 사용하는 방법과 list.sort()함수를 사용하는 방법이 있다. sorted() 먼저 sorted()함수를 사용하는 방법에 대해서 알아보자. list를 인자로 전달하면 새로운 list를 전달해주며, 기본적으로는 오름차순으로 정렬된다. 테스트 코드를 통해 알아보자. a list를 sorted() 함수를 통해 정렬해 b에 넣고, a와 b를 각각 출력해보면 위와 같은 결과가 나온다. a의 값은 변화하지 않았으며, b에는 a의 정렬된 값이 들어가게 되..