일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- LDAP
- SlackWebhookOperator
- NoSQL
- Lambda architecture
- ambari
- re
- docker
- 람다 아키텍처
- Namenode
- execution_date
- python
- Windows
- HIVE
- HDP
- java
- slack app
- Scala
- hadoop
- HDFS
- airflow
- slack
- 정규표현식
- HBase
- Example DAG
- 빅데이터
- Kafka
- yarn
- jupyter
- MapReduce
- Service
- Today
- Total
목록개발/python (10)
IT 삽질기
이번 글에서는 Python List 요소를 이용해 모든 경우의 수를 구하는 방법에 대해서 알아보자. 조합을 구하기 위해서는 itertools 에 있는 combinations를 사용하면 되는데 사용법은 매우 간단하다. itertools 먼저 itertools에 대해서 간단히 알아보도록 하자. itertools에 대해 공식 문서에서는 Functions creating iterators for efficient looping(효율적인 루핑을 위한 이터레이터를 만드는 함수) 라고 소개한다. 이번 글에서 알아볼 조합을 만드는 combinations 외에 순열을 만드는 함수 등 다양한 함수를 제공한다. 자세한 사항은 공식문서를 참고하기 바란다. https://docs.python.org/ko/3/library/it..
이번 글에서는 python Collections 모듈에 있는 namedtuple에 대해서 알아보도록 하자. 먼저 tuple에 대해서 간단하게 알아보자. tuple tuple는 순서가 있고 값을 변경할 수 없는(immutable) 객체로 일반적으로 List와 비교된다.(List는 값을 변경할 수 있음) tuple의 요소에 접근하려는 경우 index의 값을 이용하여 접근하게 되는데 예제를 통해 알아보도록 하자. tuple는 위와 같이 사용되며, 어떤 index에 어떤 값이 있는지를 알고 있어야 한다는 단점이 있다. namedtuple namedtuple는 index와 name를 통한 접근이 가능한 객체로 기존 tuple보다 좀 더 직관적인 접근이 가능하며, 메모리 활용에 최적화 되어 있다고 설명한다. 기본 ..
이번 글에서는 python에서 정규표현식을 사용하기 위해 사용하는 re 패키지에서 제공하는 추가적인 옵션에 대해서 알아보도록 하자. 기본적인 내용은 지난글에 참고하기 바란다. 2021.08.15 - [개발/python] - python 정규표현식 사용하기(1) re 패키지 추가 옵션 re패키지에서 제공하는 추가 옵션에 대해서 알아보자. 옵션 기능 DOTALL(S) . 이 줄바꿈을 포함한 모든 문자와 매치될 수 있도록 함 IGNORECASE(I) 대소문자 관계없이 매칭 DOTALL(S) DOTALL은 정규 표현식에서 사용하는 .을 줄바꿈(\n)과도 매칭되도록 하는 옵션이다. 예제를 살펴보자. 옵션을 사용하지 않는 경우 아래와 같이 줄바꿈(\n)에 대해서는 매칭되지 않는다. 옵션을 사용하기 위해서는 comp..
이번 글에서는 python에서 정규표현식을 사용하는 방법에 대해서 알아보도록 하자. 정규표현식에 대한 내용은 이전 글을 참고하기 바란다. 2021.08.10 - [개발] - 정규표현식(Regex)이란? python 정규표현식 패키지 re python에서 정규표현식을 사용하기 위해서는 re(regular expression) 패키지를 사용한다. re패키지를 사용하는 예제를 살펴보도록 하자. 정규표현식의 패턴을 만들기 위해 re.compile()을 사용한다. 이전 글에서 작성했던 것처럼 정규표현식으로 H로 시작해서 o로 끝나는 문자열을 찾는 패턴을 만들었다. 일치하는 패턴을 찾기 위해서 사용할 수 있는 method를 예제와 함께 확인해보자. re에서 제공하는 method 만든 패턴을 이용해 메서드를 이용하여..
이번 글에서는 python datetime.datetime에서 제공하는 strftime과 strptime을 활용해 datetime과 str타입간 변경 방법을 알아보자. datetime import 먼저 strftime과 strptime을 사용하기 위해 python에서 datetime.datetime을 import하기 위해 아래의 구문을 사용한다. from datetime import datetime strftime strftime는 datetime을 문자열로 바꿔주는 함수로 아래와 같이 사용할 수 있다. from datetime import datetime now = datetime.now() # now = datetime.datetime(2021, 8, 7, 22, 54, 43, 632023) date..
지난 글에서 windows에 python을 설치하는 작업을 진행했다. 2021.08.04 - [개발/python] - windows에 python 설치 오늘은 jupyter를 설치해 사용해보자. pip 설치하기 지난 글과 같이 python을 설치했다면 pip도 함께 설치되었을 것이다. shell에서 pip를 입력해 pip가 설치되어 있다면 아래와 같은 메세지를 볼 수 있다. 만약 설치되어 있지 않다면 아래의 파일을 다운받아 명령어를 실행해 설치를 진행한다. python get-pip.py jupyter 설치하기 이제 pip를 이용하여 jupyter를 설치하자. 아래의 명령어를 통해 jupyter를 설치할 수 있다. pip install jupyter 정상적으로 설치된 경우 위와 같은 로그를 볼 수 있다...
예전 글에서 Mac에 jupyter를 설치하는 방법에 대한 글을 작성했다. 2019.04.30 - [개발/python] - Mac에 jupyter 설치하기 이번에는 windows에 python을 설치하고 다음 글에서는 jupyter를 설치해보자. python 설치 windows10에서 python 명령어를 실행시켰을 때 설치되어 있지 않다면 Microsoft Store로 연결된다. 이렇게 연결되는 경우 Microsoft Store에서 설치해서 사용하면 된다. 연결되지 않는 경우에는 Python을 직접 다운로드 하여 설치하면 되는데, 아래의 사이트에서 다운받아 사용한다. https://www.python.org/downloads/windows/ 운영체제가 64bit로 설정되어 있어 64bit용 python..
python 리스트를 정렬하는 방법과 특정 index의 값을 기준으로 정렬하는 방법에 대해 알아보도록 하자. python list 정렬하기 먼저 일반적인 정렬 방법에 대해 알아보도록 하자. 일반적으로 python list를 정렬하는 방법은 sorted() 함수를 사용하는 방법과 list.sort()함수를 사용하는 방법이 있다. sorted() 먼저 sorted()함수를 사용하는 방법에 대해서 알아보자. list를 인자로 전달하면 새로운 list를 전달해주며, 기본적으로는 오름차순으로 정렬된다. 테스트 코드를 통해 알아보자. a list를 sorted() 함수를 통해 정렬해 b에 넣고, a와 b를 각각 출력해보면 위와 같은 결과가 나온다. a의 값은 변화하지 않았으며, b에는 a의 정렬된 값이 들어가게 되..