일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- docker
- python
- airflow
- Scala
- hadoop
- Kafka
- Example DAG
- SlackWebhookOperator
- slack app
- Lambda architecture
- HIVE
- Windows
- 빅데이터
- execution_date
- slack
- Namenode
- LDAP
- jupyter
- HDFS
- ambari
- NoSQL
- HBase
- 람다 아키텍처
- HDP
- MapReduce
- Service
- re
- 정규표현식
- java
- yarn
- Today
- Total
목록개발 (29)
IT 삽질기
home brew가 설치되어 있다고 가정하고 home brew를 이용하여 scala를 설치하는 방법에 대해 설명한다. 1. scala 찾기 brew search scala 2. scala 설치 최신 버전의 scala 설치 brew install scala@2.12 3. 환경변수 설정 사용 shell에 따라 다름 zsh를 사용하고 있어 ~/.zprofile에 등록 4. scala 설치 확인 scala -verion scala
설치 환경 os : mac Catalina 10.15.2 1. JDK 설치 scala는 Java 기반으로 JDK를 먼저 설치해야 함 2. scala 설치 https://www.scala-lang.org/ The Scala Programming Language BLOG Wednesday, December 18, 2019 Together with the Scala 3 team at EPFL (aka the Dotty team), led by Martin Odersky, we have decided that, rather than developing Scala 2.14, our efforts should go to Scala 3 instead. While we’re very excited to shift ou..
jupyter 외부접속 허용 지난 글에서 mac에 jupyter을 설치하고 실행시켰다. 2019/04/30 - [개발] - Mac에 jupyter 설치하기 Mac에 jupyter 설치하기 Mac 환경에서 jupyter 설치하기 Mac 환경에서 python 사용을 위한 jupyter 설정에 대해 알아보도록 하자. mac 환경 1. python3 설치 확인 최신 mac에는 python3가 설치되어 있으므로 python3 설치 부분은 생략하.. dydwnsekd.tistory.com 이번에는 설치된 jupyter에서 설정을 통해 외부접속을 허용하고 비밀번호를 설정하는 등 간단한 설정방법에 대해 알아보도록 하자. 먼저 설정 파일을 만들어보도록 하자. jupyter notebook --generate-config..
동기(Sync)와 비동기(Asyn) 프로그래밍 동기 프로그래밍과 비동기 프로그래밍에 대해서 알아보도록 하자. 동기(synchronous) 동시에 일어나는 일을 순차적으로 처리하며 끝내는 방식 요청한 결과가 한 자리에서 동시에 일어남 동기 시스템에 대한 예를 들어보도록 하자. 동기 시스템은 일을 순차적으로 처리하며 요청한 결과가 한 자리에서 동시에 일어나는 것인데 계좌이체를 예로 들어보도록 하자. A가 B의 계좌로 돈을 송금한다고 할 때, A의 계좌에서 돈이 빠져나감과 동시에 B의 계좌에 돈이 들어가야 한다. 이를 동기 시스템이라고 생각하면 된다. 비동기(Asynchronous) 동시에 일어나지 않는 해야 할 일을 위임하고 기다리는 방식 요청한 그 자리에서 결과가 주어지지 않음 비동기 시스템에 대한 예를 ..
Mac 환경에서 jupyter 설치하기 Mac 환경에서 python 사용을 위한 jupyter 설정에 대해 알아보도록 하자. mac 환경 1. python3 설치 확인 최신 mac에는 python3가 설치되어 있으므로 python3 설치 부분은 생략하도록 한다. 설치되어 있지 않은 경우에는 brew를 통해 설치 https://dejavuqa.tistory.com/132 Mac에 Python3.x 설치 (brew) Python.org에서 package를 다운받아 설치하다 brew로 모든 package를 관리하고 싶어졌습니다. 그래서 이번엔 brew를 이용해 python 3를 설치해 보겠습니다. 먼저 Home Brew 를 설치 합니다. [http://dejavuqa.tist.. dejavuqa.tistory..