일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- SlackWebhookOperator
- airflow
- Namenode
- HDP
- slack
- ambari
- HIVE
- Scala
- Windows
- NoSQL
- HBase
- Lambda architecture
- re
- Example DAG
- Kafka
- jupyter
- 정규표현식
- python
- LDAP
- Service
- HDFS
- 빅데이터
- java
- 람다 아키텍처
- slack app
- yarn
- execution_date
- MapReduce
- docker
- hadoop
- Today
- Total
목록분류 전체보기 (104)
IT 삽질기
Airflow란? Airlfow는 Airbnb에서 개발한 워크플로우 스케쥴링, 모니터링 도구로 현재는 Apache 프로젝트가 되었다. Airflow는 DAG(Directed Acyclic Graph)라는 개념으로 동작하는데 python으로 DAG를 작성하고 순서를 정의할 수 있다 현재도 활발한 개발이 이루어지고 있으며 1.10.0 버전이 2018.8.9 배포된 이후 현재 2020.12.1일 현재를 기준으로 1.10.13버전까지 배포되었으며 2.0대의 버전도 꾸준히 개발되고 있다 Airflow 공식 github링크는 아래와 같다 github.com/apache/airflow 빅데이터를 활용하는 많은 곳에서 활용하는 도구로 비슷한 도구에는 oozie가 있으며, oozie와의 비교는 추후에 포스팅할 예정 Ai..
빅데이터의 정의 빅데이터가 어떻게 정의되어 있는지 알아보자 빅데이터에 대해 다양한 곳에서 각기 다르게 정의하고 있는데 몇몇 정의를 살펴보자 빅데이터란 기존 DB의 관리도구의 능력을 넘어서는 대량의 정형 또는 DB형식이 아닌 비정형의 데이터 집합조차 포함된 데이터롤부터 가치를 추출하고 결과를 분석하는 기술 즉, 기존의 데이터 베이스로는 처리하기 어려울 정도로 방대한 양의 데이터 - 위키백과 https://ko.wikipedia.org/wiki/%EB%B9%85_%EB%8D%B0%EC%9D%B4%ED%84%B0 빅 데이터 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 빅 데이터(영어: big data)란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 ..
OpenJDK를 설치해보자. 1. OpenJDK 설치 파일 다운로드 OpenJDK는 아래의 링크에서 다운받을 수 있다. https://openjdk.java.net/ OpenJDK Download and install the open-source JDK for most popular Linux distributions. Oracle's free, GPL-licensed, production-ready OpenJDK JDK 14 binaries are at jdk.java.net/14; Oracle's commercially-licensed JDK 14 binaries for Linux, macOS, and Windows, bas openjdk.java.net 위의 링크에 접속하면 아래와 같은 화면이 나타..
테스트 환경 nifi : 1.11.0 hive : 3.1.0 Nifi 1.7.0이후 버전부터 Hive3에 연결을 지원하지만 기본적으로는 지원하지 않고 nar 파일을 수동으로 추가해주어야함 용량 때문에 기본적으로는 제거되어있다는 얘기가 있음. https://community.cloudera.com/t5/Support-Questions/Problem-with-PutHiveStreaming-in-HDP-3-x/td-p/236072 테스트시 PutHiveStreaming을 이용해 hive에 접근하려 했지만 Failed connection to EndPoint 관련 오류가 발생하고 Hive에 접근이 되지 않음 위의 참고글에서 얘기하는 것처럼 Hive3 Nar 파일을 추가해야함 https://repository.a..
클래스 멤버 일반적으로 클래스를 만들고 인스턴스를 이용해 그 클래스에 있는 변수와 메소드를 사용하게 된다. 그런데 한 클래스 안에 정의되어 있는 변수에 대해 여러 인스턴스에서 같은 값을 바라보게 하고 싶은 경우에는 어떻게 해야할까? 예를 들어 아래와 같은 클래스 코드를 살펴보자. class Calculator { static double PI = 3.14; int left, right; public void setOprands(int left, int right) { this.left = left; this.right = right; } public void sum() { System.out.println(this.left + this.right); } public void avg() { System.o..
클래스 연관되어 있는 변수와 메소드의 집합으로 예를 들어 계산기라는 클래스가 있는 경우 계산기에 사용에 필요한 변수와 메소드들이 모여있는 것이라고 생각하면 된다. 계산기를 사용하는데 필요한 변수를 생각해보자 연산을 위한 연산자, 숫자1, 숫자2 정도가 생각날 것이다. ex) 1 + 2 위와 같은 계산식이 있을 때 1, 2는 연산에 사용하는 숫자, + 연산자를 이용하게 된다. 이와 같이 어떤 기능을 위한 변수와 메서드가 모여 있는 것을 클래스라고 한다. claas Calculator { int num1; int num2; public void sum() { return num1+num2; } public int min() { return num1-num2; } } 위와 같이 간단한 클래스를 예로 드는 경우..
home brew가 설치되어 있다고 가정하고 home brew를 이용하여 scala를 설치하는 방법에 대해 설명한다. 1. scala 찾기 brew search scala 2. scala 설치 최신 버전의 scala 설치 brew install scala@2.12 3. 환경변수 설정 사용 shell에 따라 다름 zsh를 사용하고 있어 ~/.zprofile에 등록 4. scala 설치 확인 scala -verion scala
설치 환경 os : mac Catalina 10.15.2 1. JDK 설치 scala는 Java 기반으로 JDK를 먼저 설치해야 함 2. scala 설치 https://www.scala-lang.org/ The Scala Programming Language BLOG Wednesday, December 18, 2019 Together with the Scala 3 team at EPFL (aka the Dotty team), led by Martin Odersky, we have decided that, rather than developing Scala 2.14, our efforts should go to Scala 3 instead. While we’re very excited to shift ou..