일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- LDAP
- MapReduce
- Lambda architecture
- Namenode
- HDFS
- Windows
- 정규표현식
- yarn
- re
- slack app
- Scala
- airflow
- java
- NoSQL
- slack
- hadoop
- HBase
- Example DAG
- HDP
- execution_date
- Kafka
- jupyter
- SlackWebhookOperator
- docker
- Service
- 람다 아키텍처
- 빅데이터
- ambari
- python
- HIVE
- Today
- Total
목록개발 (29)
IT 삽질기
Service란 ? 서버가 실행되거나 문제가 발생해 다운되는 경우 자동으로 실행 시키기 위해 등록하며, 예를 들어 웹 서비스가 계속 동작해야하는 서버의 경우 웹 서비스 용도로 사용하는 tomcat를 서비스로 등록하여 사용하는 경우 문제가 발생하는 경우나 서버를 재시작하는 경우에도 해당 서비스가 자동으로 재시작 CentOS는 RedHat 계열의 리눅스로 Service에 대한 좀 더 자세한 내용은 RedHat에 있는 service 관련문서를 참고하도록 한다. https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/system_administrators_guide/chap-managing_services_with_systemd..
WAL이란 데이터 무결성을 보장하는 표준 방법으로, DB에서 사용하는 방법이다. WAL을 사용하는 시스템에서는 데이터 수정을 하기 전 WAL에 먼저 기록을 하게 되며, 이 기록을 이용해 어느시점에 장애가 발생했는지, 어디까지가 성공한 것이고 어디부터 이후 작업이 실행되어야 하는지에 대해서 알 수 있다 postgreSQL, HBase MongDB 등 다양한 DB시스템에서 WAL 방식을 사용한다.
pyHive를 이용해 Hive에 접근하는 경우 발생한 에러에 대해 정리한다 Hive는 LDAP을 이용해 인증을 하는 방식으로 설정되어 있다 hive.server2.authentication LDAP 이런 경우 pyHive를 통해 hive에 접근하는 경우에도 LDAP을 통한 인증이 필요한대 pyHive의 코드를 살펴보자 github.com/dropbox/PyHivegithub.com/dropbox/PyHive/blob/master/pyhive/hive.py 코드를 살펴보면 HiveServer2를 통해 접근을 하고 연결하기 위해 필요한 다양한 파라미터들에 대해 정리가 되어 있는데 인증방식 auth에 LDAP을 사용할 예정이다 python에서 연결을 위해 사용한 명령어는 아래와 같다 from pyHive im..
Scala에서 형변환을 하기 위해서는 흔히 .toInt .toString 등과 같은 to[자료형]을 이용해 사용한다 실제 사용 예를 보자 위의 실행결과는 당연하게도 아래와 같다 정상적으로 1+1234 = 1235라는 결과가 나온다 그렇다면 char을 Int로 바꾸면 어떻게 될까 다른 언어서도 그렇지만 char을 int로 변경하는 경우 ascii코드의 형식으로 변환된다 실행결과는 1,2의 ascii코드 값인 49, 50이 되어 '1'+'2'는 99라는 결과가 나온다 char을 우리가 원하는 int형식으로 변환하려면 아래와 같은 방법을 사용할 수 있다 위의 3코드의 결과값은 모두 같다 0의 ascii 코드 값인 48을 빼면 원하는 것처럼 숫자에 대한 값을 구할 수 있다 String형식으로 되어 있는 숫자들의..
Windows WSL Version Up Windows에서 Docker Desktop를 사용하던 중 WSL Version에 관련된 이슈 발생 메뉴얼을 찾아본 결과 docs.docker.com/docker-for-windows/wsl/ Docker Desktop WSL 2 backend docs.docker.com WSL버전에 따른 문제인 것으로 확인 이전에 설치했던 WSL1 Version에 대한 지원은 하지 않으니 WSL2 Version을 사용해야 함 위의 메뉴얼에 나온 내용으로 wsl 버전 확인 기존에 설치되어 있는 Ubuntu에 대한 버전업을 진행하는 것으로 결정 wsl.exe --set-version 명령어를 이용해 기존 1 Version이였던 Ubuntu를 2로 변경 Docker에서 Refresh..
OpenJDK를 설치해보자. 1. OpenJDK 설치 파일 다운로드 OpenJDK는 아래의 링크에서 다운받을 수 있다. https://openjdk.java.net/ OpenJDK Download and install the open-source JDK for most popular Linux distributions. Oracle's free, GPL-licensed, production-ready OpenJDK JDK 14 binaries are at jdk.java.net/14; Oracle's commercially-licensed JDK 14 binaries for Linux, macOS, and Windows, bas openjdk.java.net 위의 링크에 접속하면 아래와 같은 화면이 나타..
클래스 멤버 일반적으로 클래스를 만들고 인스턴스를 이용해 그 클래스에 있는 변수와 메소드를 사용하게 된다. 그런데 한 클래스 안에 정의되어 있는 변수에 대해 여러 인스턴스에서 같은 값을 바라보게 하고 싶은 경우에는 어떻게 해야할까? 예를 들어 아래와 같은 클래스 코드를 살펴보자. class Calculator { static double PI = 3.14; int left, right; public void setOprands(int left, int right) { this.left = left; this.right = right; } public void sum() { System.out.println(this.left + this.right); } public void avg() { System.o..
클래스 연관되어 있는 변수와 메소드의 집합으로 예를 들어 계산기라는 클래스가 있는 경우 계산기에 사용에 필요한 변수와 메소드들이 모여있는 것이라고 생각하면 된다. 계산기를 사용하는데 필요한 변수를 생각해보자 연산을 위한 연산자, 숫자1, 숫자2 정도가 생각날 것이다. ex) 1 + 2 위와 같은 계산식이 있을 때 1, 2는 연산에 사용하는 숫자, + 연산자를 이용하게 된다. 이와 같이 어떤 기능을 위한 변수와 메서드가 모여 있는 것을 클래스라고 한다. claas Calculator { int num1; int num2; public void sum() { return num1+num2; } public int min() { return num1-num2; } } 위와 같이 간단한 클래스를 예로 드는 경우..