IT 삽질기

failed due to EOF occurred in violation of protocol (_ssl.c:579) Ambari 연결 중 node 하나에서 lost-heartbeat 현상 발생 log를 살펴보니 아래와 같은 문제가 발생 이를 해결하기 위해 찾아본 결과 https://community.hortonworks.com/content/supportkb/188002/ioerror-request-to-httpslocalhost8441agentv1regist.html "IOError: Request to https://localhost:8441/agent/v1/register/namenode.exterrocloud.info failed due to EOF occurred in violation comm..

NoSQL의 분류 1. Key:Value DB Key:Value 쌍으로 저장되는 가장 단순한 형태로 Riak, Vodemort, Tokyo 등이 있음 2. Wide Columnar Store Big Table DB라고도 하며 Key:Value에서 발전된 형태의 Column Family 데이터 모델을 사용 HBase, Cassandra, ScllaDB등이 있음 3. Document DB JSON, XML과 같은 Collection 데이터 모델 구조를 채택하며 MongoDB, CoughDB가 해당 4. Graph DB Nodes, Relationship, Key-Value 데이터 모델을 사용하며 Neo4j, OreientDB등이 해당 그래프별 기능을 비교하면 아래의 표와 같다. 데이터 모델 성능 확장성 유연..

NoSQL이란? No Only SQL로 현재 가장 많이 사용 RDB에서 데이터를 조회, 수정, 삭제하거나 조작하는데 사용되는 언어인 SQL을 사용하지 않는 DB로 RDB가 제공하는 특성인 ACID(Atomic, Consistency, Integrity, Durability)는 제공하지 않지만 뛰어난 확장성과 성능을 가지는데 이는 관계형이 아닌 다른 특성들도 지원한다는 것을 의미 ACID(Atomic, Consistency, Integrity, Durability) Atomic(원자성) : 트랜잭션과 관련된 작업들이 부분적으로 실행되다가 중단되지 않는 것을 보장하는 능력 Consistency(일관성) : 트랜잭션이 실행을 성공적으로 완료하면 언제나 일관성 있는 데이터베이스 상태로 유지하는 것 Integri..

백준 10828번 스택 문제를 풀어보자. https://www.acmicpc.net/problem/10828 10828번: 스택 첫째 줄에 주어지는 명령의 수 N (1 ≤ N ≤ 10,000)이 주어진다. 둘째 줄부터 N개의 줄에는 명령이 하나씩 주어진다. 주어지는 정수는 1보다 크거나 같고, 100,000보다 작거나 같다. 문제에 나와있지 않은 명령이 주어지는 경우는 없다. www.acmicpc.net 스택이란? 한 쪽 끝에서만 자료를 넣고 뺄 수 있는 LIFO(Last In First Out) 형식의 자료 구조로 가장 최근에 추가된 추가된 데이터가 가장 먼저 나오는 자료구조이다. 문제에서 요구된 항목은 아래와 같다. push X: 정수 X를 스택에 넣는 연산이다. pop: 스택에서 가장 위에 있는 정..

HBase 용어 정리 Table다중 로우로 구성된 집합으로 RDB에서의 table와 비슷한 개념이지만 테이블을 만들 때 Column을 지정해주는 것이 아니라 Column Family만 지정 RowRowKey와 Column으로 구성되며, RowKey를 기준으로 알파벳 오름차순으로 정렬되어 저장되기 때문에 로우키 설계가 매우 중요후에 다시 언급하겠지만 HBase 데이터는 리전 서버에 저장이 되는데 이 때 같은 리전서버에 있는 것과 다른 리전서버에 있는 데이터를 불러오는 경우 속도차이가 날 수 있어 로우키를 어떻게 설계하는지가 중요 Row KeyRow를 구분하기 위한 구분자로 RDB에서의 primary key와 비슷한 개념을 가짐 Column Famaily물리적으로 모든 Column Family단위로 파일 시..

Apache HBase란? Hadoop 플랫폼을 위한 구글의 BigTable을 본보기로 자바를 기반으로 만들어진 데이터 비관계형 분산 데이터 베이스이다.NoSQL로 분류되며 스키마 지정 및 변경 없이 데이터를 저장할 수 있으며 하둡의 분산 파일 시스템인 HDFS에서 동작하기 때문에 가용성 및 1)확장성을 그대로 이용할 수 있다.구글의 BigTable 논문에 설명된 2)Bloom필터 기능을 제공하며 자바를 기반으로 만들어져 자바 API, REST, Avro, Thrift를 통해 접근 가능 HBase의 특징- 선형 확장성을 가짐- 읽기와 쓰기의 일관성 제공- Hadoop 시스템과 연계하기 편리 source와 destination으로 사용 가능- 클러스터를 통한 데이터 복제로 장애 극복(fail over)가능..

Hadoop이란 기존의 방식으로는 늘어나는 대용량의 비정형 데이터를 처리하기 힘듬 이러한 데이터를 처리하기 위해 만들어진 자바 기반의 오픈 소스 프레임워크로 분산 환경에서 빅데이터를 저장하고 처리하는 기능을 가짐 하나의 성능이 좋은 컴퓨터(scale up)를 이용하여 데이터를 처리하는 대신 적당한 성능의 범용 컴퓨터들을 클러스터화(scale out) 하여 데이터를 처리할 수 있도록 함 Hadoop의 구성요소 - Common - HDFS(Hadoop Distributed FileSystem) - MapReduce - YARN Hadoop Common - Hadoop의 다른 모듈을 지원하기 위한 공통 유틸리티 및 라이브러리 모음으로 Hadoop Core라고도 함 HDFS(Hadoop Distributed F..

AWSAWS(Amazon Web Services)는 아마존에서 제공하는 클라우드 컴퓨팅 플랫폼으로 IT 인프라 구축에 필요한 다양한 서비스들을 제공한다.사용량에 따라 부과되는 요금이 다르며, 처음 사용하는 경우 AWS 프리 티어로 12개월동안 사용이 가능프리 티어를 이용하여 스터디 등 간단한 서버를 구축할 수 있고 많은 기업에서도 사용중이다. 클라우드 컴퓨팅(Cloud computing)인터넷 기반 컴퓨팅의 일종으로 정보를 자신의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 기술원격지의 있는 거대한 컴퓨터의 자원을 사용할 수 있어 다양한 방식으로 활용할 수 있다. 클라우드 컴퓨팅은 크게 3가지로 나눌 수 있는데IaaS, PaaS, SaaS로 구분된다. IaaS(Infrastructure as a..