IT 삽질기

이번 글에서는 빅데이터 시스템을 설계할 때 고려할 수 있는 architecture중 하나인 람다 아키텍처에 대해서 알아보도록 하자. 람다 아키텍처 람다 아키텍처는 실시간 분석을 지원하며, 배치와 스트림 방식을 모두 활용하여 많은 양의 데이터를 처리할 수 있게 하는 아키텍처이다. 아래의 그림은 람다 아키텍처를 그림으로 나타낸 것으로 그림을 통해 좀 더 자세하게 살펴보도록 하자. 먼저 각각의 layer에 대해서 알아보자. Batch layer Batch layer은 수시로 생성되는 데이터에 대해 주기적으로 실행되며 batch view를 만들어내는 역할을 한다. 이 글에서는 Batch layer의 주기가 일별로 동작하는 것을 가정하여 설명하도록 한다. 이렇게 배치작업을 이용해 데이터를 생성하게 되면 데이터에 ..