Apache Hadoop 관련 폐기 프로젝트(2021.04)

2021.04

Apache 프로젝트로 있던 프로젝트들의 일부를 폐기한다고 발표했습니다

폐기된 프로젝트 중 빅데이터 관련 프로젝트는 13개 이중 Hadoop Ecosystem으로 속해 있던 프로젝트는 10개입니다

사용해본적 없는 프로젝트들이지만 한번씩 이름을 들어본 프로젝트들도 여러 개 섞여 있다.

 

폐기된 프로젝트는 아래와 같다

Apex :  Hadoop YARN 기반의 빅 데이터 스트림 및 일괄 처리를위한 통합 플랫폼

Chukwa : HDFS (Hadoop Distributed File System)를 기반으로 구축된 대규모 분산 시스템 모니터링을 위한 데이터 수집 시스템

Crunch : MapReduce (Hadoop MapReduce 포함) 파이프 라인을 작성, 테스트 및 실행하기위한 프레임 워크를 제공

Eagle :  Hadoop을 포함한 빅 데이터 플랫폼에서 보안 및 성능 문제를 즉시 식별하기 위한 분석 솔루션

Falcon : 데이터 모션, 데이터 파이프 라인 조정, 라이프 사이클 관리 및 데이터 검색을 위해 설계된 Hadoop 용 데이터 처리 및 관리 솔루션

Hama : 대량 동기 병렬 패러다임을 기반으로하는 Hadoop에서 실행되는 빅 데이터 분석을 위한 프레임 워크

Lens : 통합 분석 인터페이스를 제공하는 Hadoop을 기존 데이터웨어 하우스와 통합하여 마치 하나처럼 보이게합니다.

Marmotta : 연결된 데이터를위한 개방형 플랫폼

Metron : 실시간 빅 데이터 보안에 중점

PredictionIO :  생산 준비가 된 예측 서비스를 관리하고 배포하기위한 기계 학습 서버

Sentry : Apache Hadoop의 데이터 및 메타 데이터에 대한 세분화 된 권한 부여를 시행하는 시스템

Tajo :  Hadoop의 빅 데이터웨어 하우스 시스템

Twill : 실행중인 스레드와 유사한 프로그래밍 모델과 함께 Hadoop YARN의 분산 기능을 사용

 

Cloudera - Hortonworks의 합병으로 인해 선택할 수 있는 프로젝트들이 어느 정도 고정적으로 바뀌었고 출처의 서두에서 처럼 Hadoop의 전성기가 어느정도 지났다는 것과 맞물려 프로젝트들이 폐기된 것으로 보인다

이후 어떤 프로젝트들이 새롭게 추가될지와 계속해서 빅데이터, Hadoop 관련 프로젝트들이 폐기되는지의 여부까지 함께 살펴봐야 할 것 같다

 

 

출처

www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/