IT 삽질기

Hadoop3에서 변경된 내용 중 몇몇 중요한 사항들에 대해 알아보도록 하자 Java8 기존의 Hadoop2는 Java 7버전을 지원했는데 Hadoop3를 사용하기 위해서는 Java8를 설치해야 한다 erasure coding 가장 큰 변경점 중 하나인 erasure coding은 기존의 Hadoop2에서 문제가 되었던 스토리지 관련 문제를 해결한다 Hadoop2 에서는 기본적으로 데이터를 저장하기 위해 3배의 용량이 필요했다 예를 들어, 1TB의 데이터를 저장하기 위해서는 3TB의 용량이 필요했던 것이다 이는 HDFS에서 데이터 유실이 일어나지 않게 해주는 역할을 함과 동시에 데이터를 많이 저장할 수 없는 단점으로 작용했다 물론 설정을 통해 Replication 수를 줄여 용량을 확보하는 방법이 있지만..