압축 파일을 처리하는 방법

하둡은 파일 확장명을 확인하여 압축 파일을 감지합니다. 하둡에서 지원되는 압축 형식은 gzip, bzip2 및 LZO입니다. 이러한 압축 형식을 사용하는 파일을 압축 해제하기 위해 추가 작업을 수행할 필요는 없으며 하둡에서 자동으로 처리됩니다.

LZO 파일을 인덱스하려면 https://github.com/kevinweil/hadoop-lzo에서 다운로드할 수 있는 hadoop-lzo 라이브러리를 사용할 수 있습니다. 이 라이브러리는 타사 라이브러리이므로 Amazon EMR은 이 도구를 사용하는 방법에 대한 개발자 지원을 제공하지 않습니다. 사용 방법에 대한 자세한 내용은 hadoop-lzo readme 파일을 참조하십시오.