圧縮ファイルの処理方法

Hadoop は、ファイル拡張子をチェックして圧縮ファイルを検出します。Hadoop でサポートされる圧縮タイプは、gzip、bzip2、および ですLZO。これらのタイプの圧縮を使用してファイルを抽出する際は、追加のアクションは不要です。Hadoop が処理します。

LZO ファイルのインデックスを作成するには、hadoop-lzo ライブラリを使用できます。このライブラリは https://github.com/kevinweil/hadoop-lzo からダウンロードできます。これはサードパーティーのライブラリであるため、Amazon EMRはこのツールの使用方法に関する開発者サポートを提供していないことに注意してください。使用法については、hadoop-lzo の readme ファイルを参照してください。