Amazon EMR 7.5.0 - Hadoop リリースノート

PDFRSS

Amazon EMR 7.5.0 - Hadoop の変更

タイプ	説明
バグ修正	fs.file.impl を空の値にコメントアウトしました。
バックポート	HADOOP-19286: S3 リージョン/エンドポイントが設定されている場合に S3A クロスリージョンアクセスをサポート S3
改善点	EMR-EC2 の S3A コネクタの自動 S3 リージョン設定
改善点	S3A での HeadObject 呼び出しの数を減らす

Amazon EMR 7.5 のリリースにより、Spark の S3A コネクタは、3TB TPC-DS parquet データセットを使用したベンチマークによって証明されているように、EMRFS と同等の読み取りパフォーマンスを示します。

Amazon EMR 7.5.0 - Hadoop の機能

• S3 リージョン設定fs.s3a.endpoint.regionは、EMR-EC2 デプロイ用の S3A コネクタを使用して EMR クラスターを起動するリージョンに自動的に設定されます。 EMR-EC2

• Amazon S3 クロスバケットリージョンアクセスは、S3A コネクタに対してデフォルトで有効になっています。を設定することで変更できますfs.s3a.cross.region.access.enabled=true or false。