Amazon EMR 7.2.0 - Hadoop リリースノート

PDFRSS

Amazon EMR 7.2.0 - Hadoop の変更点

タイプ	説明
新機能	HADOOP-18850: S3A: AWS KMS キーによる二層式サーバー側の暗号化を有効にする
新機能	S3 Glacier 読み取り復元オブジェクトのサポート
改善点	Spark Jobs の実行時にコアに基づいて S3A の最大接続を動的にスケーリング
改善点	HADOOP-18797: S3A マジックコミッターによる同時書き込みのサポート
改善点	HADOOP-19047: S3A マジックコミッターの InMemory 追跡をサポート
改善点	MagicV2 Committer に「Export」、「Publish」、「AbortPublish」メソッドを追加
改善点	S3A での ReadFullyIntoBuffers FileSystem API の実装
バグ修正	HADOOP-18793: S3A StagingCommitter はステージングアップロードディレクトリをクリーンアップしない
アップグレード	HADOOP-19008: S3A: aws-sdk バージョンを 2.21.41 に更新
アップグレード	HADOOP-18613: ZooKeeper をバージョン 3.8.3 にアップグレード

Amazon EMR 7.2.0 - Hadoop 機能

Amazon EMR 7.2.0 の新しい Hadoop 機能については、次のリストを参照してください。

• S3 Glacier 読み取り復元オブジェクトのサポート – Amazon EMR リリース 7.2.0 以降では、復元された Glacier オブジェクトを S3A プロトコルを使用してテーブルの S3 の場所から読み取ることができます。この読み取りオペレーションでは、アーカイブされた Glacier ファイルが復元中である場合は無視されます。

• S3A マジックコミッターによる同時書き込みのサポート – Amazon EMR 7.2.0 では、S3A マジックコミッターによる同時書き込みのサポートが導入されています。この機能は、HADOOP-18797 の一部として OSS Hadoop コミュニティに追加されました。