最新情報 - Amazon EMR
Amazon EMR 6.14.0Amazon EMR 5.36.1SigV4 の互換性

最新情報

このページでは、Amazon EMR 6.x と Amazon EMR 5.x の最新リリースで利用できる変更点と機能について説明します。これらのリリースノートは、「Amazon EMR リリース 6.14.0」ページと「Amazon EMR リリース 5.36.1」ページでも参照できます。これらのタブでは、それぞれのリリースのアプリケーションバージョン、コンポーネントバージョン、および利用可能な設定分類も参照できます。

新しい Amazon EMR リリースが利用可能になったときに更新を受け取るには、https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss で Amazon EMR リリースノートの RSS フィードをサブスクライブします。

以前のリリースのリリースノートについては、「Amazon EMR リリースノートのアーカイブ」を参照してください。

注記

Amazon EMR リリースは、AWS Signature Version 4 (SigV4) を使用して Amazon S3 へのリクエストを認証するようになりました。SigV4 をサポートする Amazon EMR リリースを使用することをお勧めします。これにより、新しい S3 バケットにアクセスでき、ワークロードの中断を回避できます。SigV4 をサポートする Amazon EMR リリースの詳細とリストについては、「Amazon EMR と AWS Signature Version 4」を参照してください。

Amazon EMR 6.14.0 (6.x シリーズの最新リリース)

新しい Amazon EMR リリースは、特定のリージョンで最初に利用可能になり、その後数日で、他のリージョンでも利用できるようになります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。

次のリリースノートには、Amazon EMR リリース 6.14.0 に関する情報が含まれています。6.13.0 からの変更が含まれています。リリースタイムラインの詳細については、「変更ログ」を参照してください。

新機能

  • Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.

  • Amazon EMR 6.14.0 以降で作成したクラスターについて、ap-southeast-3 アジアパシフィック (ジャカルタ) リージョンで Amazon EMR Managed Scaling を利用できるようになりました。

変更、機能強化、解決した問題

  • 6.14.0 リリースでは、Amazon EC2 で実行されている Amazon EMR でのログ管理が最適化されています。その結果、クラスターログのストレージコストがわずかに削減される可能性があります。

  • 6.14.0 リリースでは、Amazon EBS ボリュームのサイズに大きなばらつきがあるさまざまなコアインスタンスを考慮して、スケーリングワークフローが改善されています。この改善はコアノードにのみ適用され、タスクノードのスケールダウン操作には影響しません。

  • 6.14.0 リリースでは、Amazon EMR が Apache Hadoop YARN ResourceManager and HDFS NameNode などのオープンソースアプリケーションとやり取りする方法が改善されています。この改善により、クラスタースケーリングによる運用遅延のリスクが軽減され、オープンソースアプリケーションとの接続の問題が原因で発生する起動障害が軽減されます。

  • 6.14.0 リリースでは、クラスター起動時のアプリケーションのインストールが最適化されます。これにより、Amazon EMR アプリケーションの特定の組み合わせのクラスター起動時間が短縮されます。

  • 6.14.0 リリースでは、カスタムドメインの VPC で実行されているクラスターがコアノードまたはタスクノードの再起動に遭遇したときに、クラスターのスケールダウン操作が停止することがある問題が修正されています。

  • Amazon EMR 5.36 以降、または 6.6 以降の最新のパッチリリースを使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2 リリースを使用します。詳細については、「Amazon EMR にデフォルトの Amazon Linux AMI を使用する」を参照してください。

    OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン
    2.0.20230906.0 4.14.322 2023 年 9 月 11 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (スペイン)、欧州 (フランクフルト)、欧州 (チューリッヒ)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ハイデラバード)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、中東 (アラブ首長国連邦)、カナダ (中部)、イスラエル (テルアビブ)

Amazon EMR 5.36.1 (5.x シリーズの最新リリース)

新しい Amazon EMR リリースは、特定のリージョンで最初に利用可能になり、その後数日で、他のリージョンでも利用できるようになります。この期間中、お客様のリージョンで最新のリリースバージョンが利用できない場合があります。

次のリリースノートには、Amazon EMR リリース 5.36.1 に関する情報が含まれています。5.36.0 からの変更が含まれています。リリースタイムラインの詳細については、「変更ログ」を参照してください。

変更、機能強化、解決した問題

  • Amazon EMR リリース 5.36.1 では、クラスターのスケールダウン中に Amazon S3 にログをアーカイブするためのサポートが追加されています。以前の 5.x リリースでは、クラスター終了時にのみ Amazon S3 にログファイルをアーカイブできました。この改善により、クラスターで生成されたログファイルは、ノードが終了した後も Amazon S3 に残ります。詳細については、「クラスターのログ記録とデバッグを設定する」を参照してください。

  • 5.36.1 リリースでは、クラスター上のログ管理デーモンが改善され、EMR クラスター内の追加のログフォルダを監視できるようになりました。この改善により、ディスクの過剰使用シナリオが最小限に抑えられます。

  • 5.36.1 リリースでは、クラスター上のログ管理デーモンが停止すると、自動的に再起動されます。この改善により、ディスクの過剰使用が原因でノードが異常に見えるリスクが軽減されます。

  • 5.36.1 リリースでは、プライマリノードの Amazon EMR デーモンが、クラスター内の終了したインスタンスの古いメタデータを保持する問題が修正されています。古いデータを維持すると、クラスター上の CPU とメモリの使用量が際限なく増加し、最終的にはクラスターに障害が発生する可能性があります。

  • 複数のプライマリノードで起動されるクラスターの場合、5.36.1 リリースでは、プライマリノードの 1 つで Amazon EC2 ハードウェア障害が発生すると、2 つ目のプライマリノードに障害が発生し、クラスターが不安定になるという問題が修正されています。

  • 送信中の暗号化が設定されているクラスターの場合、マネージドスケーリングは Spark シャッフルデータを認識するようになりました。Spark シャッフルデータは、Spark が特定の操作を実行するためにパーティションに再配分するデータです。スケールダウン中、マネージドスケーリングは、シャッフルデータを含むインスタンスを無視します。これにより、料金とパフォーマンスの面でコストがかかる、ジョブの再試行や再計算を防ぐことができます。シャッフル操作の詳細については、Spark のプログラミングガイドを参照してください。

  • Amazon EMR 5.36 以降、または 6.6 以降の最新のパッチリリースを使用してクラスターを起動すると、Amazon EMR はデフォルトの Amazon EMR AMI に最新の Amazon Linux 2 リリースを使用します。詳細については、「Amazon EMR にデフォルトの Amazon Linux AMI を使用する」を参照してください。

    OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン
    2.0.20230727.0 4.14.320 2023 年 8 月 14 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (スペイン)、欧州 (フランクフルト)、欧州 (チューリッヒ)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ハイデラバード)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、中東 (アラブ首長国連邦)、カナダ (中部)、イスラエル (テルアビブ)
    2.0.20230719.0 4.14.320 2023 年 8 月 2 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (ミラノ)、欧州 (スペイン)、欧州 (フランクフルト)、欧州 (チューリッヒ)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ハイデラバード)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (ジャカルタ)、アジアパシフィック (メルボルン)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、中東 (アラブ首長国連邦)、カナダ (中部)、イスラエル (テルアビブ)
    2.0.20230628.0 4.14.318 2023 年 7 月 12 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230612.0 4.14.314 2023 年 6 月 23 日 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、カナダ (中部)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)
    2.0.20230404.1 4.14.311 2023 年 4 月 18 日

    米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (ストックホルム)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (フランクフルト)、欧州 (ミラノ)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ジャカルタ)、アジアパシフィック (東京)、アジアパシフィック (ソウル)、アジアパシフィック (大阪)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アフリカ (ケープタウン)、南米 (サンパウロ)、中東 (バーレーン)、カナダ (中部)

Amazon EMR と AWS Signature Version 4

Amazon EMR リリースは、AWS Signature Version 4 (SigV4) を使用して Amazon S3 へのリクエストを認証するようになりました。2020 年 6 月 24 日より後に Amazon S3 で作成されたバケットは、Signature Version 2 (SigV2) によって署名されたリクエストをサポートしていません。2020 年 6 月 24 日以前に作成されたバケットは、引き続き SigV2 をサポートします。SigV4 をサポートする Amazon EMR リリースに移行することをお勧めします。これにより、新しい S3 バケットにアクセスでき、ワークロードの中断を回避できます。

Apache Spark、Apache Hive、Presto など、Amazon EMR に含まれるアプリケーションを使用している場合は、SigV4 を使用するようにアプリケーションコードを変更する必要はありません。Amazon EMR に含まれていないカスタムアプリケーションを使用している場合は、SigV4 を使用するようにコードを更新することが必要になる可能性があります。詳細については、「Amazon S3 ユーザーガイド」の「署名バージョン 2 から署名バージョン 4 への移行」を参照してください。

次の Amazon EMR リリースで SigV4 がサポートされています: emr-4.7.4、emr-4.8.5、emr-4.9.6、emr-4.10.1、emr-5.1.1、emr-5.2.3、emr-5.3.2、emr-5.4.1、emr-5.5.4、emr-5.6.1、emr-5.7.1、emr-5.8.3、emr-5.9.1、emr-5.10.1、emr-5.11.4、emr-5.12.3、emr-5.13.1、emr-5.14.2、emr-5.15.1、emr-5.16.1、emr-5.17.2、emr-5.18.1、emr-5.19.1、emr-5.20.1、emr-5.21.2、および emr-5.22.0 以降。