Amazon EMR on EKS 7.0.0 リリース

このページでは、EKSデプロイEMR中の Amazon に固有の Amazon EMR の新機能と更新機能について説明します。Amazon でEMR実行されている Amazon EC2と Amazon 7.0.0 EMR リリース全般の詳細については、「Amazon リリースガイド」の「Amazon EMR 7.0.0」を参照してください。 EMR

Amazon EMR on EKS 7.0 リリース

Amazon EMR on では、次の Amazon EMR 7.0.0 リリースが利用可能ですEKS。特定の emr-7.0.0-XXXX リリースを選択すると、関連するコンテナイメージタグなどの詳細が表示されます。

Flink releases

Flink アプリケーションを実行するEKSと、 EMR EMRの Amazon で次の Amazon 7.0.0 リリースを利用できます。

• emr-7.0.0-flink-latest

• emr-7.0.0-flink-2024321

• emr-7.0.0-flink-20231211

Spark releases

Spark アプリケーションを実行するEKSと、 EMR EMRの Amazon で次の Amazon 7.0.0 リリースを利用できます。

• emr-7.0.0-latest

• emr-7.0.0-20231211

• emr-7.0.0-spark-rapids-latest

• emr-7.0.0-spark-rapids-20231211

• emr-7.0.0-java11-latest

• emr-7.0.0-java11-20231211

• emr-7.0.0-java8-latest

• emr-7.0.0-java8-20231211

• emr-7.0.0-spark-rapids-java8-latest

• emr-7.0.0-spark-rapids-java8-20231211

• notebook-spark/emr-7.0.0-latest

• notebook-spark/emr-7.0.0-20231211

• notebook-spark/emr-7.0.0-spark-rapids-latest

• notebook-spark/emr-7.0.0-spark-rapids-20231211

• notebook-spark/emr-7.0.0-java11-latest

• notebook-spark/emr-7.0.0-java11-20231211

• notebook-spark/emr-7.0.0-java8-latest

• notebook-spark/emr-7.0.0-java8-20231211

• notebook-spark/emr-7.0.0-spark-rapids-java8-latest

• notebook-spark/emr-7.0.0-spark-rapids-java8-20231211

• notebook-python/emr-7.0.0-latest

• notebook-python/emr-7.0.0-20231211

• notebook-python/emr-7.0.0-spark-rapids-latest

• notebook-python/emr-7.0.0-spark-rapids-20231211

• notebook-python/emr-7.0.0-java11-latest

• notebook-python/emr-7.0.0-java11-20231211

• notebook-python/emr-7.0.0-java8-latest

• notebook-python/emr-7.0.0-java8-20231211

• notebook-python/emr-7.0.0-spark-rapids-java8-latest

• notebook-python/emr-7.0.0-spark-rapids-java8-20231211

リリースノート

Amazon on 7.0.0 EKS EMRのリリースノート

• サポートされているアプリケーション - AWS SDK for Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0

• サポートされているコンポーネント - aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

• サポートされている設定分類

  StartJobRun および CreateManagedEndpoint で使用する場合APIs：

  分類	説明
  core-site	core-site.xml Hadoop ファイル内の値を変更します。
  emrfs-site	EMRFS 設定を変更します。
  spark-metrics	metrics.properties Spark ファイル内の値を変更します。
  spark-defaults	spark-defaults.conf Spark ファイル内の値を変更します。
  spark-env	Spark 環境の値を変更します。
  spark-hive-site	hive-site.xml Spark ファイル内の値を変更します。
  spark-log4j	log4j2.properties Spark ファイル内の値を変更します。
  emr-job-submitter	ジョブ送信者ポッドの設定。

  特に CreateManagedEndpoint で使用する場合APIs：

  分類	説明
  jeg-config	Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py ファイルの値を変更します。
  jupyter-kernel-overrides	Jupyter カーネル仕様ファイル内のカーネルイメージの値を変更します。

  設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますspark-hive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

注目すべき機能

EMR 上の Amazon 7.0 リリースには、以下の機能が含まれていますEKS。

• アプリケーションのアップグレード — Amazon EMR on EKS 7.0.0 アプリケーションのアップグレードには、Spark 3.5、Flink 1.18、および Flink Operator 1.6.1 が含まれます。

• Flink Autoscaler パラメータの自動調整 - Flink Autoscaler がスケーリング計算に使用するデフォルトのパラメータは、特定のジョブに最適な値ではない場合があります。Amazon EMR on EKS 7.0.0 は、キャプチャされた特定のメトリクスの履歴傾向を使用して、ジョブに合わせた最適なパラメータを計算します。

変更

EMR での Amazon 7.0 リリースには、以下の変更が含まれていますEKS。

• Amazon Linux 2023 – 7.0.0 以降の Amazon EKS EMRでは、すべてのコンテナイメージは Amazon Linux 2023 に基づいています。

• Spark はデフォルトのランタイムとして Java 17 を使用します。Amazon EMR on EKS 7.0.0 Spark はデフォルトのランタイムとして Java 17 を使用します。必要に応じて、Amazon EMR on EKS 7.0 リリース リストに記載されている対応するリリースラベルの付いた Java 8 または Java 11 を使用するように切り替えることができます。