Amazon EMR on EKS 6.10.0 リリース - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR on EKS 6.10.0 リリース

Amazon EMR on では、次の Amazon EMR 6.10.0 リリースが利用可能ですEKS。特定の emr-6.10.0-XXXX リリースを選択すると、関連するコンテナイメージタグなどの詳細が表示されます。

Amazon 6.10.0 EMR のリリースノート

  • サポートされているアプリケーション ‐ AWS SDK for Java 1.12.397、Spark 3.3.1-amzn-0、Hudi 0.12.2-amzn-0、Iceberg 1.1.0-amzn-0、Delta 2.2.0。

  • サポートされているコンポーネント - aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • サポートされている設定分類 :

    StartJobRun および CreateManagedEndpoint で使用する場合APIs：

    分類 説明

    core-site

    Hadoop の core-site.xml ファイル内の値を変更します。

    emrfs-site

    EMRFS 設定を変更します。

    spark-metrics

    Spark の metrics.properties ファイル内の値を変更します

    spark-defaults

    Spark の spark-defaults.conf ファイル内の値を変更します

    spark-env

    Spark 環境の値を変更します。

    spark-hive-site

    Spark の hive-site.xml ファイル内の値を変更します

    spark-log4j

    Spark の log4j.properties ファイル内の値を変更します

    特に CreateManagedEndpoint で使用する場合APIs：

    分類 説明

    jeg-config

    Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py ファイルの値を変更します。

    jupyter-kernel-overrides

    Jupyter カーネル仕様ファイル内のカーネルイメージの値を変更します。

    設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますspark-hive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

注目すべき機能

  • Spark 演算子 - Amazon on 6EMREKS.10.0 以降では、Apache Spark の Kubernetes 演算子、または Spark 演算子 を使用して、独自の Amazon EKSクラスターで Amazon EMRリリースランタイムを使用して Spark アプリケーションをデプロイおよび管理できます。詳細については、「Spark 演算子を使用して Spark ジョブを実行する」を参照してください。

  • Java 11 - Amazon EMR on 6.10 EKS 以降では、Java 11 ランタイムで Spark を起動できます。このためには、emr-6.10.0-java11-latest をリリースラベルとして渡します。本番稼働用ワークロードを Java 8 イメージから Java 11 イメージに移行する前に、パフォーマンステストを検証して実行することをお勧めします。

  • Apache Spark 用の Amazon Redshift 統合の場合、Amazon EMR on EKS 6.10.0 は への依存関係を削除しminimal-json.jar、Spark のエグゼキュタークラスパスに必要なspark-redshift関連 jar を自動的に追加します: spark-redshift.jar、spark-avro.jar、および RedshiftJDBC.jar。

変更

  • EMRFS S3-optimizedコミッターが、parquet、ORC、およびテキストベースの形式 ( および を含むJSON) CSV でデフォルトで有効になりました。