翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMR on EKS 6.15.0 リリース
このページでは、Amazon EMR on EKS デプロイに固有の Amazon EMR の新しい機能と更新された機能について説明します。Amazon EC2 で実行されている Amazon EMR の詳細と Amazon EMR 6.15.0 リリース全般の詳細については、「Amazon EMR リリースガイド」の「Amazon EMR 6.15.0」を参照してください。
Amazon EMR on EKS 6.15 リリース
Amazon EMR on EKS では、次の Amazon EMR 6.15.0 リリースが利用可能です。特定の emr-6.15.0-XXXX リリースを選択すると、関連するコンテナイメージタグなどの詳細が表示されます。
リリースノート
Amazon EMR on EKS 6.15.0 リリースノート
-
サポートされているアプリケーション - AWS SDK for Java 1.12.569, Apache Spark 3.4.1-amzn-2, Apache Flink 1.17.1-amzn-1, Apache Hudi 0.14.0-amzn-0, Apache Iceberg 1.4.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.08.01-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
サポートされているコンポーネント -
aws-sagemaker-spark-sdk
、emr-ddb
、emr-goodies
、emr-s3-select
、emrfs
、hadoop-client
、hudi
、hudi-spark
、iceberg
、spark-kubernetes
。 -
サポートされている設定分類
StartJobRun および CreateManagedEndpoint APIsで使用する場合:
分類 説明 core-site
core-site.xml
Hadoop ファイル内の値を変更します。emrfs-site
EMRFS の設定を変更します。
spark-metrics
metrics.properties
Spark ファイル内の値を変更します。spark-defaults
spark-defaults.conf
Spark ファイル内の値を変更します。spark-env
Spark 環境の値を変更します。
spark-hive-site
hive-site.xml
Spark ファイル内の値を変更します。spark-log4j
log4j2.properties
Spark ファイル内の値を変更します。emr-job-submitter
API で特に使用する場合 CreateManagedEndpointAPIs:
分類 説明 jeg-config
Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py
ファイルの値を変更します。jupyter-kernel-overrides
Jupyter カーネル仕様ファイル内のカーネルイメージの値を変更します。
設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、
spark-hive-site.xml
などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。
注目すべき機能
Amazon EMR on EKS の 6.15 リリースには、以下の機能が含まれています。
-
Apache Flink を使用した EKS 上の Amazon EMR - EKS 6.15.0 上の Amazon EMR を使用すると、Apache Flink ベースのアプリケーションを同じ Amazon EKS クラスター上の他のタイプのアプリケーションとともに実行できます。これにより、リソース使用率が向上し、インフラストラクチャ管理が簡素化されます。Flink アプリケーションのスポットインスタンスで適切にデコミッションを行い、Amazon EBS によるきめ細かなリカバリとタスクローカルリカバリにより再起動時間を短縮できます。アクセシビリティとモニタリング機能には、Amazon S3 に保存されている jar で Flink アプリケーションを起動する機能、 AWS Glue Data Catalog へのアクセス、Amazon S3 と Amazon との統合のモニタリング CloudWatch、コンテナログのローテーションなどがあります。