Amazon EMRリリース 7.0.0 - Amazon EMR
7.0.0 アプリケーションバージョン7.0.0 リリースノート7.0.0 のデフォルト Java バージョン7.0.0 コンポーネントバージョン7.0.0 設定分類7.0.0 変更ログ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMRリリース 7.0.0

7.0.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: AmazonCloudWatchAgent、Delta、Flink、HBase、HCatalog、Hadoop、Hive、Hudi、Hue、Iceberg、JupyterEnterpriseGateway、JupyterHub、Livy、MXNet、Oozie、Phoenix、Pig、Presto、Spark、Sqoop、TensorFlow、Tez、Trino、Zeppelin、ZooKeeper。

次の表に、Amazon のこのリリースで利用可能なアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示します。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-7.2.0 emr-7.1.0 emr-7.0.0
AWS SDK for Java 2.25.48、1.12.7052.23.18、1.12.6562.20.160-amzn-0、1.12.569
Python 3.93.93.9
Scala 2.12.172.12.172.12.17
AmazonCloudWatchAgent1.300032.21.300032.21.300031.1
Delta3.1.03.0.03.0.0
Flink1.18.11.18.11.18.0
HBase2.4.172.4.172.4.17
HCatalog3.1.33.1.33.1.3
Hadoop3.3.63.3.63.3.6
Hive3.1.33.1.33.1.3
Hudi0.14.1-amzn-10.14.1-amzn-00.14.0-amzn-1
Hue4.11.04.11.04.11.0
Iceberg1.5.0-amzn-01.4.3-amzn-01.4.2-amzn-0
JupyterEnterpriseGateway2.6.02.6.02.6.0
JupyterHub1.5.01.5.01.5.0
Livy0.8.00.8.00.7.1
MXNet1.9.11.9.11.9.1
Mahout - - -
Oozie5.2.15.2.15.2.1
Phoenix5.1.35.1.35.1.3
Pig0.17.00.17.00.17.0
Presto0.2850.2840.283
Spark3.5.13.5.03.5.0
Sqoop1.4.71.4.71.4.7
TensorFlow2.11.02.11.02.11.0
Tez0.10.20.10.20.10.2
Trino (PrestoSQL)436435426
Zeppelin0.10.10.10.10.10.1
ZooKeeper3.9.13.9.13.5.10

7.0.0 リリースノート

次のリリースノートには、Amazon EMRリリース 7.0.0 に関する情報が含まれています。6.15.0 からの変更が含まれています。

新機能

  • アプリケーションのアップグレード - Amazon EMR 7.0.0 application upgrades include Python 3.9, Spark 3.5, Flink 1.18, and Delta 3.0。また、このリリースでは、Amazon CloudWatch エージェント アプリケーションのサポートが追加され、Ganglia のサポートは削除されました。

  • Amazon Corretto 17 – Amazon EMRリリース 7.0 以降には、Apache Livy を除く Corretto 17 ( 17JDK) をサポートするアプリケーション用に、デフォルトで Amazon Corretto 17 (JDKOpen 上に構築) が付属しています。このリリースでサポートされているアプリケーションJDKのバージョンの詳細については、「」を参照してください7.0.0 のデフォルト Java バージョン。

  • Amazon Linux 2023 – 7.0 リリースでは、Amazon EMRクラスターはデフォルトで AL2023 で実行されるようになりました。これがデフォルトAMIバージョンにどのように影響するかについては、「Amazon EMR管理ガイド」の「ソフトウェア更新に関する考慮事項」を参照してください。また、AL2023 は Python 2.7 を削除したため、Python を必要とするコンポーネントは Python 3 で記述する必要があります。

  • を使用した S3 on Outposts s3a – Amazon は、s3aファイルシステムを使用した Amazon S3 on Outposts バケットをサポートするEMRようになりました。Outposts 上の S3 の詳細については、Amazon Simple Storage Service ユーザーガイドの「S3 on Outposts とは」を参照してください。

既知の問題

  • Python バージョン 3.10 以降 PySpark で を使用している場合、一度に複数の行を実行することはできません。各行を 1 つずつ実行する必要があります。

変更点、機能強化、解決した問題

  • クラスター内のすべてのインスタンスの状態を維持するために、Amazon は Apache 、Apache YARN、および Kerberos HDFSとEMR統合します。7.0 では、スケーリングやその他の操作により終了したインスタンスの状態を確実に削除できるように、これらの統合を強化しました。頻繁にスケーリングされ、その存続期間中に終了したインスタンスが何千も蓄積されるため、マネージドスケーリングが有効になっている長期間有効なクラスターでは特に重要です。

  • このリリースでは、Kerberos 設定が改善され、 AESベースの暗号のサポートのみが含まれるようになりました。非AESベースの暗号KDCを使用する Kerberos は、Amazon EMRリリース 7.0.0 以降で実行されるEMRクラスターではサポートされなくなりました。AESベースの暗号は、クラスターに対して最も強力なセキュリティを提供します。

  • 2.x 移行の一環として AWS SDK、Amazon EMR 7.0 には互換性のために Spark Kinesis コネクタの更新が含まれています。このアップデートは Apache Spark のコミュニティバージョンではご利用いただけません。7.0 より前の Amazon EMRリリースの Spark Kinesis コネクタを使用する場合は、ワークロードを Amazon SDK 7.0 に移行する前に、アプリケーションコードを 2.x EMR で実行するように移行する必要があります。詳細については、「Amazon EMR 7.0 用スパークキネシスコネクターの SDK 2.x への移行」を参照してください。

  • Amazon 5.36 以上、6EMR.6 以上、または 7.0 以上の最新のパッチリリースでクラスターを起動すると、Amazon EMRはデフォルトの Amazon に対して最新の Amazon Linux 2023 または Amazon Linux 2 EMR リリースを使用しますAMI。詳細については、「デフォルトの Amazon Linux for Amazon の使用AMIEMR」を参照してください。

    OsReleaseLabel (Amazon Linux バージョン） Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン
    2023 年 5 月 2024 日0708.0 6.1.96-102.177.amzn2023 2024 年 7 月 23 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (スペイン）、 欧州 (フランクフルト）、 欧州 (チューリッヒ）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (ハイデラバード） アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 中東 (UAE）、 カナダ (中部）、 イスラエル (テルアビブ）、 カナダ西部 (カルガリー）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）
    2023 年 3 月 2024 日 304.0 6.1.79-99.164.amzn2023 2024 年 3 月 12 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (スペイン）、 欧州 (フランクフルト）、 欧州 (チューリッヒ）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (ハイデラバード） アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 中東 (UAE）、 カナダ (中部）、 イスラエル (テルアビブ）、 カナダ西部 (カルガリー）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、中国 (北京）、 中国 (寧夏）
    2023 年 3 月 2024 日 219.0 6.1.77-99.164.amzn2023 2024 年 3 月 1 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (スペイン）、 欧州 (フランクフルト）、 欧州 (チューリッヒ）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (ハイデラバード） アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 中東 (UAE）、 カナダ (中部）、 イスラエル (テルアビブ）、 カナダ西部 (カルガリー）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、中国 (北京）、 中国 (寧夏）
    2023 年 3 月 2024 日 205.0 6.1.75-99.163.amzn2023 2024 年 2 月 19 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (スペイン）、 欧州 (フランクフルト）、 欧州 (チューリッヒ）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (ハイデラバード） アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 中東 (UAE）、 カナダ (中部）、 イスラエル (テルアビブ）、 カナダ西部 (カルガリー）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、中国 (北京）、 中国 (寧夏）
    2023 年 3 月 2024 日 122.0 6.1.72-96.166.amzn2023 2024 年 2 月 5 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (スペイン）、 欧州 (フランクフルト）、 欧州 (チューリッヒ）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (ハイデラバード） アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 中東 (UAE）、 カナダ (中部）、 イスラエル (テルアビブ）、 カナダ西部 (カルガリー）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、中国 (北京）、 中国 (寧夏）
    2023 年 3 月 2024 日 108.0 6.1.72-96.166.amzn2023 2024 年 1 月 24 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (スペイン）、 欧州 (フランクフルト）、 欧州 (チューリッヒ）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (ハイデラバード） アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 中東 (UAE）、 カナダ (中部）、 イスラエル (テルアビブ）、 カナダ西部 (カルガリー）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、中国 (北京）、 中国 (寧夏）
    2023 年 3 月 2023 日 1211.4 6.1.66-91.160.amzn2023 2023 年 12 月 19 日 米国東部 (バージニア北部）、 米国東部 (オハイオ）、 米国西部 (北カリフォルニア）、 米国西部 (オレゴン）、 欧州 (ストックホルム）、 欧州 (ミラノ）、 欧州 (スペイン）、 欧州 (フランクフルト）、 欧州 (チューリッヒ）、 欧州 (アイルランド）、 欧州 (ロンドン）、 欧州 (パリ）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (ハイデラバード） アジアパシフィック (東京）、 アジアパシフィック (ソウル）、 アジアパシフィック (大阪）、 アジアパシフィック (シンガポール）、 アジアパシフィック (シドニー）、 アジアパシフィック (ジャカルタ）、 アジアパシフィック (メルボルン）、 アフリカ (ケープタウン）、 南米 (サンパウロ）、 中東 (バーレーン）、 中東 (UAE）、 カナダ (中部）、 イスラエル (テルアビブ）、 AWS GovCloud （米国西部）、 AWS GovCloud （米国東部）、 中国 (北京）、 中国 (寧夏）

7.0.0 のデフォルト Java バージョン

Amazon EMRリリース 7.0 以降には、Apache Livy を除く Corretto 17 ( 17JDK) をサポートするアプリケーション用に、デフォルトで Amazon Corretto 17 (JDKOpen 上に構築) が付属しています。

次の表は、Amazon 7.0.0 のアプリケーションのデフォルトの EMR Java バージョンを示しています。クラスターのデフォルトを変更する場合は、クラスターJVMで実行されている各アプリケーションの特定の Java 仮想マシンを使用するようにアプリケーションを設定「」の手順に従います。1 つのクラスターに使用できる Java ランタイムバージョンは 1 つだけです。Amazon EMRは、同じクラスター上の異なるランタイムバージョンでの異なるノードまたはアプリケーションの実行をサポートしていません。

アプリケーション Java/Amazon Corretto バージョン (デフォルトは太字)
差分 17、11、8
Flink 11、8
HBase 11、8
HCatalog 17、11、8
Hadoop 17、11、8
[Hive] 17、11、8
Hudi 17、11、8
Iceberg 17、11、8
Livy 17、11、8
Oozie 17、11、8
フェニックス 8
PrestoDB 8
Spark 17、11、8
Spark RAPIDS 17、11、8
Sqoop 8
Tez 17、11、8
Trino 17
Zeppelin 8
Pig 8
Zookeeper 8

7.0.0 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有のものでEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは、通常、 コミュニティにある最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できます。

Amazon の一部のコンポーネントEMRは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentの という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2。

コンポーネント Version 説明
adot-java-agent1.31.0アプリケーションデーモンからメトリクスを収集する Java エージェント。
delta3.0.0Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。
delta-standalone-connectors0.6.0Delta コネクタは、Flink、Hive、Presto などのエンジンと Delta Lake を統合するためのさまざまなランタイムを提供します。
emr-amazon-cloudwatch-agent1.300031.1-amzn-0Amazon EC2インスタンスから内部システムレベルのメトリクスとカスタムアプリケーションメトリクスを収集するアプリケーション。
emr-ddb5.2.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies3.9.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.13.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-notebook-env1.7.0Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp2.30.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select2.9.0EMR S3Select コネクタ
emr-wal-cli1.2.1emrwal のリスト/削除に使用される CLI。
emrfs2.61.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.18.0-amzn-0Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
flink-jobmanager-config1.18.0-amzn-0Apache Flink のEMRノード上のリソースの管理 JobManager。
hadoop-client3.3.6-amzn-2'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode3.3.6-amzn-2HDFS ブロックを保存するためのノードレベルのサービス。
hadoop-hdfs-library3.3.6-amzn-2HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode3.3.6-amzn-2HDFS ファイル名とブロックの場所を追跡するための サービス。
hadoop-hdfs-journalnode3.3.6-amzn-2HDFS HA クラスターで Hadoop ファイルシステムジャーナルを管理するための サービス。
hadoop-httpfs-server3.3.6-amzn-2HTTP HDFSオペレーション用の エンドポイント。
hadoop-kms-server3.3.6-amzn-2Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred3.3.6-amzn-2MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。
hadoop-yarn-nodemanager3.3.6-amzn-2YARN 個々のノードのコンテナを管理するための サービス。
hadoop-yarn-resourcemanager3.3.6-amzn-2YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。
hadoop-yarn-timeline-server3.3.6-amzn-2YARN アプリケーションの現在および履歴情報を取得するためのサービス。
hbase-hmaster2.4.17-amzn-4リージョンの調整と管理コマンドの実行を担当する HBaseクラスターのサービス。
hbase-region-server2.4.17-amzn-41 つ以上のHBaseリージョンに対応するサービス。
hbase-client2.4.17-amzn-4HBase コマンドラインクライアント。
hbase-rest-server2.4.17-amzn-4のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server2.4.17-amzn-4Thrift エンドポイントを に提供するサービスHBase。
hbase-operator-tools2.4.17-amzn-4Apache HBaseクラスターの修復ツール。
hcatalog-client3.1.3-amzn-9hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server3.1.3-amzn-9分散アプリケーション用のテーブルおよびストレージ管理レイヤーHCatalogである を提供するサービス。
hcatalog-webhcat-server3.1.3-amzn-9HTTP へのRESTインターフェイスを提供する エンドポイントHCatalog。
hive-client3.1.3-amzn-9Hive コマンドラインクライアント。
hive-hbase3.1.3-amzn-9Hive-hbase クライアント。
hive-metastore-server3.1.3-amzn-9Hadoop オペレーションSQLで のメタデータを保存するセマンティックリポジトリである Hive メタストアにアクセスするためのサービス。
hive-server23.1.3-amzn-9Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.14.0-amzn-1データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-presto0.14.0-amzn-1Presto を Hudi で実行するためのバンドルライブラリ。
hudi-trino0.14.0-amzn-1Trino を Hudi で実行するためのバンドルライブラリ。
hudi-spark0.14.0-amzn-1Spark を Hudi で実行するためのバンドルライブラリ。
hue-server4.11.0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
iceberg1.4.2-amzn-0Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。
jupyterhub1.5.0Jupyter Notebook のマルチユーザーサーバー
livy-server0.7.1-incubatingREST Apache Spark とやり取りするための インターフェイス
nginx1.12.1nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです
mxnet1.9.1フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server5.5.68+MariaDB データベースサーバー。
nvidia-cuda11.8.0Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.1Oozie コマンドラインクライアント。
oozie-server5.2.1Oozie ワークフローリクエストを受け入れるサービス。
opencv4.7.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library5.1.3サーバーとクライアントの Phoenix ライブラリ
phoenix-connectors5.1.3Spark-3 用 Apache Phoenix-Connectors
phoenix-query-server5.1.3Avatica JDBCへのアクセスとプロトコルバッファ、JSONフォーマットアクセスを提供する軽量サーバー API
presto-coordinator0.283-amzn-1presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.283-amzn-1いくつかのクエリを実行するサービス。
presto-client0.283-amzn-1Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
trino-coordinator426-amzn-1trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
trino-worker426-amzn-1いくつかのクエリを実行するサービス。
trino-client426-amzn-1Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r4.1.3統計的コンピューティング用 R プロジェクト
ranger-kms-server2.0.0Apache Ranger Key Management System
spark-client3.5.0-amzn-0Spark コマンドラインクライアント。
spark-history-server3.5.0-amzn-0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn3.5.0-amzn-0のインメモリ実行エンジンYARN。
spark-yarn-slave3.5.0-amzn-0YARN スレーブに必要な Apache Spark ライブラリ。
spark-rapids23.10.0-amzn-0で Apache Spark を高速化する Nvidia Spark RAPIDSプラグインGPUs。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.11.0TensorFlow 高性能な数値計算のための オープンソースソフトウェアライブラリ。
tez-on-yarn0.10.2-amzn-7Tez YARNアプリケーションとライブラリ。
tez-on-worker0.10.2-amzn-7ワーカーノードの tez YARNアプリケーションとライブラリ。
webserver2.4.58Apache HTTPサーバー。
zeppelin-server0.10.1インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.5.10設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.5.10ZooKeeper コマンドラインクライアント。

7.0.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

emr-7.0.0 の分類
分類 説明

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

container-executor

Hadoop YARNの container-executor.cfg ファイルの値を変更します。

container-log4j

Hadoop YARNの container-log4j.properties ファイルの値を変更します。

core-site

Hadoop の core-site.xml ファイルの値を変更します。

docker-conf

Docker 関連の設定を変更します。

emrfs-site

EMRFS 設定を変更します。

flink-conf

flink-conf.yaml の設定を変更します。

flink-log4j

Flink log4j.properties の設定を変更します。

flink-log4j-session

Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

hbase

Amazon EMRが厳選した Apache の設定HBase。

hbase-env

HBaseの環境の値を変更します。

hbase-log4j

HBaseの hbase-log4j.properties ファイルの値を変更します。

hbase-metrics

HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。

hbase-policy

HBaseの hbase-policy.xml ファイルの値を変更します。

hbase-site

HBaseの hbase-site.xml ファイルの値を変更します。

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

hdfs-env

HDFS 環境の値を変更します。

hdfs-site

HDFSの hdfs-site.xml の値を変更します。

hcatalog-env

HCatalogの環境の値を変更します。

hcatalog-server-jndi

HCatalogの jndi.properties の値を変更します。

hcatalog-server-proto-hive-site

HCatalogの proto-hive-site.xml の値を変更します。

hcatalog-webhcat-env

HCatalog W のebHCat環境の値を変更します。

hcatalog-webhcat-log4j2

HCatalog W ebHCatの log4j2.properties の値を変更します。

hcatalog-webhcat-site

HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。

hive

Apache Hive の Amazon EMRが厳選した設定。

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

hive-env

Hive 環境の値を変更します。

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

hive-site

Hive の hive-site.xml ファイルの値を変更します

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

hue-ini

Hue の ini ファイルの値を変更します

httpfs-env

HTTPFS 環境の値を変更します。

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

hadoop-kms-env

Hadoop KMS環境の値を変更します。

hadoop-kms-java-home

Hadoop の Java KMS ホームを変更する

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

hudi-env

Hudi 環境の値を変更します。

hudi-defaults

Hudi の hudi-defaults.conf ファイルの値を変更します。

iceberg-defaults

Iceberg の iceberg-defaults.conf ファイルの値を変更します。

delta-defaults

Delta の delta-defaults.conf ファイルの値を変更します。

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

jupyter-hub-conf

JupyterHubsの jupyterhub_config.py ファイルの値を変更します。

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

livy-conf

Livy の livy.conf ファイルの値を変更します。

livy-env

Livy 環境の値を変更します。

livy-log4j2

Livy の log4j2.properties の設定を変更します。

mapred-env

MapReduce アプリケーションの環境の値を変更します。

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

oozie-env

Oozie の環境の値を変更します。

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

pig-env

Pig 環境の値を変更します。

pig-properties

Pig の pig.properties ファイルの値を変更します。

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

presto-log

Presto の log.properties ファイルの値を変更します。

presto-config

Presto の config.properties ファイルの値を変更します。

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

presto-env

Presto の presto-env.sh ファイルの値を変更します。

presto-node

Presto の node.properties ファイルの値を変更します。

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

presto-connector-lakeformation

Presto の lakeformation.properties ファイルの値を変更します。

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

trino-log

Trino の log.properties ファイルの値を変更します。

trino-config

Trino の config.properties ファイルの値を変更します。

trino-password-authenticator

Trino の password-authenticator.properties ファイルの値を変更します。

trino-env

Trino の trino-env.sh ファイルの値を変更します。

trino-node

Trino の node.properties ファイルの値を変更します。

trino-connector-blackhole

Trino の blackhole.properties ファイルの値を変更します。

trino-connector-cassandra

Trino の cassandra.properties ファイルの値を変更します。

trino-connector-delta

Trino の delta.properties ファイルの値を変更します。

trino-connector-hive

Trino の hive.properties ファイルの値を変更します。

trino-exchange-manager

Trino の exchange-manager.properties ファイルの値を変更します。

trino-connector-iceberg

Trino の iceberg.properties ファイルの値を変更します。

trino-connector-hudi

Trino の hudi.properties ファイルの値を変更します。

trino-connector-jmx

Trino の jmx.properties ファイルの値を変更します。

trino-connector-kafka

Trino の kafka.properties ファイルの値を変更します。

trino-connector-localfile

Trino の localfile.properties ファイルの値を変更します。

trino-connector-memory

Trino の memory.properties ファイルの値を変更します。

trino-connector-mongodb

Trino の mongodb.properties ファイルの値を変更します。

trino-connector-mysql

Trino の mysql.properties ファイルの値を変更します。

trino-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

trino-connector-raptor

Trino の raptor.properties ファイルの値を変更します。

trino-connector-redis

Trino の redis.properties ファイルの値を変更します。

trino-connector-redshift

Trino の redshift.properties ファイルの値を変更します。

trino-connector-tpch

Trino の tpch.properties ファイルの値を変更します。

trino-connector-tpcds

Trino の tpcds.properties ファイルの値を変更します。

ranger-kms-dbks-site

Ranger の dbks-site.xml ファイルの値を変更しますKMS。

ranger-kms-site

Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。

ranger-kms-env

Ranger KMS環境の値を変更します。

ranger-kms-logback

Ranger の kms-logback.xml ファイルの値を変更しますKMS。

ranger-kms-db-ca

Ranger とSSLの接続で S3 SQLの CA ファイルの値を変更しますKMS。

spark

Apache EMRSpark の Amazon が厳選した設定。

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

spark-env

Spark 環境の値を変更します。

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

spark-log4j2

Spark の log4j2.properties ファイルの値を変更します。

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

sqoop-env

Sqoop の環境の値を変更します。

sqoop-oraoop-site

Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

tez-site

Tez の tez-site.xml ファイルの値を変更します。

yarn-env

YARN 環境の値を変更します。

yarn-site

YARNの yarn-site.xml ファイルの値を変更します。

zeppelin-env

Zeppelin 環境の値を変更します。

zeppelin-site

zeppelin-site.xml の構成設定を変更します。

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

zookeeper-log4j

ZooKeeperの log4j.properties ファイルの値を変更します。

7.0.0 変更ログ

7.0.0 リリースおよびリリースノートの変更ログ
日付 イベント 説明

2023-12-29

 デプロイ完了 Amazon EMR 7.0.0 がサポートされているすべてのリージョンに完全にデプロイされました
2023-12-28 ドキュメント公開 Amazon EMR 7.0.0 リリースノートが初めて公開されました
2023-12-19 初回リリース Amazon EMR 7.0.0 が最初の商用リージョンに初めてデプロイされました