翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMRリリース 6.15.0
6.15.0 アプリケーションバージョン
このリリースでは、次のアプリケーションがサポートされています。 Delta
次の表は、このリリースの Amazon で利用可能なアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示しています。
Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。
emr-6.15.0 | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | |
---|---|---|---|---|
AWS SDK Java 用 | 2.20.160-amzn-0、1.12.569 | 1.12.543 | 1.12.513 | 1.12.490 |
Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 |
Scala | 2.12.17 | 2.12.15 | 2.12.15 | 2.12.15 |
AmazonCloudWatchAgent | - | - | - | - |
差分 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
Flink | 1.17.1 | 1.17.1 | 1.17.0 | 1.17.0 |
Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
HBase | 2.4.17 | 2.4.17 | 2.4.17 | 2.4.17 |
HCatalog | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Hadoop | 3.3.6 | 3.3.3 | 3.3.3 | 3.3.3 |
[Hive] | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Hudi | 0.14.0-amzn-0 | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 |
Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 |
Iceberg | 1.4.0-amzn-0 | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 |
JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 |
JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.4.1 |
Livy | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 |
Mahout | - | - | - | - |
Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
フェニックス | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.3 |
Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
Presto | 0.283 | 0.281 | 0.281 | 0.281 |
Spark | 3.4.1 | 3.4.1 | 3.4.1 | 3.4.0 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 |
Tez | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 |
Trino (Presto SQL) | 426 | 422 | 414 | 414 |
Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 |
ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 |
6.15.0 リリースノート
次のリリースノートには、Amazon EMRリリース 6.15.0 に関する情報が含まれています。6.14.0 からの変更が含まれています。リリースタイムラインの詳細については、「6.15.0 変更ログ」を参照してください。
新機能
-
アプリケーションのアップグレード – Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
-
で実行されるEMRクラスターの起動が高速化 EC2
– EC2クラスターEMRで Amazon を起動する速度が最大 35% 向上しました。この改善により、お客様の大多数はクラスターを 5 分以内に起動できます。 -
CodeWhisperer for EMR Studio – Amazon CodeWhisperer EMR Studio で Amazon を使用して、 でコードを記述する際にリアルタイムのレコメンデーションを取得できるようになりました JupyterLab。 CodeWhisperer は、コメントを完了し、1 行のコードを完了し、レコメンデーションを行い line-by-line、フルフォーム関数を生成できます。
-
Flink を使用したジョブの再起動時間の短縮 – Amazon EMR6.15.0 以降では、タスクの復旧またはスケーリングオペレーション中のジョブの再起動時間を改善するために、Apache Flink にいくつかの新しいメカニズムが用意されています。これにより、実行グラフの回復と再開の速度を最適化してジョブの安定性を高めることができます。
-
オープンテーブル形式のテーブルレベルおよびきめ細かなアクセスコントロール – Amazon EMR6.15.0 以降では、 AWS Glue Data Catalog のデータにアクセスするEC2クラスターEMRで Amazon で Spark ジョブを実行すると、 AWS Lake Formation を使用して Hudi、Iceberg、または Delta Lake ベースのテーブルにテーブル、行、列、およびセルレベルのアクセス許可を適用できます。
-
Hadoop のアップグレード – Amazon EMR 6.15.0 には、Apache Hadoop をバージョン 3.3.6 にアップグレードする機能が含まれています。Hadoop 3.3.6 は、2023 年 EMR 6 月に Apache によってリリースされた Amazon 6.15 デプロイ時の最新バージョンでした。Amazon の以前のリリース EMR (6.9.0~6.14.x) では、Hadoop 3.3.3 が使用されていました。
このアップグレードには、数百の改善と修正、および再設定可能なデータノードパラメータ、すべてのライブデータノードで一括再設定オペレーションを開始する
DFSAdmin
オプション、シークヘビーリーダーAPIが読み取りする複数の範囲を指定できるようにするベクトル化機能が含まれています。Hadoop 3.3.6 では、 が他のストレージシステムの実装で実行HBaseできるように、先行書き込みログ (WAL) のサポートHDFSAPIsとセマンティクスも追加されています。詳細については、「Apache Hadoop ドキュメント」のバージョン 3.3.4、3.3.5 、3.3.6 の変更ログを参照してください。 -
for Java、バージョン 2 のサポート AWS SDK - アプリケーションが v2 をサポートしている場合、Amazon EMR 6.15.0 アプリケーションは Java バージョン 1.12.569
または 2.20.160 に使用できます AWS SDK。for AWS SDKJava 2.x は、バージョン 1.x コードベースの大規模な書き換えです。今回のバージョンは Java 8 以降をベースに構築されており、これまで要望の声が高かった機能が複数追加されています。これには、ノンブロッキング I/O のサポートや、実行時に別のHTTP実装をプラグインする機能が含まれます。SDK for Java v1 から v2 への移行ガイドなどの詳細については、AWS SDK「 for Java バージョン 2 ガイド」を参照してください。
変更点、機能強化、解決した問題
高可用性EMRクラスターを改善するために、このリリースでは、 を使用するローカルホスト上の Amazon EMR デーモンへの接続を有効にします。IPv6 エンドポイント。
このリリースでは、高可用性クラスターのすべてのプライマリノードで ZooKeeper プロビジョニングされた との通信に TLS 1.2 を有効にします。
このリリースでは、プライマリノードで保持されるトランザクションログファイルの管理 ZooKeeper が改善され、ログファイルが範囲外に増加し、クラスターオペレーションが中断されるシナリオを最小限に抑えます。
このリリースでは、ノード内通信の可用性の高いEMRクラスターに対する耐障害性が向上します。この改善により、ブートストラップアクションが失敗したり、クラスターの起動に失敗したりする可能性が低くなります。
-
Amazon 6.15.0 EMR の Tez では、Tez グループ分割で入力分割を非同期的に開くように指定できる設定が導入されています。これにより、1 つの Tez グループ分割で多数の入力分割がある場合に、読み取りクエリのパフォーマンスが向上します。詳細については、「Tez 非同期スプリットオープン」を参照してください。
Amazon EMR5.36 以降、6.6 以降、または 7.0 以降の最新のパッチリリースでクラスターを起動すると、Amazon はデフォルトの Amazon EMR に最新の Amazon Linux 2023 または Amazon Linux 2 リリースEMRを使用しますAMI。詳細については、「デフォルトの Amazon Linux AMI for Amazon の使用EMR」を参照してください。
OsReleaseLabel (Amazon Linux バージョン) Amazon Linux カーネルバージョン 利用可能日 サポートされるリージョン 2.0.20241001.0 4.14.352 2024 年 10 月 4 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240816.0 4.14.350 2024 年 8 月 21 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240809.0 4.14.349 2024 年 8 月 20 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240719.0 4.14.348 2024 年 7 月 25 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20240709.1 4.14.348 2024 年 7 月 23 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (フランクフルト)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 カナダ (中部)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 アジアパシフィック (ハイデラバード)、 中東 (UAE)、 欧州 (スペイン)、 欧州 (チューリッヒ)、 アジアパシフィック (メルボルン)、 イスラエル (テルアビブ) カナダ西部 (カルガリー) 2.0.20240223.0 4.14.336 2024 年 3 月 8 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 カナダ西部 (カルガリー) 2.0.20240131.0 4.14.336 2024 年 2 月 14 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ)、 AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 カナダ西部 (カルガリー) 2.0.20240124.0 4.14.336 2024 年 2 月 7 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 カナダ西部 (カルガリー) 2.0.20240109.0 4.14.334 2024 年 1 月 24 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)、 カナダ西部 (カルガリー) 2.0.20231218.0 4.14.330 2024 年 1 月 2 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20231206.0 4.14.330 2023 年 12 月 22 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2023 年 2 月 0 日1116.0 4.14.328 2023 年 12 月 11 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏) 2.0.20231101.0 4.14.327 2023 年 11 月 13 日 米国東部 (バージニア北部)、 米国東部 (オハイオ)、 米国西部 (北カリフォルニア)、 米国西部 (オレゴン)、 欧州 (ストックホルム)、 欧州 (ミラノ)、 欧州 (スペイン)、 欧州 (フランクフルト)、 欧州 (チューリッヒ)、 欧州 (アイルランド)、 欧州 (ロンドン)、 欧州 (パリ)、 アジアパシフィック (香港) アジアパシフィック (ムンバイ)、 アジアパシフィック (ハイデラバード)、 アジアパシフィック (東京)、 アジアパシフィック (ソウル)、 アジアパシフィック (大阪)、 アジアパシフィック (シンガポール)、 アジアパシフィック (シドニー)、 アジアパシフィック (ジャカルタ)、 アジアパシフィック (メルボルン)、 アフリカ (ケープタウン)、 南米 (サンパウロ)、 中東 (バーレーン)、 中東 (UAE)、 カナダ (中部)、 イスラエル (テルアビブ) AWS GovCloud (米国西部)、 AWS GovCloud (米国東部)、 中国 (北京)、 中国 (寧夏)
6.15.0 のデフォルト Java バージョン
Amazon EMRリリース 6.12.0 以降では、Trino を除く Amazon Corretto 8 のすべてのアプリケーションがデフォルトでサポートされています。Trino の場合、Amazon は Amazon EMRリリース 6.9.0 以降、デフォルトで Amazon Corretto 17 EMRをサポートしています。Amazon は、Amazon Corretto 11 および 17 で一部のアプリケーションEMRもサポートしています。これらのアプリケーションのリストを以下の表に示します。クラスターJVMのデフォルトを変更する場合は、クラスターで実行される特定の Java 仮想マシンを使用するようにアプリケーションを設定各アプリケーションの の手順に従います。1 つのクラスターに使用できる Java ランタイムバージョンは 1 つだけです。Amazon EMRは、同じクラスターで異なるランタイムバージョンで異なるノードやアプリケーションを実行することはサポートしていません。
Amazon は Apache Spark、Apache Hadoop、Apache Hive で Amazon Corretto 11 と 17 の両方EMRをサポートしていますが、これらのバージョンの Corretto を使用すると、一部のワークロードでパフォーマンスが低下する可能性があります。デフォルトを変更する前に、ワークロードをテストすることをお勧めします。
次の表は、Amazon 6.15.0 のアプリケーションのデフォルトの Java EMR バージョンを示しています。
アプリケーション | Java/Amazon Corretto バージョン (デフォルトは太字) |
---|---|
差分 | 17、11、8 |
Flink | 11、8 |
Ganglia | 8 |
HBase | 11、8 |
HCatalog | 17、11、8 |
Hadoop | 17、11、8 |
[Hive] | 17、11、8 |
Hudi | 17、11、8 |
Iceberg | 17、11、8 |
Livy | 17、11、8 |
Oozie | 17、11、8 |
フェニックス | 8 |
PrestoDB | 8 |
Spark | 17、11、8 |
Spark RAPIDS | 17、11、8 |
Sqoop | 8 |
Tez | 17、11、8 |
Trino | 17 |
Zeppelin | 8 |
Pig | 8 |
Zookeeper | 8 |
6.15.0 コンポーネントバージョン
このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有でEMR、システムプロセスと機能用にインストールされます。これらは通常、emr
または aws
で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは通常、コミュニティで見つかった最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できるようにします。
Amazon の一部のコンポーネントは、コミュニティバージョンEMRとは異なります。これらのコンポーネントには、
の形式のバージョンラベルがあります。CommunityVersion
-amzn-EmrVersion
は 0 から始まります。例えば、バージョン 2.2 EmrVersion
myapp-component
の という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2
。
コンポーネント | Version | 説明 |
---|---|---|
aws-sagemaker-spark-sdk | 1.4.2 | Amazon SageMaker Spark SDK |
delta | 2.4.0 | Delta Lake は、膨大な分析データセット用のオープンテーブル形式です。 |
delta-standalone-connectors | 0.6.0 | Delta コネクタは、Flink、Hive、Presto などのエンジンと Delta Lake を統合するためのさまざまなランタイムを提供します。 |
emr-ddb | 5.2.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 |
emr-goodies | 3.8.0 | Hadoop エコシステムに役立つ追加のライブラリ。 |
emr-kinesis | 3.12.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 |
emr-notebook-env | 1.7.0 | Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env |
emr-s3-dist-cp | 2.29.0 | Amazon S3 に最適化された分散コピーアプリケーション。 |
emr-s3-select | 2.8.0 | EMR S3Select コネクタ |
emr-wal-cli | 1.2.0 | emrwal のリスト/削除に使用される CLI。 |
emrfs | 2.60.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 |
flink-client | 1.17.1-amzn-1 | Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。 |
flink-jobmanager-config | 1.17.1-amzn-1 | Apache Flink のEMRノード上のリソースの管理 JobManager。 |
ganglia-monitor | 3.7.2 | Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。 |
ganglia-metadata-collector | 3.7.2 | Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。 |
ganglia-web | 3.7.1 | Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。 |
hadoop-client | 3.3.6-amzn-1 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 |
hadoop-hdfs-datanode | 3.3.6-amzn-1 | HDFS ブロックを保存するためのノードレベルのサービス。 |
hadoop-hdfs-library | 3.3.6-amzn-1 | HDFS コマンドラインクライアントとライブラリ |
hadoop-hdfs-namenode | 3.3.6-amzn-1 | HDFS ファイル名とブロックの場所を追跡するための サービス。 |
hadoop-hdfs-journalnode | 3.3.6-amzn-1 | HDFS HA クラスターの Hadoop ファイルシステムジャーナルを管理するための サービス。 |
hadoop-httpfs-server | 3.3.6-amzn-1 | HTTP HDFSオペレーションの エンドポイント。 |
hadoop-kms-server | 3.3.6-amzn-1 | Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。 |
hadoop-mapred | 3.3.6-amzn-1 | MapReduce MapReduce アプリケーションを実行するための実行エンジンライブラリ。 |
hadoop-yarn-nodemanager | 3.3.6-amzn-1 | YARN 個々のノードのコンテナを管理するための サービス。 |
hadoop-yarn-resourcemanager | 3.3.6-amzn-1 | YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。 |
hadoop-yarn-timeline-server | 3.3.6-amzn-1 | YARN アプリケーションの現在および履歴情報を取得するためのサービス。 |
hbase-hmaster | 2.4.17-amzn-3 | リージョンの調整と管理コマンドの実行を担当するHBaseクラスターのサービス。 |
hbase-region-server | 2.4.17-amzn-3 | 1 つ以上のHBaseリージョンにサービスを提供するサービス。 |
hbase-client | 2.4.17-amzn-3 | HBase コマンドラインクライアント。 |
hbase-rest-server | 2.4.17-amzn-3 | のRESTfulHTTPエンドポイントを提供するサービスHBase。 |
hbase-thrift-server | 2.4.17-amzn-3 | Thrift エンドポイントを に提供するサービスHBase。 |
hbase-operator-tools | 2.4.17-amzn-3 | Apache HBaseクラスターの修復ツール。 |
hcatalog-client | 3.1.3-amzn-8 | hcatalog-server を操作するための 'hcat' コマンドラインクライアント。 |
hcatalog-server | 3.1.3-amzn-8 | 分散アプリケーション用のテーブルとストレージ管理レイヤーHCatalogである を提供するサービス。 |
hcatalog-webhcat-server | 3.1.3-amzn-8 | HTTP にRESTインターフェイスを提供するエンドポイントHCatalog。 |
hive-client | 3.1.3-amzn-8 | Hive コマンドラインクライアント。 |
hive-hbase | 3.1.3-amzn-8 | Hive-hbase クライアント。 |
hive-metastore-server | 3.1.3-amzn-8 | Hadoop オペレーション上の のメタデータを保存するセマンティックリポジトリである Hive SQL メタストアにアクセスするためのサービス。 |
hive-server2 | 3.1.3-amzn-8 | Hive クエリをウェブリクエストとして受け入れるサービス。 |
hudi | 0.14.0-amzn-0 | データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。 |
hudi-presto | 0.14.0-amzn-0 | Presto を Hudi で実行するためのバンドルライブラリ。 |
hudi-trino | 0.14.0-amzn-0 | Trino を Hudi で実行するためのバンドルライブラリ。 |
hudi-spark | 0.14.0-amzn-0 | Spark を Hudi で実行するためのバンドルライブラリ。 |
hue-server | 4.11.0 | Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション |
iceberg | 1.4.0-amzn-0 | Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です。 |
jupyterhub | 1.5.0 | Jupyter Notebook のマルチユーザーサーバー |
livy-server | 0.7.1-incubating | REST Apache Spark とやり取りするためのインターフェイス |
nginx | 1.12.1 | nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです |
mxnet | 1.9.1 | フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。 |
mariadb-server | 5.5.68+ | MariaDB データベースサーバー。 |
nvidia-cuda | 11.8.0 | Nvidia ドライバーと Cuda ツールキット |
oozie-client | 5.2.1 | Oozie コマンドラインクライアント。 |
oozie-server | 5.2.1 | Oozie ワークフローリクエストを受け入れるサービス。 |
opencv | 4.7.0 | オープンソースのコンピュータビジョンライブラリ。 |
phoenix-library | 5.1.3 | サーバーとクライアントの Phoenix ライブラリ |
phoenix-connectors | 5.1.3 | Spark-3 用 Apache Phoenix-Connectors |
phoenix-query-server | 5.1.3 | Avatica JDBC へのアクセスと Protocol Buffers およびJSONフォーマットアクセスを提供する軽量サーバー API |
presto-coordinator | 0.283-amzn-0 | presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 |
presto-worker | 0.283-amzn-0 | いくつかのクエリを実行するサービス。 |
presto-client | 0.283-amzn-0 | Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。 |
trino-coordinator | 426-amzn-0 | trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。 |
trino-worker | 426-amzn-0 | いくつかのクエリを実行するサービス。 |
trino-client | 426-amzn-0 | Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。 |
pig-client | 0.17.0 | Pig コマンドラインクライアント。 |
r | 4.0.2 | 統計的コンピューティング用 R プロジェクト |
ranger-kms-server | 2.0.0 | Apache Ranger Key Management System |
spark-client | 3.4.1-amzn-2 | Spark コマンドラインクライアント。 |
spark-history-server | 3.4.1-amzn-2 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 |
spark-on-yarn | 3.4.1-amzn-2 | のメモリ内実行エンジンYARN。 |
spark-yarn-slave | 3.4.1-amzn-2 | YARN スレーブに必要な Apache Spark ライブラリ。 |
spark-rapids | 23.08.1-amzn-0 | で Apache Spark を加速する Nvidia Spark RAPIDSプラグインGPUs。 |
sqoop-client | 1.4.7 | Apache Sqoop コマンドラインクライアント。 |
tensorflow | 2.11.0 | TensorFlow 高性能数値計算用のオープンソースソフトウェアライブラリ。 |
tez-on-yarn | 0.10.2-amzn-6 | Tez YARNアプリケーションとライブラリ。 |
tez-on-worker | 0.10.2-amzn-6 | ワーカーノードの Tez YARNアプリケーションとライブラリ。 |
webserver | 2.4.41+ | Apache HTTPサーバー。 |
zeppelin-server | 0.10.1 | インタラクティブなデータ分析を可能にするウェブベースのノートブック。 |
zookeeper-server | 3.5.10 | 設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。 |
zookeeper-client | 3.5.10 | ZooKeeper コマンドラインクライアント。 |
6.15.0 設定分類
設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml
。詳細については、「アプリケーションの設定」を参照してください。
再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon は、変更した分類に対してEMRのみ再設定アクションを開始します。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。
分類 | 説明 | 再設定アクション |
---|---|---|
capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | Restarts the ResourceManager service. |
container-executor | Hadoop YARNの container-executor.cfg ファイルの値を変更します。 | Not available. |
container-log4j | Hadoop YARNの container-log4j.properties ファイルの値を変更します。 | Not available. |
core-site | Hadoop の core-site.xml ファイルの値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
docker-conf | Docker 関連の設定を変更します。 | Not available. |
emrfs-site | EMRFS 設定を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
flink-conf | flink-conf.yaml の設定を変更します。 | Restarts Flink history server. |
flink-log4j | Flink log4j.properties の設定を変更します。 | Restarts Flink history server. |
flink-log4j-session | Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。 | Restarts Flink history server. |
flink-log4j-cli | Flink log4j-cli.properties の設定を変更します。 | Restarts Flink history server. |
hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
hadoop-ssl-server | Hadoop ssl のサーバー設定を変更します。 | Not available. |
hadoop-ssl-client | Hadoop ssl のクライアント設定を変更します。 | Not available. |
hbase | Apache の Amazon EMRキュレートされた設定HBase。 | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
hbase-env | HBaseの環境の値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-log4j | HBaseの hbase-log4j.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-metrics | HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-policy | HBaseの hbase-policy.xml ファイルの値を変更します。 | Not available. |
hbase-site | HBaseの hbase-site.xml ファイルの値を変更します。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
hdfs-encryption-zones | HDFS 暗号化ゾーンを設定します。 | This classification should not be reconfigured. |
hdfs-env | HDFS 環境の値を変更します。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
hdfs-site | HDFSの hdfs-site.xml の値を変更します。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
hcatalog-env | HCatalogの環境の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-server-jndi | HCatalogの jndi.properties の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-server-proto-hive-site | HCatalogの proto-hive-site.xml の値を変更します。 | Restarts Hive HCatalog Server. |
hcatalog-webhcat-env | HCatalog W ebHCatの環境の値を変更します。 | Restarts Hive WebHCat server. |
hcatalog-webhcat-log4j2 | HCatalog W ebHCatの log4j2.properties の値を変更します。 | Restarts Hive WebHCat server. |
hcatalog-webhcat-site | HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。 | Restarts Hive WebHCat server. |
hive | Apache Hive の Amazon EMRが厳選した設定。 | Sets configurations to launch Hive LLAP service. |
hive-beeline-log4j2 | Hive の beeline-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-parquet-logging | Hive の parquet-logging.properties ファイルの値を変更します。 | Not available. |
hive-env | Hive 環境の値を変更します。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. |
hive-exec-log4j2 | Hive の hive-exec-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-llap-daemon-log4j2 | Hive の llap-daemon-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-log4j2 | Hive の hive-log4j2.properties ファイルの値を変更します。 | Not available. |
hive-site | Hive の hive-site.xml ファイルの値を変更します | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
hiveserver2-site | Hive Server2 の hiveserver2-site.xml ファイルの値を変更します | Not available. |
hue-ini | Hue の ini ファイルの値を変更します | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
httpfs-env | HTTPFS 環境の値を変更します。 | Restarts Hadoop Httpfs service. |
httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | Restarts Hadoop Httpfs service. |
hadoop-kms-acls | Hadoop の kms-acls.xml ファイルの値を変更します。 | Not available. |
hadoop-kms-env | Hadoop KMS環境の値を変更します。 | Restarts Hadoop-KMS service. |
hadoop-kms-java-home | Hadoop の Java KMS ホームを変更する | Not available. |
hadoop-kms-log4j | Hadoop の kms-log4j.properties ファイルの値を変更します。 | Not available. |
hadoop-kms-site | Hadoop の kms-site.xml ファイルの値を変更します。 | Restarts Hadoop-KMS and Ranger-KMS service. |
hudi-env | Hudi 環境の値を変更します。 | Not available. |
hudi-defaults | Hudi の hudi-defaults.conf ファイルの値を変更します。 | Not available. |
iceberg-defaults | Iceberg の iceberg-defaults.conf ファイルの値を変更します。 | Not available. |
delta-defaults | Delta の delta-defaults.conf ファイルの値を変更します。 | Not available. |
jupyter-notebook-conf | Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。 | Not available. |
jupyter-hub-conf | JupyterHubsの jupyterhub_config.py ファイルの値を変更します。 | Not available. |
jupyter-s3-conf | Jupyter Notebook の S3 の永続性を設定します。 | Not available. |
jupyter-sparkmagic-conf | Sparkmagic の config.json ファイルの値を変更します。 | Not available. |
livy-conf | Livy の livy.conf ファイルの値を変更します。 | Restarts Livy Server. |
livy-env | Livy 環境の値を変更します。 | Restarts Livy Server. |
livy-log4j2 | Livy の log4j2.properties の設定を変更します。 | Restarts Livy Server. |
mapred-env | MapReduce アプリケーションの環境の値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. |
mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | Restarts Hadoop MapReduce-HistoryServer. |
oozie-env | Oozie の環境の値を変更します。 | Restarts Oozie. |
oozie-log4j | Oozie の oozie-log4j.properties ファイルの値を変更します。 | Restarts Oozie. |
oozie-site | Oozie の oozie-site.xml ファイルの値を変更します。 | Restarts Oozie. |
phoenix-hbase-metrics | Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。 | Not available. |
phoenix-hbase-site | Phoenix の hbase-site.xml ファイルの値を変更します。 | Not available. |
phoenix-log4j | Phoenix の log4j.properties ファイルの値を変更します。 | Restarts Phoenix-QueryServer. |
phoenix-metrics | Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。 | Not available. |
pig-env | Pig 環境の値を変更します。 | Not available. |
pig-properties | Pig の pig.properties ファイルの値を変更します。 | Restarts Oozie. |
pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | Not available. |
presto-log | Presto の log.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-config | Presto の config.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-password-authenticator | Presto の password-authenticator.properties ファイルの値を変更します。 | Not available. |
presto-env | Presto の presto-env.sh ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-node | Presto の node.properties ファイルの値を変更します。 | Not available. |
presto-connector-blackhole | Presto の blackhole.properties ファイルの値を変更します。 | Not available. |
presto-connector-cassandra | Presto の cassandra.properties ファイルの値を変更します。 | Not available. |
presto-connector-hive | Presto の hive.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-connector-jmx | Presto の jmx.properties ファイルの値を変更します。 | Not available. |
presto-connector-kafka | Presto の kafka.properties ファイルの値を変更します。 | Not available. |
presto-connector-lakeformation | Presto の lakeformation.properties ファイルの値を変更します。 | Restarts Presto-Server (for PrestoDB) |
presto-connector-localfile | Presto の localfile.properties ファイルの値を変更します。 | Not available. |
presto-connector-memory | Presto の memory.properties ファイルの値を変更します。 | Not available. |
presto-connector-mongodb | Presto の mongodb.properties ファイルの値を変更します。 | Not available. |
presto-connector-mysql | Presto の musql.properties ファイルの値を変更します。 | Not available. |
presto-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. |
presto-connector-raptor | Presto の raptor.properties ファイルの値を変更します。 | Not available. |
presto-connector-redis | Presto の redis.properties ファイルの値を変更します。 | Not available. |
presto-connector-redshift | Presto の redshift.properties ファイルの値を変更します。 | Not available. |
presto-connector-tpch | Presto の tpcj.properties ファイルの値を変更します。 | Not available. |
presto-connector-tpcds | Presto の tpcds.properties ファイルの値を変更します。 | Not available. |
trino-log | Trino の log.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-config | Trino の config.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-password-authenticator | Trino の password-authenticator.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-env | Trino の trino-env.sh ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-node | Trino の node.properties ファイルの値を変更します。 | Not available. |
trino-connector-blackhole | Trino の blackhole.properties ファイルの値を変更します。 | Not available. |
trino-connector-cassandra | Trino の cassandra.properties ファイルの値を変更します。 | Not available. |
trino-connector-delta | Trino の delta.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-hive | Trino の hive.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-exchange-manager | Trino の exchange-manager.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-iceberg | Trino の iceberg.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-hudi | Trino の hudi.properties ファイルの値を変更します。 | Restarts Trino-Server (for Trino) |
trino-connector-jmx | Trino の jmx.properties ファイルの値を変更します。 | Not available. |
trino-connector-kafka | Trino の kafka.properties ファイルの値を変更します。 | Not available. |
trino-connector-localfile | Trino の localfile.properties ファイルの値を変更します。 | Not available. |
trino-connector-memory | Trino の memory.properties ファイルの値を変更します。 | Not available. |
trino-connector-mongodb | Trino の mongodb.properties ファイルの値を変更します。 | Not available. |
trino-connector-mysql | Trino の mysql.properties ファイルの値を変更します。 | Not available. |
trino-connector-postgresql | Presto の postgresql.properties ファイルの値を変更します。 | Not available. |
trino-connector-raptor | Trino の raptor.properties ファイルの値を変更します。 | Not available. |
trino-connector-redis | Trino の redis.properties ファイルの値を変更します。 | Not available. |
trino-connector-redshift | Trino の redshift.properties ファイルの値を変更します。 | Not available. |
trino-connector-tpch | Trino の tpch.properties ファイルの値を変更します。 | Not available. |
trino-connector-tpcds | Trino の tpcds.properties ファイルの値を変更します。 | Not available. |
ranger-kms-dbks-site | Ranger の dbks-site.xml ファイルの値を変更しますKMS。 | Restarts Ranger KMS Server. |
ranger-kms-site | Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。 | Restarts Ranger KMS Server. |
ranger-kms-env | Ranger KMS環境の値を変更します。 | Restarts Ranger KMS Server. |
ranger-kms-logback | Ranger の kms-logback.xml ファイルの値を変更しますKMS。 | Not available. |
ranger-kms-db-ca | Ranger との S3 for MySQL SSL接続の CA ファイルの値を変更しますKMS。 | Not available. |
spark | Apache Spark の Amazon EMRが厳選した設定。 | This property modifies spark-defaults. See actions there. |
spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-env | Spark 環境の値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-hive-site | Spark の hive-site.xml ファイルの値を変更します | Not available. |
spark-log4j2 | Spark の log4j2.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
spark-metrics | Spark の metrics.properties ファイルの値を変更します。 | Restarts Spark history server and Spark thrift server. |
sqoop-env | Sqoop の環境の値を変更します。 | Not available. |
sqoop-oraoop-site | Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。 | Not available. |
sqoop-site | Sqoop の sqoop-site.xml ファイルの値を変更します。 | Not available. |
tez-site | Tez の tez-site.xml ファイルの値を変更します。 | Restart Oozie and HiveServer2. |
yarn-env | YARN 環境の値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
yarn-site | YARNの yarn-site.xml ファイルの値を変更します。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
zeppelin-env | Zeppelin 環境の値を変更します。 | Restarts Zeppelin. |
zeppelin-site | zeppelin-site.xml の構成設定を変更します。 | Restarts Zeppelin. |
zookeeper-config | ZooKeeperの zoo.cfg ファイルの値を変更します。 | Restarts Zookeeper server. |
zookeeper-log4j | ZooKeeperの log4j.properties ファイルの値を変更します。 | Restarts Zookeeper server. |
6.15.0 変更ログ
日付 | イベント | 説明 |
---|---|---|
2023-11-17 | ドキュメント公開 | Amazon EMR 6.15.0 リリースノートが最初に公開されました |
2023-11-17 |
デプロイ完了 | Amazon EMR 6.15.0 がサポートされているすべてのリージョンに完全にデプロイされている |
2023-11-13 | 初回リリース | Amazon EMR 6.15.0 が最初の商用リージョンに最初にデプロイされました |