Amazon EMR リリースリリース 6.0 - Amazon EMR
アプリケーションバージョンリリースノートコンポーネントのバージョン設定分類

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR リリースリリース 6.0

アプリケーションバージョン

このリリースでは、Flink、、、、、、Ganglia、HBase、HCatalog、、Hadoop、Hive、Hudi、Hue、Iceberg、JupyterEnterpriseGateway、JupyterHub、Livy、MXNet、Oozie、Phoenix、Pig、Presto、Spark、Sqoop、TensorFlow、Tez、Trino、Zeppelin、とZooKeeper。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-6.0 emr 6.5.0 emr-6.4.0 emr-6.3.1
AWS SDK for Java 1.12.1701.12.311.12.311.11.977
Delta - - - -
Flink1.14.21.14.01.13.11.12.1
Ganglia3.7.23.7.23.7.23.7.2
HBase2.4.42.4.42.4.42.2.6
HCatalog3.1.23.1.23.1.23.1.2
Hadoop3.2.13.2.13.2.13.2.1
Hive3.1.23.1.23.1.23.1.2
Hudi0.10.1-amzn-00.9.0-amzn-10.8.0-amzn-00.7.0-amzn-0
Hue4.10.04.9.04.9.04.9.0
Iceberg0.13.10.12.0 - -
JupyterEnterpriseGateway2.1.02.1.02.1.02.1.0
JupyterHub1.4.11.4.11.4.11.2.2
Livy0.7.10.7.10.7.10.7.0
MXNet1.8.01.8.01.8.01.7.0
Mahout - - - -
Oozie5.2.15.2.15.2.15.2.1
Phoenix5.1.25.1.25.1.25.0.0
Pig0.17.00.17.00.17.00.17.0
Presto0.2670.2610.2510.241
Spark3.2.03.1.23.1.23.1.1
Sqoop1.4.71.4.71.4.71.4.7
TensorFlow2.4.12.4.12.4.12.4.1
Tez0.9.20.9.20.9.20.9.2
Trino (PrestoSQL)367360359350
Zeppelin0.10.00.10.00.9.00.9.0
ZooKeeper3.5.73.5.73.5.73.4.14

リリースノート

次のリリースノートには、Amazon EMR リリース 6.0 に関する情報が含まれています。6.5.0 からの変更が含まれています。

初回リリース日:2022 年 5 月 9 日

ドキュメントの更新日:2022 年 6 月 15 日

新機能

  • Amazon EMR 6.6 では、Apache Spark 3.2、Apache Spark RAPIDS 22.02、CUDA 11、Apache Hudi 0.10.1、Apache Iceberg 0.13、Trino 0.367、PrestoDB 0.267 がサポートされるようになりました。

  • Amazon EMR リリース 6.6.0 以降では、デフォルトの Amazon Linux (AL) AMI オプションを使用して新しい Amazon EMR クラスターを起動すると、Amazon EMR は自動的に最新の Amazon Linux AMI を使用します。以前のリリースでは、Amazon EMR は最初のリリース後に Amazon Linux AMI を更新しません。Amazon EMR にデフォルトの Amazon AMI を使用するを参照してください。

    OsReleaseLabel (アマゾン Linux 版) アマゾン Linux カーネルバージョン ご利用可能日 サポートされるリージョン
    20221210.1 4.14.301 2023 年 1 月 12 日 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
    20221103.3 4.14.296 2022 年 12 月 5 日 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
    2.0.20221004.0 4.14.294 2022 年 11 月 2 日 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
    20220912.1 4.14.291 2022 年 10 月 7 日 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
    20220805.0 4.14.287 2022 年 8 月 30 日 us‑west‑1
    20220719.0 4.14.287 2022 年 8 月 10 日日日日 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
    2022020426.0 4.14.281 2022 年 6 月 10 日日日日 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1
    20220406.1 4.14.275 2022 年 5 月 2 日 us‑east‑1, us‑east‑2, us‑west‑1, us‑west‑2, eu‑north‑1, eu‑west‑1, eu‑west‑2, eu‑west‑3, eu‑central‑1, eu‑south‑1, ap‑east‑1, ap‑south‑1, ap‑southeast‑3, ap‑northeast‑1, ap‑northeast‑2, ap‑northeast‑3, ap‑southeast‑1, ap‑southeast‑2, af‑south‑1, sa‑east‑1, me‑south‑1, ca‑central‑1

  • Amazon EMR 6.6 以降では、Log4j 1.x と Log4j 2.x を使用するアプリケーションは、それぞれ Log4j 1.2.17 (またはそれ以上) と Log4j 2.17.1 (またはそれ以上) を使用するようにアップグレードされます。CVE の問題を軽減するために提供されているブートストラップアクションを使用する必要はありません。

  • [マネージドスケーリング] Spark shuffle データマネージドスケーリングの最適化-Amazon EMR バージョン 5.34.0 以降、および EMR バージョン 6.4.0 以降では、マネージドスケーリングは Spark shuffle データ対応 (Spark が特定の操作を実行するためにパーティション間で再配布するデータ) になりました。シャッフルオペレーションの詳細については、Amazon EMR 管理ガイドと Spark プログラミングガイドの「Amazon EMR での EMR マネージドスケーリングの使用」を参照してください。

  • Amazon EMR 5.32.0 および 6.5.0 以降、Apache Spark の動的エグゼキューターサイジングはデフォルトで有効になっています。この機能をオンまたはオフにするには、spark.yarn.heterogeneousExecutors.enabled設定パラメーターを使用できます。

変更、拡張、解決した問題

  • Amazon EMR は、EMR のデフォルト AMI オプションを使用し、Apache Hadoop、Apache Spark、Apache Hive などの一般的なアプリケーションのみをインストールするクラスターでは、クラスターの起動時間を平均で最大 80 秒短縮します。

既知の問題点

  • Amazon EMR リリース 6.5.0、6.6.0、または 6.7.0 が Apache Spark シェルを介して Apache Phoenix テーブルを読み取る場合、Amazon EMRNoSuchMethodErrorHbase.compat.version が間違ったものを使用しているために問題が発生します。Amazon EMR リリース 6.8.0 では、この問題が修正されています。

  • Amazon EMR バージョン 6.6.0、6.7.0、6.8.0 の Spark で DynamoDB コネクタを使用すると、入力分割が空でないデータを参照している場合でも、テーブルからの読み取りはすべて空の結果を返します。これは、Spark 3.2.0spark.hadoopRDD.ignoreEmptySplitstrue がデフォルトでに設定されているためです。回避策として、spark.hadoopRDD.ignoreEmptySplitsfalse明示的にに設定してください。Amazon EMR リリース 6.9.0 では、この問題が修正されています。

  • Trino の長時間稼働クラスターでは、Amazon EMR 6.6.0 で Trino jvm.config のガベージコレクションロギングパラメータが有効になり、ガベージコレクションログからより詳細な情報を得ることができます。この変更により、多くのガベージコレクションログが launcher.log (/var/log/trino/launcher.log) ファイルに追加されます。Amazon EMR 6.6.0 で Trino クラスターを実行している場合、クラスターを数日間稼働させた後に、ログが追加されたためにノードがディスク容量不足になることがあります。

    この問題の回避策は、Amazon EMR 6.6.0 のクラスターを作成またはクローニングするときに、以下のスクリプトをブートストラップアクションとして実行し、jvm.config のガベージコレクションロギングパラメータを無効にすることです。

    #!/bin/bash
  set -ex
  PRESTO_PUPPET_DIR='/var/aws/emr/bigtop-deploy/puppet/modules/trino'
  sudo bash -c "sed -i '/-Xlog/d' ${PRESTO_PUPPET_DIR}/templates/jvm.config"

  • Spark を Hive パーティションロケーションフォーマットで Amazon S3 のデータを読み取るときに、Amazon EMR リリース 5.30.0 から 5.36.0、および 6.2.0 から 6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取れないという問題が発生する可能性があります。これは、パーティションに次の特性がすべて備わっている場合に発生する可能性があります。

    • 同じテーブルから 2 つ以上のパーティションがスキャンされます。

    • 少なくとも1つのパーティションディレクトリパスが、他の少なくとも1つのパーティションディレクトリパスのプレフィックスです。たとえば、s3://bucket/table/p=aのプレフィックスですs3://bucket/table/p=a b。

    • 他のパーティションディレクトリのプレフィックスに続く最初の文字の UTF-8 値は、/その文字 (U+002F) よりも小さい。たとえば、の a と bs3://bucket/table/p=a b の間にある空白文字 (U+0020) はこのカテゴリに分類されます。他に14個の非制御文字があることに注意してください:!“#$%&‘()*+,-. 詳細については、「UTF-8 エンコードテーブル」と「Unicode 文字」を参照してください。

    この問題の回避策として、spark.sql.sources.fastS3PartitionDiscovery.enabledfalsespark-defaults分類の設定をに設定します。

  • Amazon EMR リリース 5.36.0 と 6.6.0 ～ 6.9.0 では、SecretAgent Log4j2 プロパティのファイル名パターン設定が正しくないため、RecordServerサービスコンポーネントでログデータが失われる可能性があります。構成が正しくないと、コンポーネントは 1 日に 1 つのログファイルしか生成しません。ローテーション戦略が実行されると、期待どおりに新しいログファイルが生成されるのではなく、既存のファイルが上書きされます。回避策として、ブートストラップアクションを使用して 1 時間ごとにログファイルを生成し、ファイル名に自動インクリメント整数を追加してローテーションを処理します。

    Amazon EMR 6.6.0 から 6.9.0 のリリースでは、クラスターを起動するときに次のブートストラップアクションを使用します。

    ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"

    Amazon EMR 5.36.0 では、クラスターを起動するときに次のブートストラップアクションを使用します。

    ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"

コンポーネントのバージョン

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、emr または aws で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 の OpenSource コミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンはとして表示されます2.2-amzn-2。myapp-component

コンポーネント バージョン 説明
aws-sagemaker-spark-sdk1.4.1 SageMaker アマゾンスパーク SDK
emr-ddb4.16.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies3.2.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.5.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-notebook-env1.5.0Jupyter エンタープライズゲートウェイを含む emr ノートブック用 Conda env
emr-s3-dist-cp2.20.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select2.1.0EMR S3Select コネクター
emrfs2.50.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.14.2Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
flink-jobmanager-config1.14.2Apache Flink 用の EMR ノード上のリソースの管理 JobManager。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client3.2.1-amzn-6'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode3.2.1-amzn-6ブロックを保存する HDFS ノードレベルのサービス。
hadoop-hdfs-library3.2.1-amzn-6HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode3.2.1-amzn-6ファイル名を追跡し、場所をブロックする HDFS サービス。
hadoop-hdfs-journalnode3.2.1-amzn-6HA クラスター上の Hadoop ファイルシステムジャーナルを管理するための HDFS サービス。
hadoop-httpfs-server3.2.1-amzn-6HDFS オペレーションの HTTP エンドポイント。
hadoop-kms-server3.2.1-amzn-6Hadoop の KeyProvider API に基づく暗号化キー管理サーバー。
hadoop-mapred3.2.1-amzn-6MapReduce MapReduce アプリケーションを実行するための実行エンジンライブラリ。
hadoop-yarn-nodemanager3.2.1-amzn-6個別のノードでコンテナを管理する YARN サービス。
hadoop-yarn-resourcemanager3.2.1-amzn-6クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。
hadoop-yarn-timeline-server3.2.1-amzn-6YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。
hbase-hmaster2.4.4-amzn-2リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。
hbase-region-server2.4.4-amzn-21 つ以上の HBase リージョンに対応するサービス。
hbase-client2.4.4-amzn-2HBase コマンドラインクライアント。
hbase-rest-server2.4.4-amzn-2HBase の RESTful HTTP エンドポイントを提供するサービス。
hbase-thrift-server2.4.4-amzn-2HBase に Thrift エンドポイントを提供するサービス。
hbase-operator-tools2.4.4-amzn-2Apache HBase クラスター用の修復ツール。
hcatalog-client3.1.2-amzn-7hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server3.1.2-amzn-7分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。
hcatalog-webhcat-server3.1.2-amzn-7HCatalog に REST インターフェイスを提供する HTTP エンドポイント。
hive-client3.1.2-amzn-7Hive コマンドラインクライアント。
hive-hbase3.1.2-amzn-7Hive-hbase クライアント。
hive-metastore-server3.1.2-amzn-7Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。
hive-server23.1.2-amzn-7Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.10.1-amzn-0データパイプラインを低遅延かつ高効率で強化するインクリメンタル処理フレームワーク。
hudi-presto0.10.1-amzn-0Presto を Hudi で実行するためのバンドルライブラリ。
hudi-trino0.10.1-amzn-0Trino を Hudi で実行するためのバンドルライブラリ。
hudi-spark0.10.1-amzn-0Spark を Hudi で実行するためのバンドルライブラリ。
hue-server4.10.0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
iceberg0.13.1Apache Iceberg は、膨大な分析データセット用のオープンテーブル形式です
jupyterhub1.4.1Jupyter ノートブックのマルチユーザーサーバー
livy-server0.7.1-incubatingApache Spark を操作するための REST インターフェイス
nginx1.12.1nginx [engine x] は HTTP およびリバースプロキシサーバー
mxnet1.8.0フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server5.5.68+MariaDB データベースサーバー。
nvidia-cuda11.0.194Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.1Oozie コマンドラインクライアント。
oozie-server5.2.1Oozie ワークフローリクエストを受け入れるサービス。
opencv4.5.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library5.1.2サーバーとクライアントの Phoenix ライブラリ
phoenix-connectors5.1.2スパーク-3用アパッチフェニックスコネクタ
phoenix-query-server5.1.2JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー
presto-coordinator0.267-アマン 0presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.267-アマン 0いくつかのクエリを実行するサービス。
presto-client0.267-アマン 0Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
trino-coordinator367-aman-0trino-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
trino-worker367-aman-0いくつかのクエリを実行するサービス。
trino-client367-aman-0Trino サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Trino コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r4.0.2統計的コンピューティング用 R プロジェクト
ranger-kms-server2.0.0Apache Ranger Key Management System
spark-client3.2.0-amzn-0Spark コマンドラインクライアント。
spark-history-server3.2.0-amzn-0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn3.2.0-amzn-0YARN のメモリ内実行エンジン。
spark-yarn-slave3.2.0-amzn-0YARN スレーブで必要な Apache Spark ライブラリ。
spark-rapids22.0-amzn-0GPU で Apache Spark を高速化する Nvidia Spark RAPIDS プラグイン。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.4.1TensorFlow 高性能数値計算のためのオープンソースソフトウェアライブラリ。
tez-on-yarn0.9.2tez YARN アプリケーションおよびライブラリ。
webserver2.4.41+Apache HTTP サーバー。
zeppelin-server0.10.0インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.5.7設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.5.7ZooKeeper コマンドラインクライアント。

設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

再設定アクションは、実行中のクラスターのインスタンスグループの設定を指定すると発生します。Amazon EMR によって、変更した分類に対してのみ再設定アクションが開始されます。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

EMR-6.6.0 クラス分け
分類 説明 再設定アクション

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

Restarts the ResourceManager service.

container-executor

Hadoop YARN の container-executor.cfg ファイルの値を変更します。

Not available.

container-log4j

Hadoop YARN の container-log4j.properties ファイルの値を変更します。

Not available.

core-site

Hadoop の core-site.xml ファイルの値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

docker-conf

Docker 関連の設定を変更します。

Not available.

emrfs-site

EMRFS の設定を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer.

flink-conf

flink-conf.yaml の設定を変更します。

Restarts Flink history server.

flink-log4j

Flink log4j.properties の設定を変更します。

Restarts Flink history server.

flink-log4j-session

Kubernetes/Yarn セッションの Flink log4j-session.properties 設定を変更します。

Restarts Flink history server.

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

Restarts Flink history server.

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer.

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer.

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

Not available.

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

Not available.

hbase

Apache HBase 用の Amazon EMR-curated 設定。

Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts.

hbase-env

HBase の環境の値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-log4j

HBase の hbase-log4j.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-metrics

HBase の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer.

hbase-policy

HBase の hbase-policy.xml ファイルの値を変更します。

Not available.

hbase-site

HBase の hbase-site.xml ファイルの値を変更します。

Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer.

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

This classification should not be reconfigured.

hdfs-env

HDFS 環境の値を変更します。

Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC.

hdfs-site

HDFS の hdfs-site.xml の値を変更します。

Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs.

hcatalog-env

HCatalog 環境の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-jndi

HCatalog の jndi.properties の値を変更します。

Restarts Hive HCatalog Server.

hcatalog-server-proto-hive-site

proto-hive-siteHCatalogの.xmlの値を変更します。

Restarts Hive HCatalog Server.

hcatalog-webhcat-env

HCatalog WebHCat 環境の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-log4j2

HCatalog WebHCat の log4j2.properties の値を変更します。

Restarts Hive WebHCat server.

hcatalog-webhcat-site

HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。

Restarts Hive WebHCat server.

hive

Apache Hive 用の Amazon EMR-curated 設定。

Sets configurations to launch Hive LLAP service.

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

Not available.

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

Not available.

hive-env

Hive 環境の値を変更します。

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore.

hive-exec-log4j2

Hive の hive-exec-log 4j2.properties ファイルの値を変更します。

Not available.

hive-llap-daemon-log4j2

Hive の llap-daemon-log 4j2.properties ファイルの値を変更します。

Not available.

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

Not available.

hive-site

Hive の hive-site.xml ファイルの値を変更します

Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin.

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

Not available.

hue-ini

Hue の ini ファイルの値を変更します

Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations.

httpfs-env

HTTPFS 環境の値を変更します。

Restarts Hadoop Httpfs service.

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

Restarts Hadoop Httpfs service.

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

Not available.

hadoop-kms-env

Hadoop KMS 環境の値を変更します。

Restarts Hadoop-KMS service.

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

Not available.

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

Restarts Hadoop-KMS and Ranger-KMS service.

hudi-env

Hudi 環境の値を変更します。

Not available.

hudi-defaults

Hudi の hudi-defaults.conf ファイルの値を変更します。

Not available.

iceberg-defaults

Iceberg の iceberg defaults.conf ファイルの値を変更します

Not available.

jupyter-notebook-conf

Jupyter ノートブックの jupyter_notebook_config.py ファイルの値を変更します。

Not available.

jupyter-hub-conf

JupyterHubsの jupyterhub_config.py ファイルの値を変更します。

Not available.

jupyter-s3-conf

Jupyter ノートブックの S3 の永続性を設定します。

Not available.

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

Not available.

livy-conf

Livy の livy.conf ファイルの値を変更します。

Restarts Livy Server.

livy-env

Livy 環境の値を変更します。

Restarts Livy Server.

livy-log4j

Livy の log4j.properties の設定を変更します。

Restarts Livy Server.

mapred-env

MapReduce アプリケーション環境の値を変更します。

Restarts Hadoop MapReduce-HistoryServer.

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します

Restarts Hadoop MapReduce-HistoryServer.

oozie-env

Oozie の環境の値を変更します。

Restarts Oozie.

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

Restarts Oozie.

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

Restarts Oozie.

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

Not available.

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

Not available.

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

Restarts Phoenix-QueryServer.

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

Not available.

pig-env

Pig 環境の値を変更します。

Not available.

pig-properties

Pig の pig.properties ファイルの値を変更します。

Restarts Oozie.

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

Not available.

presto-log

Presto の log.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-config

Presto の config.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

Not available.

presto-env

Presto の presto-env.sh ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-node

Presto の node.properties ファイルの値を変更します。

Not available.

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

Not available.

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

Not available.

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

Restarts Presto-Server (for PrestoDB)

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

Not available.

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

Not available.

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

Not available.

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

Not available.

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

Not available.

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

Not available.

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

Not available.

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

Not available.

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

Not available.

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

Not available.

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

Not available.

trino-log

Trino の log.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-config

Trino の config.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-password-authenticator

Trino の password-authenticator.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-env

Trino の trino-env.sh ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-node

Trino の node.properties ファイルの値を変更します。

Not available.

trino-connector-blackhole

Trino の blackhole.properties ファイルの値を変更します。

Not available.

trino-connector-cassandra

Trino の cassandra.properties ファイルの値を変更します。

Not available.

trino-connector-hive

Trino の hive.properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-iceberg

Trino の properties ファイルの値を変更します。

Restarts Trino-Server (for Trino)

trino-connector-jmx

Trino の jmx.properties ファイルの値を変更します。

Not available.

trino-connector-kafka

Trino の kafka.properties ファイルの値を変更します。

Not available.

trino-connector-localfile

Trino の localfile.properties ファイルの値を変更します。

Not available.

trino-connector-memory

Trino の memory.properties ファイルの値を変更します。

Not available.

trino-connector-mongodb

Trino の mongodb.properties ファイルの値を変更します。

Not available.

trino-connector-mysql

Trino の mysql.properties ファイルの値を変更します。

Not available.

trino-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

Not available.

trino-connector-raptor

Trino の raptor.properties ファイルの値を変更します。

Not available.

trino-connector-redis

Trino の redis.properties ファイルの値を変更します。

Not available.

trino-connector-redshift

Trino の redshift.properties ファイルの値を変更します。

Not available.

trino-connector-tpch

Trino の tpch.properties ファイルの値を変更します。

Not available.

trino-connector-tpcds

Trino の tpcds.properties ファイルの値を変更します。

Not available.

ranger-kms-dbks-site

Ranger KMS の dbks-site.xml ファイルの値を変更します。

Restarts Ranger KMS Server.

ranger-kms-site

レンジャー KMS ranger-kms-site の.xml ファイルの値を変更します。

Restarts Ranger KMS Server.

ranger-kms-env

Ranger KMS 環境の値を変更します。

Restarts Ranger KMS Server.

ranger-kms-log4j

Ranger KMS の kms-log4j.properties ファイルの値を変更します。

Not available.

ranger-kms-db-ca

Ranger KMS を使用した MySQL SSL 接続用の S3 の CA ファイルの値を変更します。

Not available.

spark

Apache Spark 用の Amazon EMR-curated 設定。

This property modifies spark-defaults. See actions there.

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-env

Spark 環境の値を変更します。

Restarts Spark history server and Spark thrift server.

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

Not available.

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

Restarts Spark history server and Spark thrift server.

sqoop-env

Sqoop の環境の値を変更します。

Not available.

sqoop-oraoop-site

Sqoop OraOop の oraoop-site.xml ファイルの値を変更します

Not available.

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

Not available.

tez-site

Tez の tez-site.xml ファイルの値を変更します。

Restart Oozie and HiveServer2.

yarn-env

YARN 環境の値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer.

yarn-site

YARN の yarn-site.xml ファイルの値を変更します。

Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer.

zeppelin-env

Zeppelin 環境の値を変更します。

Restarts Zeppelin.

zeppelin-site

zeppelin-site.xml の構成設定を変更します。

Restarts Zeppelin.

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

Restarts Zookeeper server.

zookeeper-log4j

ZooKeeperの log4j.properties ファイルの値を変更します。

Restarts Zookeeper server.