Amazon EMRリリース 5.31.0 - Amazon EMR
5.31.0 アプリケーションバージョン5.31.0 リリースノート5.31.0 コンポーネントバージョン5.31.0 設定分類

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMRリリース 5.31.0

5.31.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています。 Flink, Ganglia, HBase, HCatalog, Hadoop, Hive, Hudi, Hue, JupyterHub, Livy, MXNet, Mahout, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, TensorFlow, Tez, Zeppelin、および ZooKeeper.

次の表は、Amazon のこのリリースで利用可能なアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示しています。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-5.31.0 emr-5.30.2 emr-5.30.1 emr-5.30.0
AWS SDK Java 用 1.11.8521.11.7591.11.7591.11.759
Python 2.7、3.72.7、3.72.7、3.72.7、3.7
Scala 2.11.122.11.122.11.122.11.12
AmazonCloudWatchAgent - - - -
差分 - - - -
Flink1.11.01.10.01.10.01.10.0
Ganglia3.7.23.7.23.7.23.7.2
HBase1.4.131.4.131.4.131.4.13
HCatalog2.3.72.3.62.3.62.3.6
Hadoop2.10.02.8.52.8.52.8.5
[Hive]2.3.72.3.62.3.62.3.6
Hudi0.6.0-amzn-00.5.2-incubating0.5.2-incubating0.5.2-incubating
Hue4.7.14.6.04.6.04.6.0
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub1.1.01.1.01.1.01.1.0
Livy0.7.00.7.00.7.00.7.0
MXNet1.6.01.5.11.5.11.5.1
Mahout0.13.00.13.00.13.00.13.0
Oozie5.2.05.2.05.2.05.2.0
フェニックス4.14.34.14.34.14.34.14.3
Pig0.17.00.17.00.17.00.17.0
Presto0.238.30.2320.2320.232
Spark2.4.62.4.52.4.52.4.5
Sqoop1.4.71.4.71.4.71.4.7
TensorFlow2.1.01.14.01.14.01.14.0
Tez0.9.20.9.20.9.20.9.2
Trino (Presto SQL） - - - -
Zeppelin0.8.20.8.20.8.20.8.2
ZooKeeper3.4.143.4.143.4.143.4.14

5.31.0 リリースノート

次のリリースノートには、Amazon EMRリリース 5.31.0 に関する情報が含まれています。5.30.1 からの変更が含まれています。

初回リリース日: 2020 年 10 月 9 日

最終更新日: 2020 年 10 月 15 日

アップグレード

  • Amazon Glue コネクタをバージョン 1.13.0 にアップグレードしました

  • Amazon SageMaker Spark SDKをバージョン 1.4.0 にアップグレード

  • Amazon Kinesis コネクタをバージョン 3.5.9 にアップグレードしました

  • バージョン 1.11.852 AWS SDK for Java にアップグレード

  • Bigtop-tomcat をバージョン 8.5.56 にアップグレードしました

  • FS EMR をバージョン 2.43.0 にアップグレード

  • EMR MetricsAndEventsApiGateway クライアントをバージョン 1.4.0 にアップグレード

  • S3 Dist CP EMR をバージョン 2.15.0 にアップグレード

  • S3 Select EMR をバージョン 1.6.0 にアップグレード

  • Flink をバージョン 1.11.0 にアップグレードしました

  • Hadoop をバージョン 2.10.0 にアップグレードしました

  • Hive をバージョン 2.3.7 にアップグレードしました

  • Hudi をバージョン 0.6.0 にアップグレードしました

  • Hue をバージョン 4.7.1 にアップグレードしました

  • バージョン 1.1.0 JupyterHub にアップグレード

  • MXNet をバージョン 1.6.0 にアップグレードしました

  • OpenCV をバージョン 4.3.0 にアップグレードしました

  • Presto をバージョン 0.238.3 にアップグレードしました

  • バージョン 2.1.0 TensorFlow にアップグレード

変更点、機能強化、解決した問題

  • これは、クラスターを正常にスケールアップ/スケールダウンできなかった場合、またはアプリケーション障害が発生した場合に Amazon EMR Scaling の問題を修正するためのリリースです。

  • Amazon クラスターEMR上のデーモンがYARNノードの状態やノードの状態の収集などのヘルスチェックアクティビティを実行している場合、大規模で使用率の高いクラスターのスケーリングリクエストが失敗する問題を修正しましたHDFS。これは、クラスター上のデーモンがノードのヘルスステータスデータを内部 Amazon EMRコンポーネントに通信できなかったために発生しました。

  • クラスターEMR上のデーモンが改善され、スケーリングオペレーション中の信頼性を向上させるために IP アドレスが再利用されたときのノードの状態を正しく追跡できるようになりました。

  • SPARK-29683。Spark が使用可能なすべてのノードが拒否リストに登録されていると想定していたため、クラスターのスケールダウン中にジョブエラーが発生する問題を修正しました。

  • YARN-9011。クラスターのスケールアップまたはスケールダウンを試みたときに、YARN廃止時のレース条件が原因でジョブの失敗が発生する問題を修正しました。

  • Amazon クラスターEMR上のデーモンと YARN/ の間でノードの状態が常に一貫していることを確認することで、クラスタースケーリング中のステップまたはジョブの失敗の問題を修正しましたHDFS。

  • Kerberos 認証で有効になっている Amazon クラスターのスケールダウンやステップ送信などのEMRクラスターオペレーションが失敗する問題を修正しました。これは、Amazon クラスターEMR上のデーモンが Kerberos チケットを更新しなかったためです。これは、プライマリノードと安全に通信HDFS/YARN実行するために必要です。

  • 新しい Amazon EMRリリースでは、Amazon の古い の「最大オープンファイル」制限が小さくなり、問題が修正AL2されましたEMR。Amazon EMRリリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降では、「Max オープンファイル」設定が高い永続的修正が追加されました。

  • Hive 列統計は、Amazon EMRバージョン 5.31.0 以降でサポートされています。

  • コンポーネントのバージョンをアップグレードしました。

  • EMRFS Amazon 5.31.0 での S3EC V2 サポート。 EMRS3 Java SDKリリース 1.11.837 以降では、暗号化クライアントバージョン 2 (S3EC V2) にさまざまなセキュリティ強化が導入されました。詳細については、次を参照してください。

    暗号化クライアント V1 は、下位互換性SDKのために で引き続き使用できます。

新機能

  • 古い AL2 [新しいリリースで修正済み] の「最大オープンファイル」制限を低くします。Amazon EMRリリース: emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0、emr-6.2.0 は、Amazon EMRクラスターがデフォルトの で作成されたときの「Max オープンファイル」の ulimit 設定が低い古いバージョンの ofAmazon Linux 2 (AL2) に基づいていますAMI。Amazon EMRリリース 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 以降には、「Max オープンファイル」設定が高い永続的修正が含まれています。オープンファイルの上限が低いリリースでは、Spark ジョブを送信するときに「Too many open files」というエラーが発生します。影響を受けるリリースAMIでは、Amazon のEMRデフォルトは、「Max オープンファイル」のデフォルトの ulimit 設定が 4096 で、 latestAmazon Linux 2 の 65536 ファイル制限よりも低くなっていますAMI。「最大オープンファイル」の ulimit 設定が低い場合、Spark ドライバーとエグゼキュータが 4096 を超えるファイルを開こうとすると、Spark ジョブが失敗します。この問題を解決するために、Amazon EMRにはクラスターの作成時に ulimit 設定を調整するブートストラップアクション (BA) スクリプトがあります。

    この問題の永続的な修正がない古い Amazon EMRバージョンを使用している場合は、次の回避策により、インスタンスコントローラーの ulimit を最大 65536 個のファイルに明示的に設定できます。

    コマンドラインから ulimit を明示的に設定する

    1. /etc/systemd/system/instance-controller.service を編集して、Service セクションに次のパラメータを追加します。

      LimitNOFILE=65536

      LimitNPROC=65536

    2. 再起動 InstanceController

      $ sudo systemctl daemon-reload

      $ sudo systemctl restart instance-controller

    ブートストラップアクション (BA) を使用して ulimit を設定する

    ブートストラップアクション (BA) スクリプトを使用して、クラスター作成時にインスタンスコントローラーの ulimit を 65536 ファイルに設定することもできます。

    #!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload

  • Amazon EMR5.31.0 では、Lake Formation と統合するクラスターを起動できます。この統合により、 AWS Glue Data Catalog のデータベースとテーブルにきめ細かな列レベルのデータフィルタリングが提供されます。また、エンタープライズアイデンティティシステムから EMR Notebooks または Apache Zeppelin へのフェデレーティッドシングルサインオンも有効にします。詳細については、「Amazon 管理ガイド」の「Amazon EMRと の統合 AWS Lake Formation」を参照してください。 EMR

    Amazon EMR with Lake Formation は現在、米国東部 (オハイオ州とバージニア北部）、米国西部 (北カリフォルニアとオレゴン）、アジアパシフィック (ムンバイ、ソウル、シンガポール、シドニー、東京）、カナダ (中部）、欧州 (フランクフルト、アイルランド、ロンドン、パリ、ストックホルム）、南米 (サンパウロ) の 16 AWS リージョンで利用できます。

既知の問題

  • 複数のプライマリノードと Kerberos 認証を使用するクラスターの既知の問題

    Amazon EMRリリース 5.20.0 以降で複数のプライマリノードと Kerberos 認証を使用してクラスターを実行すると、クラスターがしばらく実行された後に、スケールダウンやステップ送信などのクラスターオペレーションに問題がある可能性があります。期間は、定義した Kerberos チケットの有効期間によって異なります。スケールダウンの問題は、自動スケールダウンリクエストと送信した明示的なスケールダウンリクエストの両方に影響します。その他のクラスターオペレーションも影響を受ける可能性があります。

    回避方法:

    • SSH 複数のプライマリノードを持つEMRクラスターのリードプライマリノードへのhadoopユーザーとして。

    • 次のコマンドを実行して hadoop ユーザーの Kerberos チケットを更新します。

      kinit -kt <keytab_file> <principal>

      通常、キータブファイルは /etc/hadoop.keytab にあります。プリンシパルの形式は hadoop/<hostname>@<REALM> です。

    注記

    この回避策は、Kerberos チケットが有効になっている期間、効果があります。この期間はデフォルトで 10 時間ですが、Kerberos の設定で構成できます。Kerberos チケットの有効期限が切れたら、上記のコマンドを再実行する必要があります。

  • Amazon 5.31.0 または 5.32.0 を使用するクラスターで EMR AtRestEncryption または HDFS暗号化が有効になっている場合、Hive クエリでは次のランタイム例外が発生します。

    TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found

  • Hive パーティションロケーションフォーマットで Spark を使用して Amazon S3 でデータを読み取るときに、Amazon EMRリリース 5.30.0～5.36.0、および 6.2.0～6.9.0 で Spark を実行すると、クラスターがデータを正しく読み取ることができない問題が発生する可能性があります。これは、パーティションに以下の特徴がすべて当てはまる場合に発生する可能性があります。

    • 同じテーブルから 2 つ以上のパーティションがスキャンされます。

    • 少なくとも 1 つのパーティションディレクトリパスが、少なくとも 1 つの他のパーティションディレクトリパスのプレフィックスです。例えば、s3://bucket/table/p=a は s3://bucket/table/p=a b のプレフィックスです。

    • 他のパーティションディレクトリのプレフィックスに続く最初の文字は、 / 文字 (U+002F) より小さい UTF-8 値を持ちます。例えば、s3://bucket/table/p=a b の a と b の間にあるスペース文字 (U+0020) はこのカテゴリに該当します。非制御文字は他にも 14 個あることに注意してください: !"#$%&‘()*+,-。詳細については、UTF「-8 エンコーディングテーブル」と「Unicode 文字」を参照してください。

    この問題の回避策として、spark-defaults 分類の spark.sql.sources.fastS3PartitionDiscovery.enabled 設定を false にセットします。

5.31.0 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有でEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは通常、コミュニティで見つかった最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できるようにします。

Amazon の一部のコンポーネントは、コミュニティバージョンEMRとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentの という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2。

コンポーネント Version 説明
aws-sagemaker-spark-sdk1.4.0Amazon SageMaker Spark SDK
emr-ddb4.15.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies2.13.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.5.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-s3-dist-cp2.15.0Amazon S3 に最適化された分散コピーアプリケーション。
emr-s3-select1.6.0EMR S3Select コネクタ
emrfs2.43.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.11.0Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
flink-jobmanager-config1.11.0Apache Flink のEMRノード上のリソースの管理 JobManager。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client2.10.0-amzn-0'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode2.10.0-amzn-0HDFS ブロックを保存するためのノードレベルのサービス。
hadoop-hdfs-library2.10.0-amzn-0HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode2.10.0-amzn-0HDFS ファイル名とブロックの場所を追跡するための サービス。
hadoop-hdfs-journalnode2.10.0-amzn-0HDFS HA クラスターの Hadoop ファイルシステムジャーナルを管理するための サービス。
hadoop-httpfs-server2.10.0-amzn-0HTTP HDFSオペレーションの エンドポイント。
hadoop-kms-server2.10.0-amzn-0Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred2.10.0-amzn-0MapReduce MapReduce アプリケーションを実行するための実行エンジンライブラリ。
hadoop-yarn-nodemanager2.10.0-amzn-0YARN 個々のノードのコンテナを管理するための サービス。
hadoop-yarn-resourcemanager2.10.0-amzn-0YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。
hadoop-yarn-timeline-server2.10.0-amzn-0YARN アプリケーションの現在および履歴情報を取得するためのサービス。
hbase-hmaster1.4.13リージョンの調整と管理コマンドの実行を担当するHBaseクラスターのサービス。
hbase-region-server1.4.131 つ以上のHBaseリージョンに対応するサービス。
hbase-client1.4.13HBase コマンドラインクライアント。
hbase-rest-server1.4.13のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server1.4.13Thrift エンドポイントを に提供するサービスHBase。
hcatalog-client2.3.7-amzn-1hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server2.3.7-amzn-1分散アプリケーション用のテーブルとストレージ管理レイヤーHCatalogである を提供するサービス。
hcatalog-webhcat-server2.3.7-amzn-1HTTP にRESTインターフェイスを提供するエンドポイントHCatalog。
hive-client2.3.7-amzn-1Hive コマンドラインクライアント。
hive-hbase2.3.7-amzn-1Hive-hbase クライアント。
hive-metastore-server2.3.7-amzn-1Hadoop オペレーション上の のメタデータを保存するセマンティックリポジトリである Hive SQL メタストアにアクセスするためのサービス。
hive-server22.3.7-amzn-1Hive クエリをウェブリクエストとして受け入れるサービス。
hudi0.6.0-amzn-0データパイプラインを強化する低レイテンシーかつ高効率な増分処理フレームワーク。
hudi-spark0.6.0-amzn-0Spark を Hudi で実行するためのバンドルライブラリ。
hudi-presto0.6.0-amzn-0Presto を Hudi で実行するためのバンドルライブラリ。
hue-server4.7.1Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
jupyterhub1.1.0Jupyter Notebook のマルチユーザーサーバー
livy-server0.7.0-incubatingREST Apache Spark とやり取りするためのインターフェイス
nginx1.12.1nginx [エンジン x] は HTTPおよびリバースプロキシサーバーです
mahout-client0.13.0機械学習用のライブラリ。
mxnet1.6.0フレキシブルかつスケーラブルで、ディープラーニングにおいて効率的なライブラリです。
mariadb-server5.5.64データベースSQLサーバー。
nvidia-cuda9.2.88Nvidia ドライバーと Cuda ツールキット
oozie-client5.2.0Oozie コマンドラインクライアント。
oozie-server5.2.0Oozie ワークフローリクエストを受け入れるサービス。
opencv4.3.0オープンソースのコンピュータビジョンライブラリ。
phoenix-library4.14.3-HBase-1.4サーバーとクライアントの Phoenix ライブラリ
phoenix-query-server4.14.3-HBase-1.4Avatica JDBCへのアクセスと Protocol Buffers およびJSONフォーマットアクセスを提供する軽量サーバー API
presto-coordinator0.238.3-amzn-0presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.238.3-amzn-0いくつかのクエリを実行するサービス。
presto-client0.238.3-amzn-0Presto サーバーが起動されていない HA クラスターのスタンバイマスターにインストールされる Presto コマンドラインクライアント。
pig-client0.17.0Pig コマンドラインクライアント。
r3.4.3統計的コンピューティング用 R プロジェクト
ranger-kms-server1.2.0Apache Ranger Key Management System
spark-client2.4.6-amzn-0Spark コマンドラインクライアント。
spark-history-server2.4.6-amzn-0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn2.4.6-amzn-0のメモリ内実行エンジンYARN。
spark-yarn-slave2.4.6-amzn-0YARN スレーブに必要な Apache Spark ライブラリ。
sqoop-client1.4.7Apache Sqoop コマンドラインクライアント。
tensorflow2.1.0TensorFlow 高性能数値計算用のオープンソースソフトウェアライブラリ。
tez-on-yarn0.9.2Tez YARNアプリケーションとライブラリ。
webserver2.4.25+Apache HTTPサーバー。
zeppelin-server0.8.2インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.4.14設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.4.14ZooKeeper コマンドラインクライアント。

5.31.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

emr-5.31.0 の分類
分類 説明

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

container-log4j

Hadoop YARNの container-log4j.properties ファイルの値を変更します。

core-site

Hadoop の core-site.xml ファイルの値を変更します。

emrfs-site

EMRFS 設定を変更します。

flink-conf

flink-conf.yaml の設定を変更します。

flink-log4j

Flink log4j.properties の設定を変更します。

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 設定を変更します。

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

hbase

Apache の Amazon EMRが厳選した設定HBase。

hbase-env

HBaseの環境の値を変更します。

hbase-log4j

HBaseの hbase-log4j.properties ファイルの値を変更します。

hbase-metrics

HBaseの hadoop-metrics2-hbase.properties ファイルの値を変更します。

hbase-policy

HBaseの hbase-policy.xml ファイルの値を変更します。

hbase-site

HBaseの hbase-site.xml ファイルの値を変更します。

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

hdfs-site

HDFSの hdfs-site.xml の値を変更します。

hcatalog-env

HCatalogの環境の値を変更します。

hcatalog-server-jndi

HCatalogの jndi.properties の値を変更します。

hcatalog-server-proto-hive-site

HCatalogの proto-hive-site.xml の値を変更します。

hcatalog-webhcat-env

HCatalog W ebHCatの環境の値を変更します。

hcatalog-webhcat-log4j2

HCatalog W ebHCatの log4j2.properties の値を変更します。

hcatalog-webhcat-site

HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

hive-env

Hive 環境の値を変更します。

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

hive-site

Hive の hive-site.xml ファイルの値を変更します

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

hue-ini

Hue の ini ファイルの値を変更します

httpfs-env

HTTPFS 環境の値を変更します。

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

hadoop-kms-env

Hadoop KMS環境の値を変更します。

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

hudi-env

Hudi 環境の値を変更します。

jupyter-notebook-conf

Jupyter Notebook の jupyter_notebook_config.py ファイルの値を変更します。

jupyter-hub-conf

JupyterHubsの jupyterhub_config.py ファイルの値を変更します。

jupyter-s3-conf

Jupyter Notebook の S3 の永続性を設定します。

jupyter-sparkmagic-conf

Sparkmagic の config.json ファイルの値を変更します。

livy-conf

Livy の livy.conf ファイルの値を変更します。

livy-env

Livy 環境の値を変更します。

livy-log4j

Livy の log4j.properties の設定を変更します。

mapred-env

MapReduce アプリケーションの環境の値を変更します。

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

oozie-env

Oozie の環境の値を変更します。

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

pig-env

Pig 環境の値を変更します。

pig-properties

Pig の pig.properties ファイルの値を変更します。

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

presto-log

Presto の log.properties ファイルの値を変更します。

presto-config

Presto の config.properties ファイルの値を変更します。

presto-password-authenticator

Presto の password-authenticator.properties ファイルの値を変更します。

presto-env

Presto の presto-env.sh ファイルの値を変更します。

presto-node

Presto の node.properties ファイルの値を変更します。

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

presto-connector-memory

Presto の memory.properties ファイルの値を変更します。

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

presto-connector-redshift

Presto の redshift.properties ファイルの値を変更します。

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

presto-connector-tpcds

Presto の tpcds.properties ファイルの値を変更します。

ranger-kms-dbks-site

Ranger の dbks-site.xml ファイルの値を変更しますKMS。

ranger-kms-site

Ranger の ranger-kms-site.xml ファイルの値を変更しますKMS。

ranger-kms-env

Ranger KMS環境の値を変更します。

ranger-kms-log4j

Ranger の kms-log4j.properties ファイルの値を変更しますKMS。

ranger-kms-db-ca

Ranger との S3 for MySQL SSL接続の CA ファイルの値を変更しますKMS。

recordserver-env

EMR RecordServer 環境の値を変更します。

recordserver-conf

EMR RecordServerの erver.properties ファイルの値を変更します。

recordserver-log4j

EMR RecordServerの log4j.properties ファイルの値を変更します。

spark

Apache Spark の Amazon EMRが厳選した設定。

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

spark-env

Spark 環境の値を変更します。

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

sqoop-env

Sqoop の環境の値を変更します。

sqoop-oraoop-site

Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

tez-site

Tez の tez-site.xml ファイルの値を変更します。

yarn-env

YARN 環境の値を変更します。

yarn-site

YARNの yarn-site.xml ファイルの値を変更します。

zeppelin-env

Zeppelin 環境の値を変更します。

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

zookeeper-log4j

ZooKeeperの log4j.properties ファイルの値を変更します。