Amazon EMR Studio リソースのモニタリング、更新、削除 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR Studio リソースのモニタリング、更新、削除

このセクションでは、EMRStudio リソースのモニタリング、更新、削除に役立つ手順について説明します。ユーザーの割り当てやユーザーアクセス許可の更新については、「EMR Studio ユーザーの割り当てと管理」を参照してください。

Studio の詳細の表示

Console
新しいコンソールで EMR Studio の詳細を表示するには
  1. https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

  2. 左側のナビゲーションの EMR Studio で、スタジオ を選択します。

  3. [Studios] (Studio) リストから Studio を選択し、Studio の詳細ページを開きます。Studio の詳細ページには、Studio の説明 、、サブネット などの Studio 設定情報が含まれます。 VPC

CLI

を使用して EMR Studio ID で Studio の詳細を取得するには AWS CLI

特定の EMR Studio に関する詳細情報を取得するには、次のdescribe-studio AWS CLI コマンドを使用します。詳細については、『AWS CLI コマンドリファレンス』を参照してください。

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

を使用してEMRスタジオのリストを取得するには AWS CLI

次の list-studios AWS CLI コマンドを使用します。詳細については、「AWS CLI Command Reference」を参照してください。

aws emr list-studios

以下は、 list-studios コマンドの JSON形式の戻り値の例です。

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Amazon EMR Studio アクションのモニタリング

EMR Studio とAPIアクティビティの表示

EMR Studio は、ユーザー AWS CloudTrail、IAMロール、または EMR Studio の別のサービスによって実行されたアクションの記録を提供する AWS サービスである と統合されています。 CloudTrail は EMR Studio のAPI呼び出しをイベントとしてキャプチャします。コンソールを使用して CloudTrail でイベントを表示できますhttps://console.aws.amazon.com/cloudtrail/

EMR Studio イベントは、リクエストを行う Studio またはIAMユーザー、およびリクエストの種類などの情報を提供します。

注記

ノートブックジョブの実行などのクラスター上のアクションについては AWS CloudTrailで記録は行われません。

EMR Studio CloudTrail イベントを Amazon S3 バケットに継続的に配信するための証跡を作成することもできます。詳細については、AWS CloudTrail ユーザーガイドをご参照ください。

CloudTrail イベントの例: ユーザーが を呼び出す DescribeStudio API

以下は、ユーザーである がAPI CloudTrail ユーザー名を DescribeStudioadmin呼び出すときに作成される AWS CloudTrail イベントの例ですadmin

注記

Studio の詳細を保護するために、 の EMR Studio APIイベントは の値 DescribeStudio を除外しますresponseElements

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Spark ユーザーおよびジョブアクティビティの表示

Amazon EMR Studio ユーザーによる Spark ジョブアクティビティを表示するには、クラスターでユーザーのなりすましを設定できます。ユーザー偽装により、Workspace から送信された各 Spark ジョブは、コードを実行した Studio ユーザーに関連付けられます。

ユーザーなりすましが有効になっている場合、Amazon は Workspace でコードを実行するユーザーごとにクラスターのプライマリノードにユーザーHDFSディレクトリEMRを作成します。例えば、ユーザー studio-user-1@example.com がコードを実行した場合、プライマリノードに接続して、hadoop fs -ls /userstudio-user-1@example.com のディレクトリがあることを確認できます。

Spark ユーザー偽装を設定するには、次の設定分類で次のプロパティを設定します。

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

履歴サーバページを表示するには、「EMR Studio でアプリケーションとジョブをデバッグする」を参照してください。を使用してクラスターのプライマリノードに接続SSHし、アプリケーションウェブインターフェイスを表示することもできます。詳細については、「Amazon EMRクラスターでホストされているウェブインターフェイスを表示する」を参照してください。

Amazon EMR Studio を更新する

EMR Studio を作成したら、 を使用して次の属性を更新できます AWS CLI。

  • 名前

  • 説明

  • S3 のデフォルトの場所

  • サブネット

を使用して EMR Studio を更新するには AWS CLI

update-studio AWS CLI コマンドを使用して EMR Studio を更新します。詳細については、「AWS CLI Command Reference」を参照してください。

注記

Studio を最大 5 つのサブネットに関連付けることができます。これらのサブネットは Studio VPCと同じ に属している必要があります。update-studio コマンドIDsに送信するサブネットのリストには、新しいサブネット を含めることができますがIDs、Studio に既に関連付けIDsたすべてのサブネットを含める必要があります。Studio からサブネットを削除することはできません。

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

変更を確認するには、 describe-studio AWS CLI コマンドを使用して Studio ID を指定します。詳細については、「AWS CLI Command Reference」を参照してください。

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Amazon EMR Studio と Workspaces を削除する

Studio を削除すると、EMRStudio は Studio に関連付けられている IAM Identity Center のユーザーおよびグループの割り当てをすべて削除します。

注記

Studio を削除しても、Amazon EMR はその Studio に関連付けられた Workspaces を削除しません。Studio で Workspace を個別に削除する必要があります。

Workspace の削除

Console

各 EMR Studio Workspace はEMRノートブックインスタンスであるため、Amazon EMR管理コンソールを使用して Workspaces を削除できます。Studio を削除する前または後に、Amazon EMRコンソールを使用して Workspaces を削除できます。

Amazon EMRコンソールを使用して Workspace を削除するには
  1. 新しい Amazon EMRコンソールに移動し、サイドナビゲーションから古いコンソールに切り替えるを選択します。古いコンソールに切り替えたときの動作の詳細については、「Using the old console」を参照してください。

  2. [Notebooks] (ノートブック) を選択します。

  3. 削除する Workspace を選択します。

  4. [Delete] (削除) を選択し、[Delete] (削除) を再度選択して確認します。

  5. Amazon Simple Storage Service コンソールユーザーガイド」の「オブジェクトの削除」の指示に従って、削除した Workspace に関連付けられているノートブックファイルを Amazon S3 から削除します。

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
EMR Studio から Workspace とそれに関連するバックアップファイルを削除する
  1. EMR Studio アクセスを使用して Studio にログインURLし、左側のナビゲーションから Workspaces を選択します。

  2. リストから Workspace を見つけ、その名前の横にあるチェックボックスを選択します。複数の Workspace を選択して、同時に削除することができます。

  3. [Workspaces] (Workspace) リストの右上にある [Delete] (削除) を選択して、選択した Workspace を削除することを確認します。[Delete] を選択して確定します。

  4. Amazon S3 から削除された Workspace に関連付けられたノートブックファイルを削除する場合は、「Amazon Simple Storage Service コンソールユーザーガイド」の「オブジェクトの削除」の手順に従ってください。Studio を作成していない場合は、Studio 管理者に問い合わせて、削除した Workspace の Amazon S3 バックアップの場所を確認してください。

From the Workspaces list
[Workspace] リストから Workspace とその関連バックアップファイルを削除する
  1. コンソールの [Workspace] リストに移動します。

  2. リストから削除する Workspace を選択してから、[アクション] を選択します。

  3. [削除] を選択します。

  4. Amazon S3 から削除された Workspace に関連付けられたノートブックファイルを削除する場合は、「Amazon Simple Storage Service コンソールユーザーガイド」の「オブジェクトの削除」の手順に従ってください。Studio を作成していない場合は、Studio 管理者に問い合わせて、削除した Workspace の Amazon S3 バックアップの場所を確認してください。

EMR Studio を削除する

Console
新しいコンソールで EMR Studio を削除するには
  1. https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

  2. 左側のナビゲーションの EMR Studio で、スタジオ を選択します。

  3. Studio 名の左側にあるトグルを使用して、[Studios] リストから Studio を選択します。[削除] を選択します。

Old console
古いコンソールで EMR Studio を削除するには
  1. https://console.aws.amazon.com/elasticmapreduce/ホーム で Amazon EMRコンソールを開きます。

  2. 左側のナビゲーションから EMR Studio を選択します。

  3. [Studios] (Studio) リストから Studio を選択し、[Delete] (削除) を選択します。

CLI

を使用して EMR Studio を削除するには AWS CLI

delete-studio AWS CLI コマンドを使用して EMR Studio を削除します。詳細については、『AWS CLI コマンドリファレンス』を参照してください。

aws emr delete-studio --studio-id <id-of-studio-to-delete>