EMR ノートブックのプログラムコマンドの例 - Amazon EMR
概要アクセス許可制限事項例

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR ノートブックのプログラムコマンドの例

概要

EMR ノートブックは、スクリプトまたはコマンドラインAPIsから実行して実行できます。 AWS コンソールの外部でEMRノートブックの実行を開始、停止、一覧表示、記述すると、EMRノートブックをプログラムで制御できます。パラメータ化されたノートブックセルがあるノートブックには、さまざまなパラメータ値を渡すことができます。これにより、パラメータ値の新しいセットごとにノートブックのコピーを作成する必要がなくなります。詳細については、「Amazon EMRAPIアクション」を参照してください。

Amazon CloudWatch イベントと を使用してEMR、ノートブックの実行をスケジュールまたはバッチできます AWS Lambda。詳細については、「Amazon CloudWatch Events AWS Lambda で を使用する」を参照してください。

注記

EMR ノートブックは、コンソールで EMR Studio Workspaces として使用できます。コンソールのワークスペースの作成ボタンを使用すると、新しいノートブックを作成できます。Workspaces にアクセスまたは作成するには、EMRノートブックユーザーに追加のIAMロールアクセス許可が必要です。詳細については、コンソールの Amazon EMR Notebooks are Amazon EMR Studio Workspaces と Amazon EMR コンソール を参照してください。

プログラムによる実行のロール権限

EMR ノートブックでプログラムによる実行を使用するには、次のポリシーを使用してユーザーアクセス許可を設定する必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Notebooks クラスターで EMR Notebooks EMR をプログラムで実行するときは、次のアクセス許可を追加する必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

プログラムによる実行の制限事項

  • アカウント AWS リージョン ごとに最大 100 の同時実行がサポートされています。

  • 30 日以上実行された場合、実行は終了します。

  • ノートブックのプログラム実行は、Amazon EMR Serverless インタラクティブアプリケーションではサポートされていません。

プログラムによるEMRノートブック実行の例

以下のセクションでは、、Boto3 SDK (Python) AWS CLI、Ruby を使用したプログラムによるEMRノートブック実行の例をいくつか示します。

Apache Airflow や Amazon Managed Workflows for Apache Airflow () などのオーケストレーションツールを使用して、スケジュールされたワークフローの一部としてパラメータ化されたノートブックを実行することもできますMWAA。詳細については、AWS ビッグデータブログ のEMR「 を使用してノートブックの分析ジョブをオーケストレーションするMWAA」を参照してください。