Exemples de commandes programmatiques pour ordinateurs portables EMR

Présentation

Vous pouvez exécuter EMR des blocs-notes à APIs partir d'un script ou d'une ligne de commande. Lorsque vous démarrez, arrêtez, listez et décrivez des exécutions de EMR blocs-notes en dehors de la AWS console, vous pouvez contrôler un EMR bloc-notes par programme. Vous pouvez transmettre différentes valeurs de paramètres à un bloc-notes avec une cellule de bloc-notes paramétrée. Il n'est donc plus nécessaire de créer une copie du bloc-notes pour chaque nouvel ensemble de valeurs de paramètres. Pour plus d'informations, consultez Amazon EMR API Actions.

Vous pouvez planifier ou regrouper les exécutions de EMR blocs-notes avec Amazon CloudWatch Events et AWS Lambda. Pour plus d'informations, consultez Utilisation AWS Lambda avec Amazon CloudWatch Events.

Note

EMRLes blocs-notes sont disponibles sous forme d'espaces de travail de EMR studio dans la console. Le bouton Créer un espace de travail de la console vous permet de créer de nouveaux blocs-notes. Pour accéder aux espaces de travail ou les créer, les utilisateurs de EMR Notebooks ont besoin d'autorisations de IAM rôle supplémentaires. Pour plus d'informations, consultez Amazon EMR Notebooks are Amazon EMR Studio Workspaces dans la console et dans la console Amazon EMR.

Autorisations de rôle pour l'exécution par programmation

Pour utiliser l'exécution programmatique avec les EMR blocs-notes, vous devez configurer les autorisations utilisateur selon les règles suivantes :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Lorsque vous exécutez des EMR blocs-notes par programmation sur un cluster de EMR blocs-notes, vous devez ajouter les autorisations supplémentaires suivantes :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Limites de l'exécution par programmation

• Un maximum de 100 exécutions simultanées sont prises en charge Région AWS par compte.

• Une exécution est terminée si elle dure plus de 30 jours.

• L'exécution programmatique des blocs-notes n'est pas prise en charge par les applications interactives Amazon EMR Serverless.

Exemples d'exécution programmatique d'un EMR bloc-notes

Les sections suivantes fournissent plusieurs exemples d'exécution de EMR blocs-notes programmatiques avec Boto3 (SDKPython) et Ruby : AWS CLI

• Exemples de CLI commandes de bloc-notes dans EMR Studio

• Exemples de Python pour un EMR bloc-notes

• Exemples de rubis pour un EMR bloc-notes

Vous pouvez également exécuter des blocs-notes paramétrés dans le cadre de flux de travail planifiés avec un outil d'orchestration tel qu'Apache Airflow ou Amazon Managed Workflows for Apache Airflow (). MWAA Pour plus d'informations, consultez la section Orchestration des tâches d'analyse sur les EMR ordinateurs portables MWAA à l'aide du blog AWS Big Data.