Comandi di esempio per eseguire EMR Notebooks a livello di codice

Nota

I notebook EMR sono disponibili come EMR Studio Workspaces nella nuova console. È ancora possibile utilizzare i notebook esistenti nella vecchia console, ma non è possibile creare nuovi notebook nella vecchia console. Il pulsante Crea area di lavoro nella nuova console sostituisce questa funzionalità. Per accedere o creare spazi di lavoro, gli utenti di EMR Notebooks necessitano di autorizzazioni di ruolo IAM aggiuntive. Per ulteriori informazioni, consulta Amazon EMR Notebooks are Amazon EMR Studio Workspaces in new console (I notebook Amazon EMR sono Workspace Amazon EMR Studio nella nuova console) e What's new in the console? (Novità della console)

Panoramica

È possibile eseguire notebook EMR con API di esecuzione da uno script o dalla riga di comando. Quando si avvia, si interrompe, si elencano e si descrivono le esecuzioni di un notebook EMR all'esterno della AWS console, è possibile controllare a livello di programmazione un notebook EMR. È possibile passare diversi valori di parametro a un notebook con una cella di notebook parametrizzata. Ciò elimina la necessità di creare una copia del notebook per ogni nuovo set di valori dei parametri. Per ulteriori informazioni, consulta Azioni API Amazon EMR.

Puoi pianificare o raggruppare le esecuzioni dei notebook EMR con Amazon CloudWatch Events e. AWS Lambda Per ulteriori informazioni, consulta Utilizzo AWS Lambda con Amazon CloudWatch Events.

Autorizzazioni di ruolo per l'esecuzione programmatica

Per utilizzare l'esecuzione programmatica con EMR Notebooks, è necessario configurare le autorizzazioni utente con i seguenti criteri:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Quando si eseguono EMR Notebooks a livello di programmazione su un cluster EMR Notebooks, è necessario aggiungere queste autorizzazioni aggiuntive:

Nota

La funzionalità degli endpoint gestiti è disponibile in anteprima per Amazon EMR su EKS ed è soggetta a modifiche. La funzionalità viene fornita come servizio di anteprima come definito nei Termini del AWS servizio.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Limitazioni all'esecuzione programmatica

• Sono supportate un massimo di 100 esecuzioni simultanee per regione per account.

• Un'esecuzione viene interrotta se viene eseguita per più di 30 giorni.

Esempi di esecuzione programmatica di notebook EMR

Le sezioni seguenti forniscono diversi esempi di esecuzione programmatica di notebook EMR con Boto3 SDK (Python) e Ruby: AWS CLI

• Esempi di comandi CLI di esecuzione del notebook

• Esempi Python di esecuzione del notebook

• Esecuzione di notebook di esempio Ruby

Puoi anche eseguire notebook con parametri come parte di flussi di lavoro pianificati con uno strumento di orchestrazione come Apache Airflow o Amazon Managed Workflows for Apache Airflow (MWAA). Per ulteriori informazioni, vedere Orchestrazione dei lavori di analisi su notebook EMR utilizzando MWAA nel Big Data Blog. AWS