Beispiele für programmatische Befehle für Notebooks EMR - Amazon EMR
ÜbersichtBerechtigungenEinschränkungenBeispiele

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beispiele für programmatische Befehle für Notebooks EMR

Übersicht

Sie können EMR Notebooks mit der Ausführung APIs über ein Skript oder über die Befehlszeile ausführen. Wenn Sie EMR Notebook-Ausführungen außerhalb der AWS Konsole starten, beenden, auflisten und beschreiben, können Sie ein Notebook programmgesteuert steuern. EMR Sie können verschiedene Parameterwerte an ein Notebook mit einer parametrisierten Notebookzelle übergeben. Dadurch entfällt die Notwendigkeit, für jeden neuen Satz von Parameterwerten eine Kopie des Notebooks zu erstellen. Weitere Informationen finden Sie unter EMRAPIAktionen von Amazon.

Sie können EMR Notebook-Ausführungen mit CloudWatch Amazon-Ereignissen und AWS Lambda stapeln oder stapeln. Weitere Informationen finden Sie unter Verwendung AWS Lambda mit Amazon CloudWatch Events.

Anmerkung

EMRNotizbücher sind in der Konsole als EMR Studio-Workspaces verfügbar. Mit der Schaltfläche „Arbeitsbereich erstellen“ in der Konsole können Sie neue Notizbücher erstellen. Um auf Workspaces zuzugreifen oder diese zu erstellen, benötigen EMR Notebook-Benutzer zusätzliche IAM Rollenberechtigungen. Weitere Informationen finden Sie unter Amazon EMR Notebooks sind Amazon EMR Studio-Workspaces in der Konsole und EMRAmazon-Konsole.

Rollenberechtigungen für die programmatische Ausführung

Um die programmgesteuerte Ausführung mit EMR Notebooks zu verwenden, müssen Sie Benutzerberechtigungen mit den folgenden Richtlinien konfigurieren:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Wenn Sie Notebooks programmgesteuert auf einem EMR EMR Notebooks-Cluster ausführen, müssen Sie die folgenden zusätzlichen Berechtigungen hinzufügen:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Einschränkungen bei der programmatischen Ausführung

  • Pro Konto werden maximal 100 gleichzeitige Ausführungen unterstützt. AWS-Region

  • Eine Ausführung wird beendet, wenn sie länger als 30 Tage läuft.

  • Die programmatische Ausführung von Notebooks wird mit interaktiven Amazon EMR Serverless-Anwendungen nicht unterstützt.

Beispiele für die programmatische Ausführung von Notebooks EMR

Die folgenden Abschnitte enthalten mehrere Beispiele für die programmatische EMR Notebook-Ausführung mit Boto3 SDK (Python) und Ruby: AWS CLI

Sie können parametrisierte Notebooks auch als Teil von geplanten Workflows mit einem Orchestrierungstool wie Apache Airflow oder Amazon Managed Workflows for Apache Airflow () ausführen. MWAA Weitere Informationen finden Sie im Big Data-Blog unter Orchestrierung von Analyseaufträgen auf EMR Notebooks mithilfe von MWAA Notebooks.AWS