Contoh perintah untuk menjalankan EMR Notebooks secara programatis

catatan

EMR Notebooks tersedia sebagai EMR Studio Workspaces di konsol baru. Anda masih dapat menggunakan notebook yang ada di konsol lama, tetapi Anda tidak dapat membuat notebook baru di konsol lama. Tombol Create Workspace di konsol baru menggantikan fungsi ini. Untuk mengakses atau membuat Ruang Kerja, pengguna EMR Notebooks memerlukan izin peran IAM tambahan. Untuk informasi selengkapnya, lihat Amazon EMR Notebook adalah Amazon EMR Studio Workspaces di konsol baru dan Apa yang baru di konsol?

Gambaran Umum

Anda dapat menjalankan notebook EMR dengan API eksekusi dari skrip atau dari baris perintah. Saat Anda memulai, menghentikan, membuat daftar, dan menjelaskan eksekusi notebook EMR di luar AWS konsol, Anda dapat mengontrol notebook EMR secara terprogram. Anda dapat meneruskan nilai parameter yang berbeda ke buku catatan dengan sel notebook berparameter. Ini menghilangkan kebutuhan untuk membuat salinan notebook untuk setiap set nilai parameter baru. Untuk informasi selengkapnya, lihat tindakan Amazon EMR API.

Anda dapat menjadwalkan atau mengelompokkan eksekusi notebook EMR dengan acara Amazon CloudWatch dan. AWS Lambda Untuk informasi selengkapnya, lihat Menggunakan AWS Lambda dengan CloudWatch Acara Amazon.

Izin peran untuk eksekusi terprogram

Untuk menggunakan eksekusi terprogram dengan EMR Notebooks, Anda harus mengonfigurasi izin pengguna dengan kebijakan berikut:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Saat menjalankan EMR Notebooks secara terprogram di kluster EMR Notebooks, Anda harus menambahkan izin tambahan ini:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Keterbatasan dengan eksekusi terprogram

• Maksimal 100 eksekusi bersamaan didukung Wilayah AWS per akun.

• Eksekusi dihentikan jika berjalan selama lebih dari 30 hari.

• Eksekusi terprogram notebook tidak didukung dengan aplikasi interaktif Amazon EMR Serverless.

Contoh eksekusi notebook EMR terprogram

Bagian berikut memberikan beberapa contoh eksekusi notebook EMR terprogram denganAWS CLI, Boto3 SDK (Python), dan Ruby:

• Contoh perintah CLI eksekusi notebook

• Sampel eksekusi notebook Python

• Sampel eksekusi notebook Ruby

Anda juga dapat menjalankan notebook berparameter sebagai bagian dari alur kerja terjadwal dengan alat orkestrasi seperti Apache Airflow atau Amazon Managed Workflows for Apache Airflow (MWAA). Untuk informasi selengkapnya, lihat Mengatur pekerjaan analitik di EMR Notebooks menggunakan MWAA di Big Data Blog. AWS