Prasyarat dan pengaturan Kueri data dengan Propagasi Identitas Tepercaya melalui Amazon SageMaker Unified Studio Pemecahan masalah Pembersihan sumber daya Langkah selanjutnya

Menggunakan Propagasi Identitas Tepercaya dengan Amazon SageMaker Unified Studio

Tutorial ini menunjukkan cara mengatur aplikasi EMR Serverless dengan Trusted Identity Propagation (TIP). Anda kemudian menanyakan tabel sampel menggunakan kontrol akses berbasis identitas melalui Amazon SageMaker Unified Studio. Dengan pengaturan ini, EMR Serverless menjalankan kueri Spark setiap pengguna dengan identitas Pusat Identitas IAM mereka sendiri, dan Lake Formation memberlakukan izin per pengguna pada AWS tabel Katalog Data Glue.

TIP tidak didukung dalam beban kerja interaktif EMR Studio

Beban kerja interaktif melalui EMR Studio tidak mendukung Propagasi Identitas Tepercaya dengan EMR Serverless. Gunakan Amazon SageMaker Unified Studio sebagai aplikasi yang menghadap klien untuk beban kerja TIP-enabled interaktif.

Biaya

Tutorial ini menggunakan AWS layanan yang mungkin dikenakan biaya, termasuk EMR Serverless,, AWS Lake Formation, Amazon Simple Storage Service AWS IAM Identity Center, dan Amazon SageMaker Unified Studio. Untuk menghindari biaya berkelanjutan, ikuti langkah-langkah pembersihan di akhir tutorial ini. Untuk informasi harga, lihat halaman harga untuk setiap layanan.

Prasyarat dan pengaturan

Selesaikan langkah-langkah berikut untuk mengatur semua sumber daya yang diperlukan sebelum menanyakan data dengan propagasi identitas tepercaya.

Langkah 1: Siapkan Pusat Identitas IAM

Aktifkan Pusat Identitas IAM di AWS akun Anda. Instans Pusat Identitas IAM hanya dapat ada di satu Wilayah per akun.

penting
Perhatikan Wilayah mana Pusat Identitas IAM Anda digunakan. Semua sumber daya berikutnya (Formasi Danau, EMR Serverless, AWS Glue) harus dibuat di Wilayah yang sama. Misalnya, jika Pusat Identitas IAM Anda berada di us-west-2, semua sumber daya juga harus berada di us-west-2.
Menyediakan pengguna dan grup ke Pusat Identitas IAM, baik secara manual atau dengan menyinkronkan dari penyedia identitas eksternal (seperti Okta atau Microsoft Entra ID).

Perhatikan instans Pusat Identitas IAM ARN Anda. Anda akan membutuhkannya dalam langkah-langkah selanjutnya. Temukan di konsol Pusat Identitas IAM di bawah Peng aturan.

Untuk menemukan instance Anda secara terprogram, jalankan:


aws sso-admin list-instances --region your-region

Contoh output:


{
    "Instances": [
        {
            "InstanceArn": "arn:aws:sso:::instance/ssoins-1234567890abcdef",
            "IdentityStoreId": "d-1234567890",
            "OwnerAccountId": "123456789012",
            "Status": "ACTIVE"
        }
    ]
}

Langkah 2: Konfigurasikan Formasi Danau dengan Pusat Identitas IAM

Buka konsol Formasi Danau.

Siapkan administrator danau data.

penting

Pastikan peran IAM atau pengguna yang Anda gunakan untuk menjalankan perintah ini ditambahkan sebagai Administrator Danau Data di Lake Formation. Jika tidak, Anda akan menerima kesalahan “Izin Formasi Danau Tidak Cukup” saat membuat database atau tabel. Untuk menambahkan peran Anda sebagai admin:


aws lakeformation put-data-lake-settings \
    --data-lake-settings '{
        "DataLakeAdmins": [
            {"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/your-role"}
        ],
        "CreateDatabaseDefaultPermissions": [],
        "CreateTableDefaultPermissions": [],
        "Parameters": {"CROSS_ACCOUNT_VERSION": "3", "SET_CONTEXT": "TRUE"}
    }'

Buat integrasi Pusat Identitas IAM untuk Lake Formation menggunakan instance ARN yang Anda catat di Langkah 1:


aws lakeformation create-lake-formation-identity-center-configuration \
    --catalog-id account-id \
    --instance-arn "arn:aws:sso:::instance/ssoins-instance-id"

Buat peran IAM untuk pendaftaran lokasi Formasi Danau. Jangan gunakan peran terkait layanan untuk propagasi identitas tepercaya. Untuk informasi selengkapnya, lihat Men yiapkan For AWS masi Danau dengan Pusat Identitas IAM.

Kebijakan kepercayaan:


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lakeformation.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:SetContext"
            ]
        }
    ]
}

sts: SetContext diperlukan

Kebijakan kepercayaan harus mencakupsts:SetContext, yang diperlukan untuk propagasi identitas tepercaya. Peran IAM yang dibuat oleh wizard default adalah peran terkait layanan dan tidak termasuk. sts:SetContext Jika sebelumnya Anda mendaftarkan lokasi dengan peran terkait layanan, Anda harus mendaftarkannya kembali dengan peran khusus yang menyertakan. sts:SetContext

Kebijakan izin (memberikan akses ke lokasi data Amazon S3):


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "LakeFormationDataAccessPermissionsForS3",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::your-data-bucket/*"
            ]
        },
        {
            "Sid": "LakeFormationDataAccessPermissionsForS3ListBucket",
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::your-data-bucket"
            ]
        }
    ]
}

Buat peran dan lampirkan kebijakan:


aws iam create-role \
    --role-name LFLocationRegistrationRole \
    --assume-role-policy-document file://lf-trust-policy.json \
    --description "Lake Formation location registration role with sts:SetContext for TIP"

aws iam put-role-policy \
    --role-name LFLocationRegistrationRole \
    --policy-name LFDataAccessPolicy \
    --policy-document file://lf-permissions-policy.json

Daftarkan lokasi data Amazon S3 Anda dengan Lake Formation menggunakan peran yang Anda buat:


aws lakeformation register-resource \
    --resource-arn "arn:aws:s3:::your-data-bucket" \
    --role-arn "arn:aws:iam::account-id:role/LFLocationRegistrationRole"

Buat database dan tabel di Katalog Data AWS Glue yang menunjuk ke data sampel Anda.
Berikan izin kepada pengguna atau grup Pusat Identitas IAM pada database dan tabel.

penting
Anda harus memberikan DESCRIPTION pada database selain SELECT dan DESCRIBE pada tabel. Tanpa izin tingkat database, database tidak akan muncul dalam hasil SHOW DATABASE saat menggunakan akses berbasis identitas.

Menggunakan konsol:
1. Di konsol Lake Formation, pilih izin danau data > Grant.
2. Di bawah Prinsipal, pilih pengguna dan grup Pusat Identitas IAM dan pilih pengguna atau grup Anda.
3. Di bawah Sumber daya Katalog Data Ber nama, pilih database Anda.
4. Di bawah Izin database, pilih Deskripsi.
5. PilihIzin.
6. Ulangi langkah 1 hingga 5, kali ini pilih tabel dan berikan Sel ect and Des kripsi di bawah izin Tabel.
Menggunakan AWS CLI:

penting
Format pengidentifikasi utama untuk pengguna Pusat Identitas IAM dalam hibah Lake Formation adalah:arn:aws:identitystore:::user/<UserId>. Perhatikan kolon tiga (:::). Tidak ada wilayah atau akun yang ditentukan. Dapatkan UserId dari Identity Store:
```
# List users to get their UserIds
aws identitystore list-users --identity-store-id identity-store-id --region your-region

# Grant DESCRIBE on the database
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:identitystore:::user/UserId"}' \
    --permissions '["DESCRIBE"]' \
    --resource '{"Database": {"DatabaseName": "tip_tutorial_db", "CatalogId": "account-id"}}'

# Grant SELECT and DESCRIBE on the table
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:identitystore:::user/UserId"}' \
    --permissions '["SELECT","DESCRIBE"]' \
    --resource '{"Table": {"DatabaseName": "tip_tutorial_db", "Name": "employees", "CatalogId": "account-id"}}'
```

Langkah 3: Buat aplikasi TIP-enabled EMR Serverless

Pastikan peran IAM Anda memiliki izin Pusat Identitas IAM yang diperlukan untuk membuat aplikasi:


"sso:DescribeInstance",
"sso:CreateApplication", 
"sso:DeleteApplication",
"sso:PutApplicationAuthenticationMethod",
"sso:PutApplicationAssignmentConfiguration",  
"sso:PutApplicationGrant", 
"sso:PutApplicationAccessScope"

Buat aplikasi dengan propagasi identitas tepercaya, titik akhir Apache Livy diaktifkan, dan Katalog Data AWS Glue dikonfigurasi sebagai metastore:


aws emr-serverless create-application \
    --release-label emr-7.8.0 \
    --type "SPARK" \
    --identity-center-configuration '{"identityCenterInstanceArn": "arn:aws:sso:::instance/ssoins-instance-id"}' \
    --interactive-configuration '{"livyEndpointEnabled":true}' \
    --runtime-configuration '[{"classification": "spark-defaults", "properties": {"spark.sql.catalogImplementation": "hive", "spark.hadoop.hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"}}]'

penting

AWS CLI persyaratan versi: Ben --runtime-configuration dera--identity-center-configuration,--interactive-configuration, dan memerlukan AWS CLI v2.15 +. Jika Anda menerima kesalahan “Opsi tidak dikenal”, tingkatkan AWS CLI atau gunakan Python boto3 (v1.35 +) sebagai alternatif:


import boto3

session = boto3.Session(profile_name='your-profile', region_name='your-region')
client = session.client('emr-serverless')

response = client.create_application(
    name='tip-tutorial-app',
    releaseLabel='emr-7.8.0',
    type='SPARK',
    identityCenterConfiguration={
        'identityCenterInstanceArn': 'arn:aws:sso:::instance/ssoins-instance-id'
    },
    interactiveConfiguration={
        'livyEndpointEnabled': True
    },
    runtimeConfiguration=[
        {
            'classification': 'spark-defaults',
            'properties': {
                'spark.sql.catalogImplementation': 'hive',
                'spark.hadoop.hive.metastore.client.factory.class': 'com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory'
            }
        }
    ]
)
print(response['applicationId'])

Konfigurasi metastore Katalog Data Lem

Peng runtimeConfiguration aturan untuk spark.sql.catalogImplementation dan kelas pabrik AWS Glue metastore memastikan bahwa sesi Spark dapat mengakses semua jenis tabel (CSV, Parquet, ORC, Iceberg) di Katalog Data AWS Glue. Tanpa konfigurasi ini, hanya tabel Iceberg yang mungkin terlihat.

Titik akhir Apache Livy diperlukan untuk TIP

Diperlukan propagasi identitas tepercaya--interactive-configuration '{"livyEndpointEnabled":true}'. TIP diaktifkan hanya untuk titik akhir Apache Livy.

Jika Anda tidak memiliki izin Pusat Identitas IAM yang diperlukan, buat aplikasi tanpa --identity-center-configuration parameter dan minta administrator Pusat Identitas IAM Anda untuk mengaktifkan TIP nanti menggunakan API aplikasi pembaruan:


aws emr-serverless update-application \
    --application-id application-id \
    --identity-center-configuration '{"identityCenterInstanceArn": "arn:aws:sso:::instance/ssoins-instance-id"}'

Langkah 4: Konfigurasikan peran eksekusi pekerjaan

Kebijakan kepercayaan peran eksekusi pekerjaan harus menyertakan sts:SetContext untuk mengizinkan EMR Serverless meningkatkan kredensional dengan identitas pengguna:


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "emr-serverless.amazonaws.com"
            },
            "Action": ["sts:AssumeRole", "sts:SetContext"]
        }
    ]
}

Buat peran:


aws iam create-role \
    --role-name emr-serverless-tip-job-role \
    --assume-role-policy-document file://trust-policy.json \
    --description "EMR Serverless job execution role with TIP support"

Lampirkan izin untuk layanan hilir yang akan diakses oleh pekerjaan. Peran tersebut membutuhkan izin Lake Formation, AWS Glue, Amazon S3, dan Amazon CloudWatch Logs:


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "LakeFormationAndGlueAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess",
                "glue:GetTable", "glue:GetTables",
                "glue:GetDatabase", "glue:GetDatabases",
                "glue:GetPartitions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "S3DataAccess",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::your-data-bucket",
                "arn:aws:s3:::your-data-bucket/*"
            ]
        },
        {
            "Sid": "CloudWatchLogsAccess",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams"
            ],
            "Resource": "arn:aws:logs:us-east-1:111122223333:*"
        }
    ]
}

Izin S3 diperlukan selain izin Formasi Danau

Izin Amazon S3 (s3:GetObjects3:PutObject,,s3:ListBucket) pada bucket data Anda diperlukan selain izin Lake Formation dan AWS Glue. Iz s3:PutObject in diperlukan untuk data Scratch dan shuffle Spark. Tanpa izin Amazon S3, pekerjaan Spark mungkin gagal dengan kesalahan akses ditolak saat membaca file data yang mendasarinya atau menulis data sementara.

CloudWatch Izin log diperlukan

Izin Amazon CloudWatch Logs diperlukan untuk pengiriman log driver dan eksekutor Spark. Tanpa mereka, sesi Spark mungkin gagal dimulai.

Lampirkan kebijakan ke peran:


aws iam put-role-policy \
    --role-name emr-serverless-tip-job-role \
    --policy-name tip-lakeformation-access \
    --policy-document file://permissions-policy.json

Berikan izin Formasi Danau ke peran eksekusi pekerjaan:

Peran eksekusi pekerjaan juga memerlukan izin Lake Formation pada database dan tabel. Ini sebagai tambahan dari hibah yang diberikan kepada pengguna Pusat Identitas IAM.


# Grant DESCRIBE on the database to the job role
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/emr-serverless-tip-job-role"}' \
    --permissions '["DESCRIBE"]' \
    --resource '{"Database": {"DatabaseName": "tip_tutorial_db", "CatalogId": "account-id"}}'

# Grant SELECT and DESCRIBE on the table to the job role
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/emr-serverless-tip-job-role"}' \
    --permissions '["SELECT","DESCRIBE"]' \
    --resource '{"Table": {"DatabaseName": "tip_tutorial_db", "Name": "employees", "CatalogId": "account-id"}}'

Untuk konfigurasi layanan hilir tambahan, lihat Menggunakan Lake Formation dengan EMR Serverless dan Menggunakan Amazon S3 Access Grants dengan EMR Serverless.

Kueri data dengan Propagasi Identitas Tepercaya melalui Amazon SageMaker Unified Studio

Setelah menyelesaikan penyiapan, Anda dapat menanyakan data menggunakan aplikasi TIP-enabled EMR Serverless sebagai komputasi dalam proyek Amazon SageMaker Unified Studio. EMR Serverless menjalankan kueri setiap pengguna dengan identitas Pusat Identitas IAM mereka sendiri, dan Lake Formation memberlakukan izin per pengguna.

Prasyarat

Aplikasi TIP-enabled EMR Serverless (diselesaikan pada Langkah 3 di atas).
Domain Amazon SageMaker Unified Studio yang dikonfigurasi dengan otentikasi Pusat Identitas IAM.
Izin Lake Formation diberikan kepada pengguna atau grup Pusat Identitas IAM Anda pada database dan tabel target (diselesaikan pada Langkah 2 di atas).

Langkah 5: Buat proyek Amazon SageMaker Unified Studio dengan TIP diaktifkan

Masuk ke Amazon SageMaker Unified Studio menggunakan kredentif Pusat Identitas IAM Anda.
Buat proyek baru atau buka proyek yang sudah ada.
Dalam pengaturan proyek, pastikan profil telah enableTrustedIdentityPropagationPermissions diatur ke true dalam parameter cetak biru.

Langkah 6: Tambahkan aplikasi EMR Serverless sebagai komputasi

Konfigurasi komputasi proyek Amazon SageMaker Unified Studio saat ini tidak mendukung penambahan aplikasi Tanpa Server EMR yang ada melalui konsol. Gunakan AWS CLI untuk membuat koneksi:


aws datazone create-connection \
  --domain-identifier domain-id \
  --name "my-emr-serverless-connection" \
  --environment-identifier environment-id \
  --props '{
    "sparkEmrProperties": {
      "computeArn": "arn:aws:emr-serverless:region:account-id:/applications/application-id",
      "runtimeRole": "arn:aws:iam::account-id:role/emr-serverless-tip-job-role"
    }
  }'

Ganti nilai-nilai berikut:

domain-id: Pengidentifikasi domain Amazon SageMaker Unified Studio Anda.
environment-id: Pengidentifikasi lingkungan untuk proyek Anda (gunakan lingkungan Perkakas).
application-id: ID aplikasi EMR Serverless dari Langkah 3.
emr-serverless-tip-job-role: Peran eksekusi pekerjaan dari Langkah 4.

penting

create-connectionAPI mengharuskan pemanggil untuk menjadi anggota DataZone proyek. Jika Anda menerimaAccessDeniedException, tambahkan peran IAM Anda sebagai kontributor proyek sebelum membuat koneksi:


import boto3

session = boto3.Session(profile_name='your-profile', region_name='your-region')
client = session.client('datazone')

client.create_project_membership(
    domainIdentifier='domain-id',
    projectIdentifier='project-id',
    designation='PROJECT_CONTRIBUTOR',
    member={'userIdentifier': 'arn:aws:iam::account-id:role/your-role'}
)

Konfigurasikan peran DataZone pengguna proyek untuk akses EMR Serverless.

Per DataZone an pengguna untuk lingkungan proyek harus memiliki izin untuk berinteraksi dengan aplikasi EMR Serverless. Tambahkan kebijakan sebaris berikut ke peran (nama peran mengikuti poladatazone_usr_role_<project-id>_<environment-id>):


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "emr-serverless:GetApplication",
                "emr-serverless:StartApplication",
                "emr-serverless:StopApplication",
                "emr-serverless:ListApplications",
                "emr-serverless:AccessLivyEndpoints",
                "emr-serverless:StartJobRun",
                "emr-serverless:GetJobRun",
                "emr-serverless:ListJobRuns",
                "emr-serverless:CancelJobRun",
                "emr-serverless:GetDashboardForJobRun"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::111122223333:role/emr-serverless-tip-job-role",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "emr-serverless.amazonaws.com"
                }
            }
        }
    ]
}

Berikan izin Formasi Danau ke peran DataZone pengguna:


# Grant DESCRIBE on the database
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/datazone_usr_role_project-id_environment-id"}' \
    --permissions '["DESCRIBE"]' \
    --resource '{"Database": {"DatabaseName": "tip_tutorial_db", "CatalogId": "account-id"}}'

# Grant SELECT and DESCRIBE on the table
aws lakeformation grant-permissions \
    --principal '{"DataLakePrincipalIdentifier": "arn:aws:iam::account-id:role/datazone_usr_role_project-id_environment-id"}' \
    --permissions '["SELECT","DESCRIBE"]' \
    --resource '{"Table": {"DatabaseName": "tip_tutorial_db", "Name": "employees", "CatalogId": "account-id"}}'

Batasan konsol untuk koneksi EMR Serverless

Amazon SageMaker Unified Studio saat ini mendukung penambahan Amazon EMR yang ada pada cluster EC2 melalui konfigurasi komputasi konsol. Untuk aplikasi EMR Serverless, gunakan AWS CLI metode yang ditunjukkan di atas.

Langkah 7: Kueri tabel sampel

Buka ruang JupyterLab IDE di proyek Amazon SageMaker Unified Studio Anda.
Pilih koneksi EMR Serverless sebagai komputasi untuk eksekusi notebook.

Di sel notebook baru, jalankan ku PySpark eri berikut:


%%pyspark my-emr-serverless-connection
spark.sql("SHOW DATABASES").show()

%%pyspark my-emr-serverless-connection
spark.sql("SELECT * FROM tip_tutorial_db.employees LIMIT 10").show()

Verifikasi bahwa kueri mengembalikan data. Ini menegaskan bahwa identitas Pusat Identitas IAM Anda disebarkan ke Lake Formation dan akses diberikan berdasarkan identitas Anda.

Aplikasi mulai dingin

Pertama kali Anda menjalankan sel setelah membuat koneksi, EMR Serverless memulai aplikasi (cold start). Ini bisa memakan waktu 2 hingga 3 menit. Sel-sel berikutnya berjalan dalam hitungan detik saat sesi aktif.

Pemecahan masalah kesalahan penolakan akses

Jika Anda menerima kesalahan akses ditolak, verifikasi bahwa:

Pengguna atau grup Pusat Identitas IAM Anda telah diberikan DESCRIBE pada database dan SELECT/DESCRIBE di tabel di Lake Formation.
Peran eksekusi pekerjaan memiliki lakeformation:GetDataAccess izin Katalog Data AWS Glue.
Per DataZone an pengguna memiliki izin Lake Formation pada database dan tabel.
Lokasi Lake Formation Amazon S3 terdaftar dengan peran khusus yang mencakup sts:SetContext (bukan peran terkait layanan).

Pemecahan masalah

Kesalahan	Penyebab	Memperbaiki
`AccessDeniedException: emr-serverless:GetApplication`	Peran DataZone pengguna tidak memiliki izin EMR Serverless.	Tambahkan kebijakan inline EMR Serverless ke peran DataZone pengguna (lihat Langkah 6).
Waktu habis menunggu aplikasi mencapai status MULAI	Cold start aplikasi EMR Serverless melebihi batas waktu default.	Re-run sel. Aplikasi terus dimulai di latar belakang dan akan siap pada upaya berikutnya.
Sesi tidak ditemukan. Dibersihkan karena batas waktu idle.	Sesi Spark gagal dimulai karena izin yang tidak mencukupi pada peran eksekusi pekerjaan.	Pastikan peran eksekusi pekerjaan memiliki izin Amazon S3, Amazon CloudWatch Logs, AWS Glue, dan Lake Formation (lihat Langkah 4).
Izin Formasi Danau Tidak Mencukupi: Diperlukan Jelaskan pada database	Identitas atau peran Anda tidak memiliki izin Formasi Danau tingkat database.	Berikan DESCRIPTION pada database kepada pengguna Pusat Identitas IAM, peran eksekusi pekerjaan, dan peran DataZone pengguna.
`TABLE_OR_VIEW_NOT_FOUND`	Sesi Spark tidak dikonfigurasi untuk menggunakan Katalog Data AWS Glue.	Pastikan aplikasi EMR Serverless menyertakan `spark.sql.catalogImplementation=hive` dan kelas pabrik Glu AWS e metastore di dalamnya `runtimeConfiguration` (lihat Langkah 3).
`AccessDeniedException: CreateConnection`	Penelepon bukan anggota DataZone proyek.	Tambahkan peran Anda sebagai kontributor proyek sebelum menelep `create-connection` on (lihat Langkah 6).

Pembersihan sumber daya

Untuk menghindari biaya yang sedang berlangsung, hapus sumber daya yang Anda buat dalam tutorial ini:

Hapus aplikasi EMR Serverless.
Hapus koneksi Amazon SageMaker Unified Studio dan hapus proyek Amazon SageMaker Unified Studio (dan domain, jika Anda membuatnya hanya untuk tutorial ini).
Cabut izin Formasi Danau yang Anda berikan, dan hapus pendaftaran lokasi data Amazon S3.
Hapus peran IAM yang Anda buat di Langkah 2 dan Langkah 4.
Hapus bucket pengujian Amazon S3 dan data sampel apa pun.

Langkah selanjutnya

Untuk memverifikasi propagasi identitas di CloudTrail, cari AssumeRole peristiwa dengan sts:SetContext dari layanan Tanpa Server EMR.
Untuk membatasi akses bagi pengguna yang berbeda, buat pengguna IAM Identity Center tambahan dan berikan mereka izin Lake Formation yang berbeda pada tabel yang sama (misalnya, pemfilteran tingkat kolom atau tingkat baris).
Untuk penerapan produksi, lingkup izin Amazon S3 dan AWS Glue peran eksekusi pekerjaan ke sumber daya tertentu daripada menggunakan wildcard.
Untuk informasi selengkapnya tentang menggunakan EMR Serverless dengan Amazon SageMaker Unified Studio, lihat EMR Serverless di Amazon Unified Studio. SageMaker

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Menggunakan dbt-core

Keamanan