Esaminare le autorizzazioni IAM necessarie per i processi ETL

Quando si crea un lavoro utilizzando AWS Glue Studio, il job presuppone le autorizzazioni del ruolo IAM che specifichi al momento della creazione. Questo ruolo IAM deve disporre dell'autorizzazione per estrarre dati dalla fonte dati, scrivere dati sulla destinazione e accedere alle AWS Glue risorse.

Il nome del ruolo che crei per il job deve iniziare con la stringa AWSGlueServiceRole per essere utilizzato correttamente da AWS Glue Studio. Ad esempio, potresti dare un nome al tuo ruoloAWSGlueServiceRole-FlightDataJob.

Autorizzazioni origine dati e destinazione dati

Un record AWS Glue Studio job deve avere accesso ad Amazon S3 per tutte le fonti, le destinazioni, gli script e le directory temporanee utilizzate nel lavoro. Puoi creare una policy per fornire un accesso granulare a risorse Amazon S3 specifiche.

• Le origini dati richiedono le autorizzazioni s3:ListBucket e s3:GetObject.

• Le destinazioni dati richiedono le autorizzazioni s3:ListBucket, s3:PutObject e s3:DeleteObject.

Nota

La tua policy IAM deve tenere conto dei bucket specifici utilizzati s3:GetObject per ospitare le trasformazioni. AWS Glue

I seguenti bucket sono di proprietà dell'account del AWS servizio e sono leggibili in tutto il mondo. Questi bucket fungono da archivio per il codice sorgente pertinente a un sottoinsieme di trasformazioni accessibili tramite l'editor visuale. AWS Glue Studio Le autorizzazioni sul bucket sono configurate per negare qualsiasi altra azione dell'API sul bucket. Chiunque può leggere gli script che forniamo per le trasformazioni, ma nessuno al di fuori del nostro team di assistenza può «inserirvi» nulla. Quando il AWS Glue processo viene eseguito, il file viene importato in locale in modo che venga scaricato nel contenitore locale. Dopodiché, non ci sono ulteriori comunicazioni con quell'account.

Regione: nome del bucket

• af-south-1: -762339736633- aws-glue-studio-transforms -1 prod-af-south

• ap-east-1: -125979764932- aws-glue-studio-transforms -1 prod-ap-east

• ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast

• ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast

• ap-south-1: -584702181950- aws-glue-studio-transforms -1 prod-ap-south

• ap-south-2: -380279651983- aws-glue-studio-transforms -2 prod-ap-south

• ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast

• ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast

• ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast

• ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast

• ca-central-1: -622716468547- -1 aws-glue-studio-transforms prod-ca-central

• ca-west-1: -915795495192- aws-glue-studio-transforms -1 prod-ca-west

• aws-glue-studio-transformseu-central-1: -560373232017- -1 prod-eu-central

• aws-glue-studio-transformseu-central-2: -907358657121- -2 prod-eu-central

• eu-north-1: -312557305497- -1 aws-glue-studio-transforms prod-eu-north

• eu-south-1: -939684186351- -1 aws-glue-studio-transforms prod-eu-south

• eu-south-2: -239737454084- -2 aws-glue-studio-transforms prod-eu-south

• eu-west-1: -244479516193- -1 aws-glue-studio-transforms prod-eu-west

• eu-west-2: -804222392271- -2 aws-glue-studio-transforms prod-eu-west

• eu-west-3: -371299348807- -3 aws-glue-studio-transforms prod-eu-west

• il-central-1: -806964611811- -1 aws-glue-studio-transforms prod-il-central

• me-central-1: -733304270342- -1 aws-glue-studio-transforms prod-me-central

• me-south-1: -112120182341- aws-glue-studio-transforms -1 prod-me-south

• sa-east-1: -881619130292- aws-glue-studio-transforms -1 prod-sa-east

• us-east-1: -510798373988- -1 aws-glue-studio-transforms prod-us-east

• us-east-2: -251189692203- -2 aws-glue-studio-transforms prod-us-east

• us-west-1: -593230150239- -1 aws-glue-studio-transforms prod-us-west

• us-west-2: -818035625594- -2 aws-glue-studio-transforms prod-us-west

• ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast

• cn-nord-1: aws-glue-studio-transforms -071033555442- -1 prod-cn-north

• cn-nord-ovest-1: aws-glue-studio-transforms -070947029561- -1 prod-cn-northwest

• us-gov-west-1: aws-glue-studio-transforms -227493901923- -1-2604 prod-us-gov-west

Se scegli Amazon Redshift come origine dati, puoi assegnare un ruolo per le autorizzazioni del cluster. I lavori eseguiti su un Amazon Redshift cluster emettono comandi che accedono ad Amazon S3 per lo storage temporaneo utilizzando credenziali temporanee. Se il processo viene eseguito per più di un'ora, queste credenziali scadranno causando l'esito negativo del processo. Per evitare questo problema, puoi assegnare un ruolo al cluster Amazon Redshift stesso che concede le autorizzazioni necessarie ai processi utilizzando le credenziali temporanee. Per ulteriori informazioni, consulta Spostamento di dati da e verso Amazon Redshift nella Guida per gli sviluppatori di AWS Glue .

Se il processo utilizza origini dati o destinazioni diverse da Amazon S3, devi allegare le autorizzazioni necessarie al ruolo IAM utilizzato dal processo per accedere a tali origini dati e destinazioni. Per ulteriori informazioni, consulta Impostazione dell'ambiente per accedere a archivio dati nella Guida per gli sviluppatori di AWS Glue .

Se si utilizzano connettori e connessioni per l'archivio dati, è necessario disporre di autorizzazioni aggiuntive, come descritto in Autorizzazioni richieste per l'utilizzo dei connettori.

Autorizzazioni necessarie per l'eliminazione dei processi

In AWS Glue Studio puoi selezionare più lavori nella console da eliminare. Per eseguire questa azione, è necessario disporre delle autorizzazioni glue:BatchDeleteJob. Questo è diverso dal AWS Glue console, che richiede l'glue:DeleteJobautorizzazione per l'eliminazione dei lavori.

AWS Key Management Service autorizzazioni

Se prevedi di accedere a sorgenti e destinazioni Amazon S3 che utilizzano la crittografia lato server con AWS Key Management Service (AWS KMS), allega una policy al AWS Glue Studio ruolo utilizzato dal job che consente al job di decrittografare i dati. Il ruolo del processo necessita delle autorizzazioni kms:ReEncrypt, kms:GenerateDataKey e kms:DescribeKey. Inoltre, il ruolo professionale richiede l'kms:Decryptautorizzazione per caricare o scaricare un oggetto Amazon S3 crittografato con una chiave master AWS KMS del cliente (CMK).

Sono previsti costi aggiuntivi per l'utilizzo. AWS KMS CMKs Per ulteriori informazioni, consulta AWS Key Management Service Concepts - Customer Master Keys (CMKs) and AWS Key Management Service Pricing nella AWS Key Management Service Developer Guide.

Autorizzazioni richieste per l'utilizzo dei connettori

Se stai usando un AWS Glue Connettore personalizzato e connessione per accedere a un data store, il ruolo utilizzato per eseguire il AWS Glue Il lavoro ETL richiede autorizzazioni aggiuntive allegate:

• La policy gestita da AWS AmazonEC2ContainerRegistryReadOnly per l'accesso ai connettori acquistati Marketplace AWS.

• Le autorizzazioni glue:GetJob e glue:GetJobs.

• AWS Secrets Manager autorizzazioni per l'accesso ai segreti utilizzati con le connessioni. Per le policy IAM di esempio, consulta Esempio: Autorizzazione per recuperare valori segreti.

Se le ricette di AWS Glue Il job ETL viene eseguito all'interno di un VPC che esegue Amazon VPC, quindi il VPC deve essere configurato come descritto in. Configurazione di un VPC per il tuo processo ETL