Configurazione delle sessioni interattive di AWS Glue per Jupyter e notebook AWS Glue Studio - AWS Glue
Introduzione ai magic di Jupyter Magic supportati dalle sessioni interattive di AWS Glue per Jupyter Sessioni di denominazioneSpecifica di un ruolo IAM per le sessioni interattive Configurazione di sessioni con profili denominati

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione delle sessioni interattive di AWS Glue per Jupyter e notebook AWS Glue Studio

Introduzione ai magic di Jupyter

I magic di Jupyter sono comandi che possono essere eseguiti all'inizio di una cella o come un intero corpo di una cella. I magic di linea iniziano per %, i magic di cella per %%. I magic di linea come %region e %connections possono essere eseguiti con più magic in una cella o con codice incluso nel corpo della cella come nell'esempio seguente. 

%region us-east-2
%connections my_rds_connection
dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')

I magic di cella devono utilizzare l'intera cella e possono avere il comando esteso su più righe. Un esempio di %%sql è riportato di seguito. 

%%sql
select * from rds_tables.sales_table

Magic supportati dalle sessioni interattive di AWS Glue per Jupyter

Di seguito sono elencati i magic che puoi utilizzare con le sessioni interattive AWS Glue per Jupyter Notebook.

Sessioni Magic

Nome Tipo Descrizione
%help N/A Restituisce un elenco di descrizioni e tipi di input per tutti i comandi magic.
%profile Stringa Specificate un profilo nella AWS configurazione da utilizzare come fornitore di credenziali.
%region Stringa

Specificare il Regione AWS; in cui inizializzare una sessione. Impostazione predefinita da ~/.aws/configure.

Esempio: %region us-west-1
%idle_timeout Int

Il numero di minuti di inattività dopo i quali una sessione andrà in timeout in seguito all'esecuzione di una cella. Il valore predefinito del timeout di inattività per le sessioni Spark ETL è il timeout predefinito, pari a 2.880 minuti (48 ore). Per altri tipi di sessione, consulta la documentazione relativa al tipo di sessione specifico.

Esempio: %idle_timeout 3000
%session_id N/A Restituisce l'ID della sessione in esecuzione.
%session_id_prefix Stringa

Definite una stringa che precederà tutte le sessioni IDs nel formato [session_id_prefix] - [session_id]. Se non viene fornito un ID di sessione, verrà generato un UUID casuale. Questo magic non è supportato quando esegui un notebook Jupyter in AWS Glue Studio.

Esempio: %session_id_prefix 001
%status Restituisce lo stato dell'attuale sessione AWS Glue inclusi la durata, la configurazione e l'utente/ruolo che la esegue.
%stop_session Arresta la sessione corrente.
%list_sessions Elenca tutte le sessioni attualmente in esecuzione per nome e ID.
%session_type Stringa

Imposta il tipo di sessione su Flussi di dati, ETL o Ray.

Esempio: %session_type Streaming
%glue_version Stringa

La versione di AWS Glue che questa sessione dovrà utilizzare.

Esempio: %glue_version 3.0

Magic per la selezione dei tipi di processo

Nome Tipo Descrizione
%streaming Stringa Cambia il tipo di sessione in Streaming AWS Glue.
%etl Stringa Cambia il tipo di sessione in ETL AWS Glue.
%glue_ray Stringa Cambia AWS Glue il tipo di sessione in for Ray. Vedi Magics supportato dalle sessioni interattive di AWS Glue Ray.

Magic per la configurazione di AWS Glue per Spark

Il magic %%configure è un dizionario formattato json composto da tutti i parametri di configurazione per una sessione. Ciascun parametro può essere specificato qui o tramite magic individuali.

Nome Tipo Descrizione
%%configure Dizionario

Specifica un dizionario formattato JSON composto da tutti i parametri di configurazione per una sessione. Ciascun parametro può essere specificato qui o tramite magic individuali.

Per un elenco di parametri ed esempi su come utilizzarli%%configure, vediargomenti del magic di cella %%configure.

%iam_role Stringa

Specifica un ruolo IAM ARN con cui eseguire la sessione. Predefinito da ~/.aws/configure.

Esempio: %iam_role AWSGlueServiceRole

%number_of_workers Int

Il numero di dipendenti di un specifico worker-type allocati quando viene eseguito un processo. Deve essere impostato anche worker_type. Il number_of_workers predefinito è 5.

Esempio: %number_of_workers 2
%additional_python_modules Elenco

Elenco separato da virgole di moduli Python aggiuntivi da includere nel cluster (possono provenire da PyPI o S3).

Esempio: %additional_python_modules pandas, numpy.
%%tags Stringa

Aggiunge tag a una sessione. Specifica i tag tra parentesi graffe { }. Ogni coppia di nomi di tag è racchiusa tra parentesi (" ") e separata da una virgola (,). 

%%tags
{"billing":"Data-Platform", "team":"analytics"}

Utilizza il magic %status per visualizzare i tag associati alla sessione.

%status
Session ID: <sessionId>
 Status: READY
 Role: <example-role>
 CreatedOn: 2023-05-26 11:12:17.056000-07:00
 GlueVersion: 3.0
 Job Type: glueetl
 Tags: {'owner':'example-owner', 'team':'analytics', 'billing':'Data-Platform'}
 Worker Type: G.4X
 Number of Workers: 5
 Region: us-west-2
 Applying the following default arguments:
 --glue_kernel_version 0.38.0
 --enable-glue-datacatalog true
 Arguments Passed: ['--glue_kernel_version: 0.38.0', '--enable-glue-datacatalog: true']
%%assume_role Dizionario

Specifica un dizionario in formato json o una stringa ARN del ruolo IAM per creare una sessione per l'accesso multi-account.

Esempio con ARN:

%%assume_role
{
  'arn:aws:iam::XXXXXXXXXXXX:role/AWSGlueServiceRole'
}

Esempio con credenziali:

 %%assume_role
{{
    "aws_access_key_id" = "XXXXXXXXXXXX",
    "aws_secret_access_key" = "XXXXXXXXXXXX",
    "aws_session_token" = "XXXXXXXXXXXX"
}}

argomenti del magic di cella %%configure

Il magic %%configure è un dizionario formattato json composto da tutti i parametri di configurazione per una sessione. Ciascun parametro può essere specificato qui o tramite magic individuali. Di seguito sono riportati alcuni esempi di argomenti supportati dal magic di cella %%configure. Utilizzate il -- prefisso per gli argomenti di esecuzione specificati per il job. Esempio: 

%%configure
{
   "--user-jars-first": "true",
   "--enable-glue-datacatalog": "false"
}

Per ulteriori informazioni sui parametri del processo, vedereParametri del processo.

Configurazione della sessione

Parametro Tipo Descrizione
max_retries Int

Il numero massimo di tentativi per riprovare il processo se ha esito negativo.

%%configure
{
  "max_retries": "0"
}
max_concurrent_runs Int Il numero massimo di esecuzioni simultanee consentite per un processo.

Esempio:

%%configure
{
  "max_concurrent_runs": "3"
}

Parametri della sessione

Parametro Tipo Descrizione
--enable-spark-ui Booleano Abilita l'interfaccia utente di Spark per monitorare ed eseguire il debug dei processi ETL AWS Glue. 
%%configure
{
  "--enable-spark-ui": "true"
}
--spark-event-logs-path Stringa Specifica un percorso Amazon S3. Quando si utilizza la funzionalità di monitoraggio dell'interfaccia utente Spark.

Esempio:

%%configure
{
  "--spark-event-logs-path": "s3://path/to/event/logs/"
}
--script_location Stringa Specifica il percorso S3 per uno script che esegue un processo.

Esempio:

%%configure 
{
  "script_location": "s3://new-folder-here"
}
--SECURITY_CONFIGURATION Stringa

Il nome di una configurazione AWS Glue di sicurezza

Esempio:

%%configure
{
    "--security_configuration": {
"encryption_type": "kms",
"kms_key_id": "YOUR_KMS_KEY_ARN"
}
}
--job-language Stringa Il linguaggio di programmazione script. Accetta un valore di "scala" o "python". L'impostazione predefinita è "python".

Esempio:

%%configure 
{
  "--job-language": "scala"
}
--class Stringa La classe Scala che funge da punto di accesso per lo script Scala. L'impostazione predefinita è null.

Esempio:

%%configure 
{
  "--class": "className"
}
--user-jars-first Booleano Assegna la priorità ai file JAR aggiuntivi del cliente nel classpath. L'impostazione predefinita è null.

Esempio:

%%configure 
{
  "--user-jars-first": "true"
}
--use-postgres-driver Booleano Assegna la priorità al driver JDBC Postgres nel percorso della classe per evitare conflitti con il driver JDBC. Amazon Redshift L'impostazione predefinita è null.

Esempio:

%%configure 
{
  "--use-postgres-driver": "true"
}
--extra-files List(string) I percorsi Amazon S3 dei file aggiuntivi, come file di configurazione, che AWS Glue copia nella directory di lavoro del tuo script prima di eseguirlo.

Esempio:

%%configure 
{
  "--extra-files": "s3://path/to/additional/files/"
}
--job-bookmark-option Stringa Controlla il comportamento di un segnalibro del processo. Accetta il valore '', '' o ''. job-bookmark-enable job-bookmark-disable job-bookmark-pause L'impostazione predefinita è 'job-bookmark-disable'.

Esempio:

%%configure
{
  "--job-bookmark-option": "job-bookmark-enable"
}
--TempDir Stringa Specifica un percorso Amazon S3 a un bucket utilizzabile come directory temporanea per il processo. L'impostazione predefinita è null.

Esempio:

%%configure 
{
  "--TempDir": "s3://path/to/temp/dir"
}
--enable-s3-parquet-optimized-committer Booleano Abilita il committer ottimizzato EMRFS Amazon S3 per la scrittura dei dati Parquet in Amazon S3. Il valore predefinito è "true".

Esempio:

%%configure 
{
  "--enable-s3-parquet-optimized-committer": "false"
}
--enable-rename-algorithm-v2 Booleano Imposta la versione dell'algoritmo di ridenominazione EMRFS alla versione 2. Il valore predefinito è "true".

Esempio:

%%configure 
{
  "--enable-rename-algorithm-v2": "true"
}
--enable-glue-datacatalog Booleano Consente di utilizzare Catalogo dati AWS Glue come metastore Apache Spark Hive.

Esempio:

%%configure 
{
  "--enable-glue-datacatalog": "true"
}
--enable-metrics Booleano Abilita la raccolta di parametri per la profilatura del processo per l'esecuzione. Il valore predefinito è "false".

Esempio:

%%configure 
{
  "--enable-metrics": "true"
}
--enable-continuous-cloudwatch-log Booleano Abilita la registrazione continua in tempo reale per i processi AWS Glue. Il valore predefinito è "false".

Esempio:

%%configure 
{
  "--enable-continuous-cloudwatch-log": "true"
}
--enable-continuous-log-filter Booleano Specifica un filtro standard o nessun filtro durante la creazione o la modifica di un processo abilitato per la registrazione continua. Il valore predefinito è "true".

Esempio:

%%configure 
{
  "--enable-continuous-log-filter": "true"
}
--continuous-log-stream-prefix Stringa Specificate un prefisso di Amazon CloudWatch log stream personalizzato per un job abilitato alla registrazione continua. L'impostazione predefinita è null.

Esempio:

%%configure 
{
  "--continuous-log-stream-prefix": "prefix"
}
--continuous-log-conversionPattern Stringa Specifica un modello di log di conversione personalizzato per un processo abilitato per la registrazione continua. L'impostazione predefinita è null.

Esempio:

%%configure 
{
  "--continuous-log-conversionPattern": "pattern"
}
--conf Stringa Controlla i parametri di configurazione di Spark. È per casi d'uso avanzati. Utilizzare --conf prima di ogni parametro. Esempio: 
%%configure
{
    "--conf": "spark.hadoop.hive.metastore.glue.catalogid=123456789012 --conf hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf hive.metastore.schema.verification=false"
}
timeout Int Determina la quantità massima di tempo che la sessione Spark deve attendere per il completamento di un'istruzione prima di terminarla. 
%%configure 
{
  "timeout": "30"
}
auto-scaling Booleano Determina se utilizzare o meno l'auto-scaling. 
%%configure 
{
  "––enable-auto-scaling": "true"
}

Magic per processi Spark (ETL e flussi di dati)

Nome Tipo Descrizione
%worker_type Stringa Standard, G.1X, G.2X, G.4X, G.8X, G.12X, G.16X, R.1X, R.2X, R.4X o R.8X. number_of_workersdeve essere impostato anche questo. Il worker_type predefinito è G.1X.
%connections Elenco

Specifica un elenco separato da virgola di connessioni da utilizzare nella sessione.

Esempio: 

%connections my_rds_connection
                    dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')
%extra_py_files Elenco Specifica un elenco separato da virgola di file Python aggiuntivi da Amazon S3.
%extra_jars Elenco Specifica un elenco separato da virgola di jar aggiuntivi da includere nel cluster.
%spark_conf Stringa Specifica le configurazioni Spark personalizzate per la sessione. Ad esempio, %spark_conf spark.serializer=org.apache.spark.serializer.KryoSerializer.

Magic per processi Ray

Nome Tipo Descrizione
%min_workers Int Il numero minimo di worker allocati a un processo Ray. Default: 1.

Esempio: %min_workers 2

%object_memory_head Int La percentuale di memoria libera sul nodo principale dell'istanza dopo un avvio a caldo. Minimo: 0 Massimo: 100

Esempio: %object_memory_head 100
%object_memory_worker Int La percentuale di memoria libera sui nodi worker dell'istanza dopo un avvio a caldo. Minimo: 0 Massimo: 100

Esempio: %object_memory_worker 100

Magic operativi

Nome Tipo Descrizione
%%sql Stringa

Eseguire codice SQL. Tutte le righe dopo che il magic %%sql iniziale verrà passato come parte del codice SQL.

Esempio: %%sql select * from rds_tables.sales_table

%matplot Figura matplotlib

Visualizza i dati utilizzando la libreria matplotlib.

Esempio:

import matplotlib.pyplot as plt

# Set X-axis and Y-axis values
x = [5, 2, 8, 4, 9]
y = [10, 4, 8, 5, 2]
  
# Create a bar chart 
plt.bar(x, y)
  
# Show the plot
%matplot plt
%plotly Figura plotly

Visualizza i dati utilizzando la libreria plotly.

Esempio:

import plotly.express as px
                  
#Create a graphical figure
fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure")

#Show the figure
%plotly fig

Sessioni di denominazione

AWS Gluele sessioni interattive sono AWS risorse e richiedono un nome. I nomi devono essere univoci per ogni sessione e possono essere limitati dagli amministratori IAM. Per ulteriori informazioni, consulta Sessioni Interattive con IAM. Il kernel Jupyter genera automaticamente nomi di sessione univoci per tuo conto. Tuttavia, le sessioni possono essere nominate manualmente in due modi:

  1. Utilizzando il file di AWS Command Line Interface configurazione che si trova in~.aws/config. Vedere Configurazione di AWS Config con. AWS Command Line Interface

  2. Utilizzo dei magic %session_id_prefix. Consultare Magic supportati dalle sessioni interattive di AWS Glue per Jupyter .

Il nome di una sessione viene generato come segue:

  • Quando vengono forniti il prefisso e session_id: il nome della sessione sarà {prefix}-{UUID}.

  • Quando non viene fornito nulla: il nome della sessione sarà {UUID}.

Il prefisso dei nomi delle sessioni ti consente di riconoscere la tua sessione quando la elenchi nella console AWS CLI o.

Specifica di un ruolo IAM per le sessioni interattive

È necessario specificare un ruolo AWS Identity and Access Management (IAM) da utilizzare AWS Glue con il codice ETL eseguito con sessioni interattive.

Il ruolo deve disporre delle stesse autorizzazioni IAM di quelle necessarie per l'esecuzione dei processi AWS Glue. Consulta Creazione di un ruolo IAM per AWS Glue per ulteriori informazioni sulla creazione di un ruolo per processi AWS Glue e sessioni interattive.

I ruoli IAM possono essere specificati in due modi:

Configurazione di sessioni con profili denominati

AWS Gluele sessioni interattive utilizzano le stesse credenziali di AWS Command Line Interface o boto3 e le sessioni interattive rispettano e funzionano con profili denominati come quelli AWS CLI trovati in (~/.aws/configLinux e macOS) o (Windows). %USERPROFILE%\.aws\config Per ulteriori informazioni, consulta la sezione Using named profiles.

Le sessioni interattive sfruttano i vantaggi dei profili denominati consentendo al prefisso ruolo di servizio e ID sessione AWS Glue di essere specificato in un profilo. Per configurare un ruolo del profilo, aggiungi una riga per la iam_role chiave and/or session_id_prefix al tuo profilo denominato come mostrato di seguito. Il valore session_id_prefix non richiede virgolette. Ad esempio, se desideri aggiungere un session_id_prefix, inserisci il valore di session_id_prefix=myprefix. 

[default]
region=us-east-1
aws_access_key_id=AKIAIOSFODNN7EXAMPLE 
aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
glue_iam_role=arn:aws:iam::<AccountID>:role/<GlueServiceRole> 
session_id_prefix=<prefix_for_session_names>

[user1] 
region=eu-west-1
aws_access_key_id=AKIAI44QH8DHBEXAMPLE 
aws_secret_access_key=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY
glue_iam_role=arn:aws:iam::<AccountID>:role/<GlueServiceRoleUser1> 
session_id_prefix=<prefix_for_session_names_for_user1>

Se si dispone di un metodo personalizzato per generare credenziali, è anche possibile configurare il profilo in modo che utilizzi il parametro credential_process nel file ~/.aws/config. Ad esempio: 

[profile developer]
region=us-east-1
credential_process = "/Users/Dave/generate_my_credentials.sh" --username helen

Puoi trovare ulteriori dettagli sulle credenziali di approvvigionamento tramite il parametro credential_process qui: Credenziali di approvvigionamento con un processo esterno.

Se nel profilo che state usando non sono impostate una regione o un iam_role, dovete specificarli usando le %region e i %iam_role magic nella prima cella che eseguite.