Abilitazione della registrazione continua di processi AWS Glue

È possibile abilitare la registrazione continua utilizzando la AWS Glue console o tramite AWS Command Line Interface (AWS CLI).

È possibile abilitare la registrazione continua quando si crea un nuovo lavoro, si modifica un lavoro esistente o si abilita tramite. AWS CLI

È inoltre possibile specificare opzioni di configurazione personalizzate come il nome del gruppo di Amazon CloudWatch log, il prefisso del flusso di CloudWatch registro prima dell'ID di esecuzione del AWS Glue processo, l'ID driver/executor e il modello di conversione dei log per i messaggi di log. Queste configurazioni consentono di impostare log aggregati in gruppi di CloudWatch log personalizzati con diverse politiche di scadenza e di analizzarli ulteriormente con prefissi e modelli di conversione personalizzati per i flussi di log.

Utilizzando il AWS Management Console

Segui questi passaggi per utilizzare la console per abilitare la registrazione continua durante la creazione o la modifica di un processo AWS Glue.

Per creare un nuovo processo AWS Glue con la registrazione continua

1. Accedere AWS Management Console e aprire la AWS Glue console all'indirizzo https://console.aws.amazon.com/glue/.

2. Nel riquadro di navigazione, scegli ETL jobs.

3. Scegli Visual ETL.

4. Nella scheda Dettagli del lavoro, espandi la sezione Proprietà avanzate.

5. In Registrazione continua seleziona Abilita accessi. CloudWatch

Per abilitare la registrazione continua di un processo AWS Glue esistente

1. Apri la AWS Glue console all'indirizzo https://console.aws.amazon.com/glue/.

2. Nel riquadro di navigazione scegliere Jobs (Processi).

3. Scegliere un processo esistente dall'elenco Jobs (Processi).

4. Scegliere Action (Operazione), Edit job (Modifica processo).

5. Nella scheda Dettagli del lavoro, espandi la sezione Proprietà avanzate.

6. In Registrazione continua seleziona Abilita accessi. CloudWatch

Utilizzando il AWS CLI

Per abilitare la registrazione continua, trasferisci i parametri del processo a un processo AWS Glue. Passa i seguenti parametri di lavoro speciali in modo simile agli altri parametri di AWS Glue lavoro. Per ulteriori informazioni, consulta Utilizzo dei parametri del lavoro nei lavori AWS Glue.

'--enable-continuous-cloudwatch-log': 'true'

Puoi specificare un nome di gruppo di CloudWatch log Amazon personalizzato. Se non specificato, il nome predefinito del gruppo di log è /aws-glue/jobs/logs-v2/.

'--continuous-log-logGroup': 'custom_log_group_name'

Puoi specificare un prefisso Amazon CloudWatch Log Stream personalizzato. Se non specificato, il prefisso del flusso di log predefinito è l'ID di esecuzione del processo.

'--continuous-log-logStreamPrefix': 'custom_log_stream_prefix'

È possibile specificare un modello di conversione di registrazione continua personalizzato. Se non specificato, il modello di conversione predefinito è %d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n. Tieni presente che il modello di conversione si applica solo ai log dei driver e ai log delle esecuzioni. Non interessa la barra di avanzamento di AWS Glue.

'--continuous-log-conversionPattern': 'custom_log_conversion_pattern'

Registrazione di messaggi specifici di applicazioni tramite logger di script personalizzato

Puoi utilizzare il logger AWS Glue per registrare nello script qualsiasi messaggio specifico di applicazioni inviato in tempo reale al flusso di log di driver.

Il seguente esempio mostra uno script Python.

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Il seguente esempio mostra uno script Scala.

import com.amazonaws.services.glue.log.GlueLogger

object GlueApp {
  def main(sysArgs: Array[String]) {
    val logger = new GlueLogger
    logger.info("info message")
    logger.warn("warn message")
    logger.error("error message")
  }
}

Abilitazione della barra di avanzamento per visualizzare l'avanzamento del processo

AWS Glue fornire una barra di avanzamento del processo in tempo reale sotto il flusso di log JOB_RUN_ID-progress-bar per controllare lo stato dell'esecuzione del processo AWS Glue. Al momento, supporta solo i processi che inizializzano glueContext. Se esegui un semplice processo Spark senza inizializzare glueContext, la barra di avanzamento AWS Glue non viene visualizzata.

La barra di avanzamento mostra il seguente aggiornamento dell'avanzamento ogni 5 secondi.

Stage Number (Stage Name): > (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]

Configurazione di sicurezza con la registrazione continua.

Se è abilitata una configurazione di sicurezza per CloudWatch i log, AWS Glue creerà un gruppo di log denominato come segue per i log continui:

<Log-Group-Name>-<Security-Configuration-Name>

I gruppi di log predefiniti e personalizzati saranno i seguenti:

• Il gruppo di log continuo di default sarà /aws-glue/jobs/logs-v2-<Security-Configuration-Name>

• Il gruppo di log continuo di default sarà <custom-log-group-name>-<Security-Configuration-Name>

È necessario aggiungere le autorizzazioni logs:AssociateKmsKey al ruolo IAM, se si abilita una configurazione di sicurezza con Logs. CloudWatch Se tale autorizzazione non è inclusa, la registrazione continua verrà disabilitata. Inoltre, per configurare la crittografia per CloudWatch i log, segui le istruzioni in Encrypt Log Data in CloudWatch Logs Using nella Amazon CloudWatch Logs AWS Key Management Service User Guide.

Per ulteriori informazioni sulla creazione delle configurazioni di sicurezza, consulta Gestione delle configurazioni di sicurezza sulla console AWS Glue.