Debug dei processi

Nota

Con questa funzionalità, accedi ai log stdout e stderr per i worker dei profili di sistema che possono contenere informazioni sensibili e non filtrate. La seguente autorizzazione deve essere utilizzata solo per accedere ai dati non di produzione. Per le applicazioni create per essere utilizzate con lavori di produzione, consigliamo vivamente di aggiungere queste autorizzazioni solo agli amministratori o agli utenti con accesso elevato ai dati.

Con EMR-7.3.0 e versioni successive, EMR Serverless abiliterà la funzionalità di autodebug per i lavori batch di Lake. Formation-enabled A tale scopo, utilizzate il nuovo parametro access nell'API. SystemProfileLogs GetDashboardForJobRun Se access SystemProfileLogs è impostato su true, è possibile accedere ai log stdout e stderr per i worker del profilo di sistema, che possono essere utilizzati per il debug di un processo batch di Lake EMR Serverless. Formation-enabled

aws emr-serverless get-dashboard-for-job-run \
  --application-id application-id
  --job-run-id job-run-id
  --access-system-profile-logs

Autorizzazioni richieste

Il principale che desidera eseguire il debug dei processi batch di Lake deve disporre delle seguenti autorizzazioni aggiuntive: Formation-enabled GetDashboardForJobRun

{
    "Sid": "AccessSystemProfileLogs",
    "Effect": "Allow",
    "Action": [
        "emr-serverless:GetDashboardForJobRun",
        "emr-serverless:AccessSystemProfileLogs",
        "glue:GetDatabases",
        "glue:SearchTables"
    ],
    "Resource": [
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid",
        "arn:aws:glue:region:account-id:catalog",
        "arn:aws:glue:region:account-id:database/*",
        "arn:aws:glue:region:account-id:table/*/*"
    ]
}

Considerazioni

I log dei profili di sistema per il debug sono visibili per i lavori che accedono a database o tabelle in Lake Formation all'interno dello stesso account del lavoro. Non sono visibili nei seguenti scenari:

• Se il catalogo dati gestito utilizzando le autorizzazioni di Lake Formation ha database e tabelle tra account

• Se il catalogo dati gestito utilizzando le autorizzazioni di Lake Formation contiene collegamenti alle risorse