Debuggen von Aufträgen

Anmerkung

Mit dieser Funktion können Sie auf stdout- und stderr-Protokolle für das Systemprofil von Workern zugreifen, die möglicherweise vertrauliche, ungefilterte Informationen enthalten. Die folgende Berechtigung sollte nur für den Zugriff auf Daten verwendet werden, die nicht zur Produktion verwendet werden. Für Anwendungen, die für Produktionsaufträge erstellt wurden, empfehlen wir dringend, dass Sie diese Berechtigungen nur Administratoren oder Benutzern mit erhöhtem Datenzugriff gewähren.

Mit EMR-7.3.0 und später ermöglicht EMR Serverless die Selbstdebugging-Funktion für Lake-Batch-Jobs. Formation-enabled Verwenden Sie dazu den neuen Parameterzugriff SystemProfileLogs in der API. GetDashboardForJobRun Wenn access auf true gesetzt SystemProfileLogs ist, können Sie auf die stdout- und stderr-Protokolle für die Systemprofil-Worker zugreifen, die zum Debuggen eines Serverless-Batchjobs von Lake Formation-enabled EMR verwendet werden können.

aws emr-serverless get-dashboard-for-job-run \
  --application-id application-id
  --job-run-id job-run-id
  --access-system-profile-logs

Erforderliche Berechtigungen

Der Principal, der Formation-enabled Lake-Batch-Jobs mithilfe von Batch-Jobs debuggen möchte, muss über die folgenden zusätzlichen Berechtigungen verfügen: GetDashboardForJobRun

{
    "Sid": "AccessSystemProfileLogs",
    "Effect": "Allow",
    "Action": [
        "emr-serverless:GetDashboardForJobRun",
        "emr-serverless:AccessSystemProfileLogs",
        "glue:GetDatabases",
        "glue:SearchTables"
    ],
    "Resource": [
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid",
        "arn:aws:glue:region:account-id:catalog",
        "arn:aws:glue:region:account-id:database/*",
        "arn:aws:glue:region:account-id:table/*/*"
    ]
}

Überlegungen

Systemprofilprotokolle für das Debuggen sind für Jobs sichtbar, die auf Datenbanken oder Tabellen in Lake Formation innerhalb desselben Kontos wie der Job zugreifen. Sie sind in den folgenden Szenarien nicht sichtbar:

• Wenn der mit Lake Formation Formation-Berechtigungen verwaltete Datenkatalog kontenübergreifende Datenbanken und Tabellen enthält

• Wenn der mit Lake Formation Formation-Berechtigungen verwaltete Datenkatalog Ressourcenlinks enthält