AWS Glue Ressourcen überwachen

AWS Glue verfügt über Service-Limits, um Kunden vor unerwarteter übermäßiger Bereitstellung und vor böswilligen Aktionen zu schützen, die darauf abzielen, Ihre Rechnung zu erhöhen. Die Limits schützen auch den Service. Wenn sich Kunden an der AWS Service Quota-Konsole anmelden, können sie ihre aktuellen Ressourcenlimits einsehen und gegebenenfalls eine Erhöhung beantragen.

AWS Glueermöglicht es Ihnen, den Ressourcenverbrauch des Services in Amazon als Prozentsatz anzuzeigen CloudWatch und CloudWatch Alarme zur Überwachung der Nutzung zu konfigurieren. Amazon CloudWatch bietet die Überwachung der AWS Ressourcen und der Kundenanwendungen, die auf der Amazon-Infrastruktur ausgeführt werden. Die Metriken sind für Sie kostenlos. Die folgenden Metriken werden unterstützt:

• Anzahl der Workflows pro Konto

• Anzahl der Auslöser pro Konto

• Anzahl der Aufgaben pro Konto

• Anzahl der gleichzeitigen Aufgabenausführungen pro Konto

• Anzahl der Vorlagen pro Konto

• Anzahl der interaktiven Sitzungen pro Konto

Konfiguration und Verwendung von Ressourcenmetriken

Um diese Funktion zu nutzen, können Sie zur CloudWatch Amazon-Konsole gehen, um die Metriken anzusehen und Alarme zu konfigurieren. Die Metriken befinden sich im AWS/Glue-Namespace und stellen einen Prozentsatz der tatsächlichen Ressourcennutzung geteilt durch das Ressourcenkontingent dar. Die CloudWatch Messwerte werden an Ihre Konten übermittelt, was für Sie kostenlos ist. Wenn Sie beispielsweise 10 Workflows erstellt haben und Ihr Servicekontingent maximal 200 Workflows zulässt, beträgt Ihre Nutzung 10/200 = 5 %, und im Diagramm sehen Sie einen Datenpunkt von 5 als Prozentsatz. Um genauer zu sein:

Namespace: AWS/Glue
Metric name: ResourceUsage
Type: Resource
Resource: Workflow (or Trigger, Job, JobRun, Blueprint, InteractiveSession)
Service: Glue
Class: None

Um einen Alarm für eine Metrik in der CloudWatch Konsole zu erstellen:

1. Sobald Sie die Metrik gefunden haben, gehen Sie zu Grafische Metriken.

2. Klicken Sie auf Alarm erstellen unter Aktionen.

3. Konfigurieren Sie den Alarm nach Bedarf.

Wir geben Metriken aus, wenn sich Ihre Ressourcennutzung ändert (z. B. eine Zunahme oder Abnahme). Wenn sich Ihre Ressourcennutzung jedoch nicht ändert, geben wir stündlich Messwerte aus, sodass Sie ein kontinuierliches CloudWatch Diagramm erhalten. Um fehlende Datenpunkte zu vermeiden, empfehlen wir Ihnen nicht, einen Zeitraum von weniger als 1 Stunde zu konfigurieren.

Sie können Alarme auch AWS CloudFormation wie im folgenden Beispiel konfigurieren. In diesem Beispiel wird, sobald die Workflow-Ressourcenauslastung 80% erreicht, ein Alarm ausgelöst, um eine Nachricht an das bestehende SNS Thema zu senden, das Sie abonnieren können, um Benachrichtigungen zu erhalten.

{
	"Type": "AWS::CloudWatch::Alarm",
	"Properties": {
		"AlarmName": "WorkflowUsageAlarm",
		"ActionsEnabled": true,
		"OKActions": [],
		"AlarmActions": [
			"arn:aws:sns:af-south-1:085425700061:Default_CloudWatch_Alarms_Topic"
		],
		"InsufficientDataActions": [],
		"MetricName": "ResourceUsage",
		"Namespace": "AWS/Glue",
		"Statistic": "Maximum",
		"Dimensions": [{
				"Name": "Type",
				"Value": "Resource"
			},
			{
				"Name": "Resource",
				"Value": "Workflow"
			},
			{
				"Name": "Service",
				"Value": "Glue"
			},
			{
				"Name": "Class",
				"Value": "None"
			}
		],
		"Period": 3600,
		"EvaluationPeriods": 1,
		"DatapointsToAlarm": 1,
		"Threshold": 80,
		"ComparisonOperator": "GreaterThanThreshold",
		"TreatMissingData": "notBreaching"
	}
}