Monitoraggio delle risorse AWS Glue

AWS Glue prevede dei limiti di servizio per proteggere i clienti da forniture eccessive e impreviste e da operazioni dannose volte ad aumentare le spese. I limiti proteggono anche il servizio. Accedendo alla console AWS Service Quotas, i clienti possono visualizzare i limiti attuali delle risorse e richiederne un aumento, se necessario.

AWS Glue consente di visualizzare l'utilizzo delle risorse del servizio come percentuale in Amazon CloudWatch e di configurare allarmi CloudWatch dedicati per monitorare l'utilizzo. Amazon CloudWatch fornisce il monitoraggio delle risorse AWS e delle applicazioni dei clienti in esecuzione sull'infrastruttura Amazon. I parametri sono gratuiti. Sono supportati i parametri seguenti:

• Numero di flussi di lavoro per account

• Numero di trigger per account

• Numero di processi per account

• Numero di esecuzioni processo simultanee per account

• Numero di schemi per account

• Numero di sessioni interattive per account

Configurazione e utilizzo dei parametri delle risorse

Per utilizzare questa funzionalità, puoi accedere alla console Amazon CloudWatch per visualizzare i parametri e configurare gli allarmi. I parametri si trovano nello spazio dei nomi AWS/Glue e rappresentano una percentuale del conteggio effettivo dell'utilizzo delle risorse diviso per la quota di risorse. I parametri di CloudWatch vengono forniti ai tuoi account senza alcun costo. Ad esempio, se hai creato 10 flussi di lavoro e la tua quota di servizio ti consente di avere un massimo di 200 flussi di lavoro, l'utilizzo è 10/200 = 5% e nel grafico vedrai un punto dati di 5 come percentuale. Per maggiore specificità:

Namespace: AWS/Glue
Metric name: ResourceUsage
Type: Resource
Resource: Workflow (or Trigger, Job, JobRun, Blueprint, InteractiveSession)
Service: Glue
Class: None

Per creare un allarme per un parametro nella console CloudWatch:

1. Una volta individuato il parametro, vai a Parametri definiti.

2. Fai clic su Crea allarme in Operazioni.

3. Configura l'allarme secondo necessità.

Emettiamo dei parametri ogni volta che l'utilizzo delle risorse cambia, ad esempio in caso di aumento o diminuzione. Tuttavia, se l'utilizzo delle risorse non cambia, emettiamo i parametri ogni ora, in modo da avere un grafico CloudWatch continuo. Per evitare la perdita di punti dati, sconsigliamo di configurare un periodo inferiore a 1 ora.

È possibile configurare gli allarmi anche tramite AWS CloudFormation, come nel seguente esempio. In questo esempio, quando l'utilizzo delle risorse del flusso di lavoro raggiunge l'80%, viene attivato un allarme per inviare un messaggio all'argomento SNS esistente, a cui è possibile abbonarsi per ricevere notifiche.

{
	"Type": "AWS::CloudWatch::Alarm",
	"Properties": {
		"AlarmName": "WorkflowUsageAlarm",
		"ActionsEnabled": true,
		"OKActions": [],
		"AlarmActions": [
			"arn:aws:sns:af-south-1:085425700061:Default_CloudWatch_Alarms_Topic"
		],
		"InsufficientDataActions": [],
		"MetricName": "ResourceUsage",
		"Namespace": "AWS/Glue",
		"Statistic": "Maximum",
		"Dimensions": [{
				"Name": "Type",
				"Value": "Resource"
			},
			{
				"Name": "Resource",
				"Value": "Workflow"
			},
			{
				"Name": "Service",
				"Value": "Glue"
			},
			{
				"Name": "Class",
				"Value": "None"
			}
		],
		"Period": 3600,
		"EvaluationPeriods": 1,
		"DatapointsToAlarm": 1,
		"Threshold": 80,
		"ComparisonOperator": "GreaterThanThreshold",
		"TreatMissingData": "notBreaching"
	}
}