Utilisez Amazon Managed Service pour Prometheus pour surveiller les jobs Flink

Vous pouvez intégrer Apache Flink à Amazon Managed Service for Prometheus (portail de gestion). Amazon Managed Service for Prometheus prend en charge l'ingestion de métriques provenant d'Amazon Managed Service pour les serveurs Prometheus dans des clusters exécutés sur Amazon. EKS Amazon Managed Service for Prometheus fonctionne avec un serveur Prometheus déjà en cours d'exécution sur votre cluster Amazon. EKS L'exécution d'Amazon Managed Service for Prometheus (intégration avec EMR Amazon Flink) permet à l'opérateur de déployer et de configurer automatiquement un serveur Prometheus afin de l'intégrer à Amazon Managed Service for Prometheus.

1. Créez un espace de travail Amazon Managed Service for Prometheus. Cet espace de travail sert de point de terminaison pour l'ingestion. Vous aurez besoin de l'écriture à distance URL ultérieurement.

2. Configurez IAM des rôles pour les comptes de service.

   Pour cette méthode d'intégration, utilisez des IAM rôles pour les comptes de service du EKS cluster Amazon sur lequel le serveur Prometheus est exécuté. Ces rôles sont également appelés fonctions du service.

   Si vous ne possédez pas encore les rôles, configurez des rôles de service pour l'ingestion des métriques provenant des EKS clusters Amazon.

   Avant de continuer, créez un IAM rôle appeléamp-iamproxy-ingest-role.

3. Installez l'opérateur Amazon EMR Flink avec Amazon Managed Service pour Prometheus.

Maintenant que vous disposez d'un espace de travail Amazon Managed Service for Prometheus, d'un IAM rôle dédié à Amazon Managed Service for Prometheus et des autorisations nécessaires, vous pouvez installer l'opérateur Amazon Flink. EMR

Créez un fichier enable-amp.yaml. Ce fichier vous permet d'utiliser une configuration personnalisée pour remplacer les paramètres d'Amazon Managed Service for Prometheus. Assurez-vous d'utiliser vos propres rôles.

kube-prometheus-stack:
    prometheus:
    serviceAccount:
        create: true
        name: "amp-iamproxy-ingest-service-account"
        annotations:
            eks.amazonaws.com/role-arn: "arn:aws:iam::<AWS_ACCOUNT_ID>:role/amp-iamproxy-ingest-role"
    remoteWrite:
        - url: <AMAZON_MANAGED_PROMETHEUS_REMOTE_WRITE_URL>
        sigv4:
            region: <AWS_REGION>
        queueConfig:
            maxSamplesPerSend: 1000
            maxShards: 200
            capacity: 2500

Utilisez la commande Helm Install --set pour transmettre les remplacements au chart flink-kubernetes-operator.

helm upgrade -n <namespace> flink-kubernetes-operator \
   oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
   --set prometheus.enabled=true
   -f enable-amp.yaml

Cette commande installe automatiquement un reporter Prometheus dans l'opérateur sur le port 9999. Tout FlinkDeployment futur expose également un port metrics sur 9249.

• Les métriques de l'opérateur Flink apparaissent dans Prometheus sous l'étiquette flink_k8soperator_.

• Les métriques du gestionnaire de tâches Flink apparaissent dans Prometheus sous l'étiquette flink_taskmanager_.

• Les métriques du gestionnaire de tâches Flink apparaissent dans Prometheus sous l'étiquette flink_jobmanager_.