Verwenden von Amazon Managed Service für Prometheus zur Überwachung von Flink-Aufträge

Sie können Apache Flink in Amazon Managed Service für Prometheus (Verwaltungsportal) integrieren. Amazon Managed Service für Prometheus unterstützt die Erfassung von Metriken von Amazon Managed Service for Prometheus Servern in Clustern, die auf Amazon EKS ausgeführt werden. Amazon Managed Service für Prometheus arbeitet mit einem Prometheus-Server zusammen, der bereits auf Ihrem Amazon-EKS-Cluster läuft. Beim Ausführen der Integration von Amazon Managed Service für Prometheus mit Amazon EMR wird der Flink-Operator automatisch einen Prometheus-Server für die Integration mit Amazon Managed Service für Prometheus bereitstellen und konfigurieren.

1. Einen Workspace von Amazon Managed Service für Prometheus erstellen. Dieser Workspace dient als Aufnahme-Endpunkt. Sie benötigen die Remote-Write-URL später.

2. IAM-Rollen für Servicekonten einrichten.

   Verwenden Sie für diese Onboarding-Methode IAM-Rollen für die Servicekonten im Amazon-EKS-Cluster, in dem der Prometheus-Server läuft. Diese Rollen werden als Servicerollen bezeichnet.

   Wenn Sie die Rollen noch nicht haben, richten Sie Servicerollen für die Erfassung von Metriken aus Amazon-EKS-Clustern ein.

   Bevor Sie fortfahren, erstellen Sie eine IAM-Rolle namens amp-iamproxy-ingest-role.

3. Installieren Sie Amazon-EMR-Flink-Operator mit Amazon Managed Service für Prometheus.

Da Sie nun über einen Workspace von Amazon Managed Service für Prometheus, eine dedizierte IAM-Rolle für Amazon Managed Service für Prometheus und die erforderlichen Berechtigungen verfügen, können Sie den Amazon-EMR-Flink-Operator installieren.

Erstellen Sie eine Datei enable-amp.yaml. Mit dieser Datei können Sie eine benutzerdefinierte Konfiguration verwenden, um die Einstellungen von Amazon Managed Service for Prometheus zu überschreiben. Stellen Sie sicher, dass Sie Ihre eigenen Rollen verwenden.

kube-prometheus-stack:
    prometheus:
    serviceAccount:
        create: true
        name: "amp-iamproxy-ingest-service-account"
        annotations:
            eks.amazonaws.com/role-arn: "arn:aws:iam::<AWS_ACCOUNT_ID>:role/amp-iamproxy-ingest-role"
    remoteWrite:
        - url: <AMAZON_MANAGED_PROMETHEUS_REMOTE_WRITE_URL>
        sigv4:
            region: <AWS_REGION>
        queueConfig:
            maxSamplesPerSend: 1000
            maxShards: 200
            capacity: 2500

Verwenden Sie den Helm Install --set-Befehl, um Überschreibungen an das flink-kubernetes-operator-Diagramm zu übergeben.

helm upgrade -n <namespace> flink-kubernetes-operator \
   oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
   --set prometheus.enabled=true
   -f enable-amp.yaml

Dieser Befehl installiert automatisch einen Prometheus-Reporter im -Operator auf Port 9999. In Any Future wird FlinkDeployment auch ein metrics Port auf 9249 verfügbar gemacht.

• Die Metriken für Flink-Operatoren werden in Prometheus unter der Kennung flink_k8soperator_ angezeigt.

• Die Metriken für Flink-Task-Manager werden in Prometheus unter der Kennung flink_taskmanager_ angezeigt.

• Die Metriken für Flink-Aufgaben-Manager werden in Prometheus unter der Kennung flink_jobmanager_ angezeigt.