Uso di Amazon Managed Service per Prometheus per monitorare i processi Flink

Puoi integrare il servizio Apache Flink con Amazon Managed Service per Prometheus (portale di gestione). Amazon Managed Service per Prometheus supporta l'acquisizione di parametri dai server di Amazon Managed Service per Prometheus in cluster in esecuzione su Amazon EKS. Amazon Managed Service per Prometheus funziona insieme a un server Prometheus già in esecuzione sul tuo cluster Amazon EKS. L'esecuzione dell'integrazione di Amazon Managed Service per Prometheus con l'operatore Amazon EMR Flink implementerà e configurerà in automatico un server Prometheus per l'integrazione con Amazon Managed Service per Prometheus.

1. Crea un Workspace Amazon Managed Service per Prometheus. Questo Workspace funge da endpoint di acquisizione. L'URL di scrittura remoto sarà necessario in un secondo momento.

2. Imposta ruoli IAM per gli account di servizio.

   Per questo metodo di onboarding, utilizza i ruoli IAM per gli account di servizio nel cluster Amazon EKS in cui il server Prometheus è in esecuzione. Questi ruoli sono denominati ruoli di servizio.

   Se non disponi già dei ruoli, configura i ruoli di servizio per l'acquisizione di parametri dai cluster Amazon EKS.

   Prima di continuare, crea un ruolo IAM denominato amp-iamproxy-ingest-role.

3. Installa l'operatore Amazon EMR Flink per Amazon Managed Service per Prometheus.

Ora che disponi di un Workspace Amazon Managed Service per Prometheus, un ruolo IAM dedicato ad Amazon Managed Service per Prometheus e disponi delle autorizzazioni necessarie, puoi installare l'operatore Flink di Amazon EMR.

Creare un file enable-amp.yaml Questo file consente di utilizzare una configurazione personalizzata per sovrascrivere le impostazioni di Amazon Managed Service for Prometheus. Assicurati di utilizzare i tuoi ruoli.

kube-prometheus-stack:
    prometheus:
    serviceAccount:
        create: true
        name: "amp-iamproxy-ingest-service-account"
        annotations:
            eks.amazonaws.com/role-arn: "arn:aws:iam::<AWS_ACCOUNT_ID>:role/amp-iamproxy-ingest-role"
    remoteWrite:
        - url: <AMAZON_MANAGED_PROMETHEUS_REMOTE_WRITE_URL>
        sigv4:
            region: <AWS_REGION>
        queueConfig:
            maxSamplesPerSend: 1000
            maxShards: 200
            capacity: 2500

Utilizza il comando Helm Install --set per trasmettere gli override al grafico flink-kubernetes-operator.

helm upgrade -n <namespace> flink-kubernetes-operator \
   oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
   --set prometheus.enabled=true
   -f enable-amp.yaml

Questo comando installa automaticamente un reporter Prometheus nell'operatore sulla porta 9999. Ogni FlinkDeployment futura espone anche una porta metrics su 9249.

• I parametri dell'operatore Flink vengono visualizzati in Prometheus sotto l'etichetta flink_k8soperator_.

• I parametri di Flink Task Manager vengono visualizzati in Prometheus sotto l'etichetta flink_taskmanager_.

• I parametri di Flink Job Manager vengono visualizzate in Prometheus sotto l'etichetta flink_jobmanager_.