使用 Amazon Managed Service for Prometheus 監控 Flink 任務

可以整合 Apache Flink 與 Amazon Managed Service for Prometheus (管理入口網站)。Amazon Managed Service for Prometheus 支援從 Amazon 上執行的叢集中的 Amazon Managed Service for Prometheus 伺服器擷取指標EKS。Amazon Managed Service for Prometheus 可與已在 Amazon EKS叢集上執行的 Prometheus 伺服器搭配使用。執行與 Amazon EMR Flink 運算子的 Amazon Managed Service for Prometheus 整合，會自動部署和設定 Prometheus 伺服器，以與 Amazon Managed Service for Prometheus 整合。

1. 建立 Amazon Managed Service for Prometheus 工作區。此工作區用作擷取端點。URL 稍後您將需要遠端寫入。

2. 設定服務帳戶IAM的角色。

   對於這種加入方法，請在執行 Prometheus 伺服器所在的 Amazon EKS叢集中，使用服務帳戶IAM的角色。這些角色也稱為服務角色。

   如果您還沒有角色，請為從 Amazon EKS叢集擷取指標設定服務角色。

   在繼續之前，請建立名為 IAM的角色amp-iamproxy-ingest-role。

3. 使用 Amazon Managed Service for Prometheus 安裝 Amazon EMR Flink Operator。

現在您已擁有 Amazon Managed Service for Prometheus 工作區、Amazon Managed Service for Prometheus 的專用IAM角色，以及必要的許可，即可安裝 Amazon EMR Flink 運算子。

建立 enable-amp.yaml 檔案。此檔案可讓您使用自訂組態來覆寫 Amazon Managed Service for Prometheus 設定。請務必使用您自己的角色。

kube-prometheus-stack:
    prometheus:
    serviceAccount:
        create: true
        name: "amp-iamproxy-ingest-service-account"
        annotations:
            eks.amazonaws.com/role-arn: "arn:aws:iam::<AWS_ACCOUNT_ID>:role/amp-iamproxy-ingest-role"
    remoteWrite:
        - url: <AMAZON_MANAGED_PROMETHEUS_REMOTE_WRITE_URL>
        sigv4:
            region: <AWS_REGION>
        queueConfig:
            maxSamplesPerSend: 1000
            maxShards: 200
            capacity: 2500

使用 Helm Install --set 命令將覆寫傳遞至 flink-kubernetes-operator 圖表。

helm upgrade -n <namespace> flink-kubernetes-operator \
   oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
   --set prometheus.enabled=true
   -f enable-amp.yaml

此命令會自動在連接埠 9999 的運算子中安裝 Prometheus 報告程式。任何未來的 FlinkDeployment 也會在 9249 上公開 metrics 連接埠。

• Flink Operator 指標會顯示在標籤 flink_k8soperator_ 下的 Prometheus 中。

• Flink Task Manager 指標會顯示在標籤 flink_taskmanager_ 下的 Prometheus 中。

• Flink Job Manager 指標會顯示在標籤 flink_jobmanager_ 下的 Prometheus 中。