適用於 Amazon MWAA 的容器、佇列和資料庫指標 - Amazon Managed Workflows for Apache Airflow

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

適用於 Amazon MWAA 的容器、佇列和資料庫指標

除了 Apache Airflow 指標之外,您還可以使用以下方式監控適用於 Apache Airflow 環境的 Amazon 受管工作流程的基礎元件 CloudWatch,這些元件會收集原始資料,並將資料處理為可讀且接近即時的指標。有了這些環境指標,您將可以更清楚地瞭解關鍵效能指標,以協助您適當調整環境的大小,並針對工作流程進行問題偵錯。這些指標適用於 Amazon MWAA 上所有支援的 Apache 氣流版本。

Amazon MWAA 將為每個 Amazon 彈性容器服務 (Amazon ECS) 容器和 Amazon Aurora PostgreSQL 執行個體提供 CPU 和記憶體使用率,以及針對訊息數量和最早訊息的存留時間、資料庫連線的 Amazon 關聯式資料庫服務 (Amazon RDS) 指標、磁碟佇列深度、寫入操作、延遲和輸送量以及 Amazon RDS 代理指標,提供 Amazon 簡單佇列服務 (Amazon SQS) 指標。這些指標也包括基礎背景工作、其他背景工作、排程器和 Web 伺服器的數量。

這些統計資料會保留 15 個月,因此您可以存取歷史資訊,並更好地瞭解排程失敗的原因,並針對潛在問題進行疑難排解。您也可以設定留意特定閾值的警示,當滿足這些閾值時傳送通知或採取動作。如需詳細資訊,請參閱 Amazon CloudWatch 使用者指南

條款

命名空間

命名空間是 AWS 服務指 CloudWatch 標的容器。對於 Amazon MWAA,命名空間是. AWS/MWAA

CloudWatch 度量

CloudWatch 量度代表特定於的一組時間順序的資料點。 CloudWatch

維度

維度是一組名稱值對,是指標身分的一部分。

單位

統計資料具有測量單位。對於 Amazon MWAA,單位包括計數。

維度

本節說明中 Amazon MWAA 指標的 CloudWatch 維度分組。 CloudWatch

維度 描述

叢集

Amazon MWAA 環境用來執行 Apache 氣流元件的至少三個 Amazon ECS 容器的指標:排程器、工作者和網頁伺服器。

佇列

Amazon SQS 佇列的指標,用於將排程器與工作者分離。當工作人員閱讀這些消息時,它們被視為在飛行中,並且不適用於其他工作人員。如果其他 Worker 未在 12 小時可見性逾時之前刪除訊息,則訊息將可供其他 Worker 讀取。

資料庫

指標 Amazon MWAA 使用的 Aurora 叢集。這包括主要資料庫執行處理的測量結果和僅供讀取複本,以支援讀取作業。Amazon MWAA 會針對讀取器和寫入器執行個體發佈資料庫指標。

在 CloudWatch 主控台中存取指標

本節說明如何在中存取您的 Amazon MWAA 指標。 CloudWatch

檢視維度的效能測量結果
  1. 在主控台上開啟「測量結果」頁 CloudWatch 面

  2. 使用地 AWS 區選擇器選擇您的地區。

  3. 選擇 AWS/MW AA 命名空間。

  4. 在「所有量度」標籤中,選擇維度。例如,叢集

  5. 選擇維 CloudWatch 度的量度。例如,NumSchedulersCPU 使用率。然後,選擇繪製所有搜尋結果圖形。

  6. 選擇「圖形測量結果」頁籤以檢視效能測量結果。

指標清單

下表列出 Amazon MWAA 的叢集、佇列和資料庫服務指標。若要檢視直接從 Amazon ECS、Amazon SQS 或 Amazon RDS 發出的指標說明,請選擇相應的文件連結。

叢集指標

下列量度適用於每個排程器、基礎 Worker、其他 Worker 和 Web 伺服器。如需每個叢集指標的詳細資訊和說明,請參閱 Amazon ECS 開發人員指南中的可用指標和維度。

命名空間 指標 單位

AWS/MWAA

CPUUtilization

百分比

AWS/MWAA

MemoryUtilization

百分比

評估其他背景工作和 Web 伺服器容器的數量

您可以使用「叢集」維度下提供的元件測量結果 (如下列程序所述),來評估某個環境在指定時間點使用的其他 Worker (或 Web 伺服器) 數目。您可以透過繪製 CPURission 或MemoryUtilization量度的圖形,並將統計資料類型設定為「樣本計數」來執行此操作。產生的值是AdditionalWorker元件的RUNNING工作總數。瞭解您的環境使用的其他 Worker 執行個體數量,有助於評估環境擴展的方式,並允許您最佳化其他 Worker 的數量。

Workers
若要評估其他工作者的數目,請使用 AWS Management Console
  1. 選擇 AWS/MW AA 命名空間。

  2. 所有測量結果頁籤中,選擇叢集維度。

  3. 在「叢集」維度下 AdditionalWorker,選擇「CPU 使用率」或測量結MemoryUtilization果。

  4. 在「圖形量度」標籤上,將「期間」設定為 1 分鐘,將「統計值」設定為「樣本數」。

Web servers
若要評估其他 Web 伺服器的數目,請使用 AWS Management Console
  1. 選擇 AWS/MW AA 命名空間。

  2. 所有測量結果頁籤中,選擇叢集維度。

  3. 在「叢集」維度下 AdditionalWebservers,選擇「CPU 使用率」或測量結MemoryUtilization果。

  4. 在「圖形量度」標籤上,將「期間」設定為 1 分鐘,將「統計值」設定為「樣本數」。

如需詳細資訊,請參閱 Amazon 彈性容器服RUNNING務開發人員指南中的服務任務計數

資料庫指標

下列指標適用於與 Amazon MWAA 環境關聯的每個資料庫執行個體。

命名空間 指標 單位

AWS/MWAA

CPUUtilization

百分比

AWS/MWAA

DatabaseConnections

計數

AWS/MWAA

DiskQueueDepth

計數

AWS/MWAA

FreeableMemory

位元組

AWS/MWAA

VolumeWriteIOPS

每五分鐘計數

AWS/MWAA

WriteIOPS

每秒計數

AWS/MWAA

WriteLatency

秒鐘

AWS/MWAA

WriteThroughput

每秒位元組數

佇列指標

如需下列佇列指標單位和說明的詳細資訊,請參閱 Amazon 簡單佇列服務開發人員指南中的 Amazon SQS 可用指 CloudWatch

命名空間 指標 單位

AWS/MWAA

ApproximateAgeOfOldestTask

秒鐘

AWS/MWAA

RunningTasks

計數

AWS/MWAA

QueuedTasks

計數

Application Load Balancer 指標

Application Load Balancer 器測量結果會套用至您環境中執行的 Web 伺服器。Amazon MWAA 使用這些指標根據流量擴展您的網頁伺服器。如需有關下列負載平衡器指標之單位和說明的詳細資訊,請參閱應用程式負載平衡器使用者指南中的應用程式負載平衡器指CloudWatch

命名空間 指標 單位

AWS/MWAA

ActiveConnectionCount

計數