阿帕奇氣流 v2 環境指標 CloudWatch

Apache 氣流 v2 已經設定為收集 Amazon 管理工作流程的 Apache 氣流環境的 StatsD 指標，並將其傳送給 Amazon CloudWatch。Apache 氣流傳送量度的完整清單可在 Apache 氣流參考指南的「測量結果」頁面上找到。本頁說明中可用的 Apache Airflow 測量結果 CloudWatch，以及如何存取 CloudWatch 主控台中的測量結果。

內容

• 條款
• 維度
• 在 CloudWatch 主控台中存取指標
• 阿帕奇氣流指標可用於 CloudWatch
  • 阿帕奇氣流計數
  • 阿帕奇氣流計
  • 阿帕奇氣流計時器
• 選擇要報告的量度
• 後續步驟？

條款

命名空間

命名空間是 AWS 服務指 CloudWatch 標的容器。對於 Amazon MWAA，命名空間是亞馬遜 MWAA。

CloudWatch 度量

CloudWatch 量度代表特定於的一組時間順序的資料點。 CloudWatch

阿帕奇氣流指標

Apache 氣流特定的指標。

維度

維度是一組名稱值對，是指標身分的一部分。

單位

統計資料具有測量單位。對於 Amazon MWAA，單位包括計數、秒數和毫秒。對於 Amazon MWAA，系統會根據原始氣流指標中的單位來設定單位。

維度

本節說明中 Apache 氣流量度的 CloudWatch 維度群組 CloudWatch。

維度	描述
天	表示特定的 Apache 氣流 DAG 名稱。
DAG 檔案名	指出特定的 Apache 氣流 DAG 檔案名稱。
函式	此維度可用來改善中量度的分組 CloudWatch。
任務	指出排程器執行的 Apache 氣流 Job。始終具有 Job 的值。
運算子	表示特定的 Apache 氣流操作員。
集區	表示特定的 Apache 氣流工作者集區。
任務	表示特定的 Apache 氣流工作。
HostName	指出特定執行中 Apache 氣流程序的主機名稱。

在 CloudWatch 主控台中存取指標

本節說明如何存取特定 DAG 的 CloudWatch 效能測量結果。

檢視維度的效能測量結果

1. 在主控台上開啟「測量結果」頁 CloudWatch 面。

2. 使用地 AWS 區選擇器選擇您的地區。

3. 選擇亞馬遜名稱空間。

4. 在「所有量度」標籤中，選取維度。例如，DAG，環境。

5. 選擇維 CloudWatch 度的量度。例如，TaskInstanceSuccesses或TaskInstanceDuration。選擇圖表所有搜尋結果。

6. 選擇圖形測量結果頁籤，即可檢視 Apache Airflow 測量結果的效能統計資料，例如 DAG、環境、工作。

阿帕奇氣流指標可用於 CloudWatch

本節說明傳送至的 Apache 氣流量度和維度 CloudWatch。

阿帕奇氣流計數

本節中的 Apache 氣流量度包含 Apache 氣流計數器的相關資料。

CloudWatch 公制	阿帕奇氣流公制	單位	維度
猛烈抨擊 注意 適用於阿帕奇氣流 v2.4.3 及以上版本。	斯拉 _ 錯過	計數	函數, 排程器
失敗回復全部回復 注意 適用於阿帕奇氣流 v2.4.3 及以上版本。	回呼通知失敗 (__R)	計數	函數, 排程器
更新 注意 適用於阿帕奇氣流 v2.6.3 及以上版本。	資料集. 更新	計數	函數, 排程器
孤兒 注意 適用於阿帕奇氣流 v2.6.3 及以上版本。	資料集. 孤立	計數	函數, 排程器
FailedCeleryTaskExecution 注意 適用於阿帕奇氣流 v2.4.3 及以上版本。	手机. 执行命令. 失败	計數	功能, 芹菜
FilePathQueueUpdateCount 注意 適用於阿帕奇氣流 v2.6.3 及以上版本。	DAG_ 處理. 檔案路徑佇列更新計數	計數	函數, 排程器
CriticalSectionBusy	排程器. 批判 _ 區段 _ 忙碌	計數	函數, 排程器
DagBagSize	短劍尺寸	計數	功能, DAG 處理
DagCallbackExceptions	回呼例外	計數	星期日, 全部
失敗的 SLA EmailAttempts	電子郵件通知失敗	計數	函數, 排程器
TaskInstanceFinished	完成。 {匕首} {任務識別碼}。 {狀態}	計數	日, {日} 任務，{任務 ID} 狀態，{狀態}
JobEnd	{工作名稱} _ 結束	計數	Job，{工作名稱}
JobHeartbeatFailure	{工作名稱} _ 心跳失敗	計數	Job，{工作名稱}
JobStart	{工作名稱} _ 開始	計數	Job，{工作名稱}
ManagerStalls	DAG 處理. 管理員檔案	計數	功能, DAG 處理
OperatorFailures	操作員失敗 _ {運營商名稱}	計數	運算子，{運算子名稱}
OperatorSuccesses	運營商 _ 成功 _ {運營商名稱}	計數	運算子，{運算子名稱}
OtherCallbackCount 注意 可在阿帕奇氣流 v2.6.3 及以上版本。	DAG_ 處理. 其他回呼計數	計數	函數, 排程器
Processes	加工. 流程	計數	功能, DAG 處理
SchedulerHeartbeat	排程器心跳 (_)	計數	函數, 排程器
StartedTaskInstances	開始。 {匕首} {任務識別碼}	計數	星期日, 全部 工作、全部
SlaCallbackCount	DAG 處理. 回呼計數 注意 適用於阿帕奇氣流 v2.6.3 及以上版本。	計數	函數, 排程器
TasksKilledExternally	排程器. 任務. 殺死 _ 外部	計數	函數, 排程器
TaskTimeoutError	提琴. 任務超時 _ 錯誤	計數	功能, 芹菜
TaskInstanceCreatedUsingOperator	創建任務-{運算符名稱}	計數	運算子，{運算子名稱}
TaskInstancePreviouslySucceeded	之前 (_ 成功)	計數	星期日, 全部 工作、全部
TaskInstanceFailures	TI_ 失敗	計數	星期日, 全部 工作、全部
TaskInstanceSuccesses	成功	計數	星期日, 全部 工作、全部
TaskRemovedFromDAG	工作 _ 從星期日移除。 {匕首}	計數	日, {日}
TaskRestoredToDAG	工作 _ 還原到 _ 日。 {匕首}	計數	日, {日}
TriggersSucceeded 注意 適用於阿帕奇氣流 v2.7.2 及以上版本。	觸發器. 成功	計數	功能、觸發
TriggersFailed 注意 適用於阿帕奇氣流 v2.7.2 及以上版本。	觸發器失敗	計數	功能、觸發
TriggersBlockedMainThread 注意 適用於阿帕奇氣流 v2.7.2 及以上版本。	觸發器. 封鎖執行緒	計數	功能、觸發
TriggerHeartbeat 注意 適用於阿帕奇氣流 v2.8.1 及以上版本。	特里格爾心跳	計數	功能、加固型
TaskInstanceCreatedUsingOperator	氣流. 任務 _ 實例 _ 創建 _ {operator_name} 注意 適用於阿帕奇氣流 v2.7.2 及以上版本。	計數	運營商，{operator_name}
ZombiesKilled	殭屍殺死	計數	星期日, 全部 工作、全部

阿帕奇氣流計

本節中的 Apache 氣流量度包含 Apache 氣流量計的相關資料。

CloudWatch 公制	阿帕奇氣流公制	單位	維度
DAG FileRefreshError	DAG_ 檔案重新整理錯誤	計數	功能, DAG 處理
ImportErrors	DAG 處理. 匯入錯誤	計數	功能, DAG 處理
ExceptionFailures	智慧型感應器操作員. 例外失敗	計數	功能智慧感測器操作員
ExecutedTasks	智能傳感器操作員. 執行任務	計數	功能智慧感測器操作員
InfraFailures	智慧型感應器操作員. 主機故障	計數	功能智慧感測器操作員
LoadedTasks	智能傳感器操作員. 加載任務	計數	功能智慧感測器操作員
TotalParseTime	DAG 處理. 總分析時間	秒鐘	功能, DAG 處理
TriggeredDagRuns 注意 可在阿帕奇氣流 v2.6.3 及以上版本。	資料集. 已觸發 (DAG)	計數	函數, 排程器
TriggersRunning 注意 可在阿帕奇氣流 v2.7.2 及更高版本。	觸發器。運行。 {主機名稱}	計數	功能、觸發 HostName, {主機名稱}
PoolDeferredSlots 注意 可在阿帕奇氣流 v2.7.2 及更高版本。	池延期插槽。 {pool_name}	計數	池，{池名稱}
DAG FileProcessingLastRunSecondsAgo	最後一次執行第二個之前的 DAG 處理。 {匕首檔案名稱}	秒鐘	DAG 檔案名稱，{DAG 檔案名稱}
OpenSlots	執行程式. 開啟插槽	計數	函數，執行人
OrphanedTasksAdopted	排程器. 孤兒 _ 任務. 採用	計數	函數, 排程器
OrphanedTasksCleared	排程器. 孤兒 _ 任務. 已清除	計數	函數, 排程器
PokedExceptions	智能傳感器操作員. 口袋 _ 異常	計數	功能智慧感測器操作員
PokedSuccess	智能感應器操作員. 精靈 _ 成功	計數	功能智慧感測器操作員
PokedTasks	智能傳感器操作員. 口袋妖怪任務	計數	功能智慧感測器操作員
PoolFailures	池. 打開插槽。 {池名稱}	計數	池，{池名稱}
PoolStarvingTasks	池啟動任務。 {池名稱}	計數	池，{池名稱}
PoolOpenSlots	池. 打開插槽。 {池名稱}	計數	池，{池名稱}
PoolQueuedSlots	池. 佇列插槽。 {池名稱}	計數	池，{池名稱}
PoolRunningSlots	池. 運行 _ 槽。 {池名稱}	計數	池，{池名稱}
ProcessorTimeouts	處理. 處理器逾時	計數	功能, DAG 處理
QueuedTasks	執行器. 佇列工作	計數	函數，執行人
RunningTasks	執行程式. 執行工作	計數	函數，執行人
TasksExecutable	調度程序. 任務. 可執行	計數	函數, 排程器
TasksPending 注意 不適用於阿帕奇氣流 v2.2 及以上版本。	調度程序. 任務. 擱置	計數	函數, 排程器
TasksRunning	調度程序. 任務. 運行	計數	函數, 排程器
TasksStarving	調度程序. 任務. 挨餓	計數	函數, 排程器
TasksWithoutDagRun	調度程序. 任務. 沒有	計數	函數, 排程器

阿帕奇氣流計時器

本節中的 Apache 氣流量度包含 Apache 氣流計時器的相關資料。

CloudWatch 公制	阿帕奇氣流公制	單位	維度
收集資料庫	收集資料庫	毫秒	功能, DAG 處理
CriticalSectionDuration	排程程式. 臨界 _ 截面持續時間	毫秒	函數, 排程器
CriticalSectionQueryDuration 注意 適用於阿帕奇氣流 v2.5.1 及以上版本。	排程器. 關鍵區段查詢持續時間	毫秒	函數, 排程器
DAG DependencyCheck	每日依賴性檢查。 {匕首}	毫秒	日, {日}
DAG DurationFailed	持續時間。失敗。 {匕首}	毫秒	日, {日}
DAG DurationSuccess	持續時間。成功。 {匕首}	毫秒	日, {日}
DAG FileProcessingLastDuration	DAG 處理最後一個持續時間。 {匕首檔案名稱}	秒鐘	DAG 檔案名稱，{DAG 檔案名稱}
DAG ScheduleDelay	每日排程 _ 延遲。 {匕首}	毫秒	日, {日}
FirstTaskSchedulingDelay	每日。 第一個任務排程 _ 延遲	毫秒	日, {日}
SchedulerLoopDuration 注意 適用於阿帕奇氣流 v2.5.1 及以上版本。	排程器. 排程器 _ 迴圈持續時間	毫秒	函數, 排程器
TaskInstanceDuration	天。 {匕首} {任務 ID}. 持續時間	毫秒	日, {日} 任務，{任務 ID}
TaskInstanceQueuedDuration	天。 {dag_id}。 {task_id}. 佇列持續時間 注意 適用於阿帕奇氣流 v2.7.2 及以上版本。	毫秒	日, {日} 任務，{任務 ID}
TaskInstanceScheduledDuration 注意 適用於阿帕奇氣流 v2.7.2 及以上版本。	天。 {dag_id}。 {task_id}. 排程持續時間 (_)	毫秒	日, {日} 任務，{任務 ID}

選擇要報告的量度

您可以使用下列 Amazon MWAA 組態選項 CloudWatch，選擇要發送至 Apache 氣流或封鎖哪些 Apache 氣流指標：

• metrics.metrics_allow_list— 逗號分隔的前置詞清單，您可以用來選取您的環境發出哪些量度。 CloudWatch 如果您希望 Apache Airflow 不傳送所有可用的量度，而是選取元素子集，請使用此選項。例如 scheduler,executor,dagrun。

• metrics.metrics_block_list— 逗號分隔的前置字元清單，可篩選出以清單元素開頭的量度。例如 scheduler,executor,dagrun。

如果同時配置metrics.metrics_allow_list和metrics.metrics_block_list，Apache 氣流會忽略metrics.metrics_block_list。如果您進行設定 metrics.metrics_block_listmetrics.metrics_allow_list，Apache 氣流會過濾掉您在中指定的元素metrics.metrics_block_list。

注意

metrics.metrics_allow_list和組metrics.metrics_block_list態選項僅適用於 Apache 氣流 v2.6.3 及以上版本。對於以前版本的 Apache 氣流使用metrics.statsd_allow_list和metrics.statsd_block_list代替。

後續步驟？

• 在以下位置探索用於發佈環境運作狀態指標的 Amazon MWAA API 操作。PublishMetrics