本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
阿帕奇氣流 v2 環境指標 CloudWatch
Apache 氣流 v2 已經設定為收集 Amazon 管理工作流程的 Apache 氣流環境的 StatsD
條款
- 命名空間
-
命名空間是 AWS 服務指 CloudWatch 標的容器。對於 Amazon MWAA,命名空間是亞馬遜 MWAA。
- CloudWatch 度量
-
CloudWatch 量度代表特定於的一組時間順序的資料點。 CloudWatch
- 阿帕奇氣流指標
-
Apache 氣流特定的指標
。 - 維度
-
維度是一組名稱值對,是指標身分的一部分。
- 單位
-
統計資料具有測量單位。對於 Amazon MWAA,單位包括計數、秒數和毫秒。對於 Amazon MWAA,系統會根據原始氣流指標中的單位來設定單位。
維度
本節說明中 Apache 氣流量度的 CloudWatch 維度群組 CloudWatch。
維度 | 描述 |
---|---|
天 |
表示特定的 Apache 氣流 DAG 名稱。 |
DAG 檔案名 |
指出特定的 Apache 氣流 DAG 檔案名稱。 |
函式 |
此維度可用來改善中量度的分組 CloudWatch。 |
任務 |
指出排程器執行的 Apache 氣流 Job。始終具有 Job 的值。 |
運算子 |
表示特定的 Apache 氣流操作員。 |
集區 |
表示特定的 Apache 氣流工作者集區。 |
任務 |
表示特定的 Apache 氣流工作。 |
HostName |
指出特定執行中 Apache 氣流程序的主機名稱。 |
在 CloudWatch 主控台中存取指標
本節說明如何存取特定 DAG 的 CloudWatch 效能測量結果。
檢視維度的效能測量結果
-
在主控台上開啟「測量結果」頁 CloudWatch 面
。 -
使用地 AWS 區選擇器選擇您的地區。
-
選擇亞馬遜名稱空間。
-
在「所有量度」標籤中,選取維度。例如,DAG,環境。
-
選擇維 CloudWatch 度的量度。例如,TaskInstanceSuccesses或TaskInstanceDuration。選擇圖表所有搜尋結果。
-
選擇圖形測量結果頁籤,即可檢視 Apache Airflow 測量結果的效能統計資料,例如 DAG、環境、工作。
阿帕奇氣流指標可用於 CloudWatch
本節說明傳送至的 Apache 氣流量度和維度 CloudWatch。
阿帕奇氣流計數
本節中的 Apache 氣流量度包含 Apache 氣流計數器
CloudWatch 公制 | 阿帕奇氣流公制 | 單位 | 維度 |
---|---|---|---|
猛烈抨擊 注意適用於阿帕奇氣流 v2.4.3 及以上版本。 |
斯拉 _ 錯過 |
計數 |
函數, 排程器 |
失敗回復全部回復 注意適用於阿帕奇氣流 v2.4.3 及以上版本。 |
回呼通知失敗 (__R) |
計數 |
函數, 排程器 |
更新 注意適用於阿帕奇氣流 v2.6.3 及以上版本。 |
資料集. 更新 |
計數 |
函數, 排程器 |
孤兒 注意適用於阿帕奇氣流 v2.6.3 及以上版本。 |
資料集. 孤立 |
計數 |
函數, 排程器 |
FailedCeleryTaskExecution 注意適用於阿帕奇氣流 v2.4.3 及以上版本。 |
手机. 执行命令. 失败 |
計數 |
功能, 芹菜 |
FilePathQueueUpdateCount 注意適用於阿帕奇氣流 v2.6.3 及以上版本。 |
DAG_ 處理. 檔案路徑佇列更新計數 |
計數 |
函數, 排程器 |
CriticalSectionBusy |
排程器. 批判 _ 區段 _ 忙碌 |
計數 |
函數, 排程器 |
DagBagSize |
短劍尺寸 |
計數 |
功能, DAG 處理 |
DagCallbackExceptions |
回呼例外 |
計數 |
星期日, 全部 |
失敗的 SLA EmailAttempts |
電子郵件通知失敗 |
計數 |
函數, 排程器 |
TaskInstanceFinished |
完成。 {匕首} {任務識別碼}。 {狀態} |
計數 |
日, {日} 任務,{任務 ID} 狀態,{狀態} |
JobEnd |
{工作名稱} _ 結束 |
計數 |
Job,{工作名稱} |
JobHeartbeatFailure |
{工作名稱} _ 心跳失敗 |
計數 |
Job,{工作名稱} |
JobStart |
{工作名稱} _ 開始 |
計數 |
Job,{工作名稱} |
ManagerStalls |
DAG 處理. 管理員檔案 |
計數 |
功能, DAG 處理 |
OperatorFailures |
操作員失敗 _ {運營商名稱} |
計數 |
運算子,{運算子名稱} |
OperatorSuccesses |
運營商 _ 成功 _ {運營商名稱} |
計數 |
運算子,{運算子名稱} |
OtherCallbackCount 注意可在阿帕奇氣流 v2.6.3 及以上版本。 |
DAG_ 處理. 其他回呼計數 |
計數 |
函數, 排程器 |
Processes |
加工. 流程 |
計數 |
功能, DAG 處理 |
SchedulerHeartbeat |
排程器心跳 (_) |
計數 |
函數, 排程器 |
StartedTaskInstances |
開始。 {匕首} {任務識別碼} |
計數 |
星期日, 全部 工作、全部 |
SlaCallbackCount |
DAG 處理. 回呼計數 注意適用於阿帕奇氣流 v2.6.3 及以上版本。 |
計數 |
函數, 排程器 |
TasksKilledExternally |
排程器. 任務. 殺死 _ 外部 |
計數 |
函數, 排程器 |
TaskTimeoutError |
提琴. 任務超時 _ 錯誤 |
計數 |
功能, 芹菜 |
TaskInstanceCreatedUsingOperator |
創建任務-{運算符名稱} |
計數 |
運算子,{運算子名稱} |
TaskInstancePreviouslySucceeded |
之前 (_ 成功) |
計數 |
星期日, 全部 工作、全部 |
TaskInstanceFailures |
TI_ 失敗 |
計數 |
星期日, 全部 工作、全部 |
TaskInstanceSuccesses |
成功 |
計數 |
星期日, 全部 工作、全部 |
TaskRemovedFromDAG |
工作 _ 從星期日移除。 {匕首} |
計數 |
日, {日} |
TaskRestoredToDAG |
工作 _ 還原到 _ 日。 {匕首} |
計數 |
日, {日} |
TriggersSucceeded 注意適用於阿帕奇氣流 v2.7.2 及以上版本。 |
觸發器. 成功 |
計數 |
功能、觸發 |
TriggersFailed 注意適用於阿帕奇氣流 v2.7.2 及以上版本。 |
觸發器失敗 |
計數 |
功能、觸發 |
TriggersBlockedMainThread 注意適用於阿帕奇氣流 v2.7.2 及以上版本。 |
觸發器. 封鎖執行緒 |
計數 |
功能、觸發 |
TriggerHeartbeat 注意適用於阿帕奇氣流 v2.8.1 及以上版本。 |
特里格爾心跳 |
計數 |
功能、加固型 |
TaskInstanceCreatedUsingOperator |
氣流. 任務 _ 實例 _ 創建 _ 注意適用於阿帕奇氣流 v2.7.2 及以上版本。 |
計數 |
運營商, |
ZombiesKilled |
殭屍殺死 |
計數 |
星期日, 全部 工作、全部 |
阿帕奇氣流計
本節中的 Apache 氣流量度包含 Apache 氣流量計
CloudWatch 公制 | 阿帕奇氣流公制 | 單位 | 維度 |
---|---|---|---|
DAG FileRefreshError |
DAG_ 檔案重新整理錯誤 |
計數 |
功能, DAG 處理 |
ImportErrors |
DAG 處理. 匯入錯誤 |
計數 |
功能, DAG 處理 |
ExceptionFailures |
智慧型感應器操作員. 例外失敗 |
計數 |
功能智慧感測器操作員 |
ExecutedTasks |
智能傳感器操作員. 執行任務 |
計數 |
功能智慧感測器操作員 |
InfraFailures |
智慧型感應器操作員. 主機故障 |
計數 |
功能智慧感測器操作員 |
LoadedTasks |
智能傳感器操作員. 加載任務 |
計數 |
功能智慧感測器操作員 |
TotalParseTime |
DAG 處理. 總分析時間 |
秒鐘 |
功能, DAG 處理 |
TriggeredDagRuns 注意可在阿帕奇氣流 v2.6.3 及以上版本。 |
資料集. 已觸發 (DAG) |
計數 |
函數, 排程器 |
TriggersRunning 注意可在阿帕奇氣流 v2.7.2 及更高版本。 |
觸發器。運行。 |
計數 |
功能、觸發 HostName, |
PoolDeferredSlots 注意可在阿帕奇氣流 v2.7.2 及更高版本。 |
池延期插槽。 |
計數 |
池,{池名稱} |
DAG FileProcessingLastRunSecondsAgo |
最後一次執行第二個之前的 DAG 處理。 {匕首檔案名稱} |
秒鐘 |
DAG 檔案名稱,{DAG 檔案名稱} |
OpenSlots |
執行程式. 開啟插槽 |
計數 |
函數,執行人 |
OrphanedTasksAdopted |
排程器. 孤兒 _ 任務. 採用 |
計數 |
函數, 排程器 |
OrphanedTasksCleared |
排程器. 孤兒 _ 任務. 已清除 |
計數 |
函數, 排程器 |
PokedExceptions |
智能傳感器操作員. 口袋 _ 異常 |
計數 |
功能智慧感測器操作員 |
PokedSuccess |
智能感應器操作員. 精靈 _ 成功 |
計數 |
功能智慧感測器操作員 |
PokedTasks |
智能傳感器操作員. 口袋妖怪任務 |
計數 |
功能智慧感測器操作員 |
PoolFailures |
池. 打開插槽。 {池名稱} |
計數 |
池,{池名稱} |
PoolStarvingTasks |
池啟動任務。 {池名稱} |
計數 |
池,{池名稱} |
PoolOpenSlots |
池. 打開插槽。 {池名稱} |
計數 |
池,{池名稱} |
PoolQueuedSlots |
池. 佇列插槽。 {池名稱} |
計數 |
池,{池名稱} |
PoolRunningSlots |
池. 運行 _ 槽。 {池名稱} |
計數 |
池,{池名稱} |
ProcessorTimeouts |
處理. 處理器逾時 |
計數 |
功能, DAG 處理 |
QueuedTasks |
執行器. 佇列工作 |
計數 |
函數,執行人 |
RunningTasks |
執行程式. 執行工作 |
計數 |
函數,執行人 |
TasksExecutable |
調度程序. 任務. 可執行 |
計數 |
函數, 排程器 |
TasksPending 注意不適用於阿帕奇氣流 v2.2 及以上版本。 |
調度程序. 任務. 擱置 |
計數 |
函數, 排程器 |
TasksRunning |
調度程序. 任務. 運行 |
計數 |
函數, 排程器 |
TasksStarving |
調度程序. 任務. 挨餓 |
計數 |
函數, 排程器 |
TasksWithoutDagRun |
調度程序. 任務. 沒有 |
計數 |
函數, 排程器 |
阿帕奇氣流計時器
本節中的 Apache 氣流量度包含 Apache 氣流計時器
CloudWatch 公制 | 阿帕奇氣流公制 | 單位 | 維度 |
---|---|---|---|
收集資料庫 |
收集資料庫 |
毫秒 |
功能, DAG 處理 |
CriticalSectionDuration |
排程程式. 臨界 _ 截面持續時間 |
毫秒 |
函數, 排程器 |
CriticalSectionQueryDuration 注意適用於阿帕奇氣流 v2.5.1 及以上版本。 |
排程器. 關鍵區段查詢持續時間 |
毫秒 |
函數, 排程器 |
DAG DependencyCheck |
每日依賴性檢查。 {匕首} |
毫秒 |
日, {日} |
DAG DurationFailed |
持續時間。失敗。 {匕首} |
毫秒 |
日, {日} |
DAG DurationSuccess |
持續時間。成功。 {匕首} |
毫秒 |
日, {日} |
DAG FileProcessingLastDuration |
DAG 處理最後一個持續時間。 {匕首檔案名稱} |
秒鐘 |
DAG 檔案名稱,{DAG 檔案名稱} |
DAG ScheduleDelay |
每日排程 _ 延遲。 {匕首} |
毫秒 |
日, {日} |
FirstTaskSchedulingDelay |
每日。 第一個任務排程 _ 延遲 |
毫秒 |
日, {日} |
SchedulerLoopDuration 注意適用於阿帕奇氣流 v2.5.1 及以上版本。 |
排程器. 排程器 _ 迴圈持續時間 |
毫秒 |
函數, 排程器 |
TaskInstanceDuration |
天。 {匕首} {任務 ID}. 持續時間 |
毫秒 |
日, {日} 任務,{任務 ID} |
TaskInstanceQueuedDuration |
天。 注意適用於阿帕奇氣流 v2.7.2 及以上版本。 |
毫秒 |
日, {日} 任務,{任務 ID} |
TaskInstanceScheduledDuration 注意適用於阿帕奇氣流 v2.7.2 及以上版本。 |
天。 |
毫秒 |
日, {日} 任務,{任務 ID} |
選擇要報告的量度
您可以使用下列 Amazon MWAA 組態選項 CloudWatch,選擇要發送至 Apache 氣流或封鎖哪些 Apache 氣流指標:
metrics.metrics_allow_list
— 逗號分隔的前置詞清單,您可以用來選取您的環境發出哪些量度。 CloudWatch 如果您希望 Apache Airflow 不傳送所有可用的量度,而是選取元素子集,請使用此選項。例如scheduler,executor,dagrun
。metrics.metrics_block_list
— 逗號分隔的前置字元清單,可篩選出以清單元素開頭的量度。例如scheduler,executor,dagrun
。
如果同時配置metrics.metrics_allow_list
和metrics.metrics_block_list
,Apache 氣流會忽略metrics.metrics_block_list
。如果您進行設定 metrics.metrics_block_list
metrics.metrics_allow_list
,Apache 氣流會過濾掉您在中指定的元素metrics.metrics_block_list
。
注意
metrics.metrics_allow_list
和組metrics.metrics_block_list
態選項僅適用於 Apache 氣流 v2.6.3 及以上版本。對於以前版本的 Apache 氣流使用metrics.statsd_allow_list
和metrics.statsd_block_list
代替。
後續步驟?
-
在以下位置探索用於發佈環境運作狀態指標的 Amazon MWAA API 操作。PublishMetrics