本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon Athena CloudWatch 指標連接器
Amazon Athena CloudWatch 指標連接器可讓 Amazon Athena 使用 查詢 CloudWatch 指標資料SQL。
此連接器不會使用 Glue Connections 集中 Glue 中的組態屬性。連線組態是透過 Lambda 完成。
如需 CloudWatch 從 Athena 本身將查詢指標發佈至 的資訊,請參閱 使用 CloudWatch 和 EventBridge 來監控查詢和控制成本。
必要條件
使用 Athena 主控台或 AWS Serverless Application Repository,將連接器部署到您的 AWS 帳戶 。如需詳細資訊,請參閱 建立資料來源連線 或 使用 AWS Serverless Application Repository 部署資料來源連接器。
參數
使用本節中的參數來設定 CloudWatch 指標連接器。
-
spill_bucket - 針對超過 Lambda 函數限制的資料,指定 Amazon S3 儲存貯體。
-
spill_prefix - (選用) 預設為指定的
spill_bucket
中名為athena-federation-spill
的子資料夾。我們建議您在此位置設定 Amazon S3 儲存生命週期,以刪除超過預定天數或小時數的溢出。 -
spill_put_request_headers – (選用) JSON 用於溢出之 Amazon S3
putObject
請求的請求標頭和值編碼映射 (例如{"x-amz-server-side-encryption" : "AES256"}
)。如需其他可能的標頭,請參閱《Amazon Simple Storage Service API參考PutObject》中的 。 -
kms_key_id – (選用) 根據預設,任何溢灑至 Amazon S3 的資料都會使用 AES-GCM 驗證的加密模式和隨機產生的金鑰進行加密。若要讓您的 Lambda 函數使用KMS類似 產生的更強加密金鑰
a7e63k4b-8loc-40db-a2a1-4d0en2cd8331
,您可以指定KMS金鑰 ID。 -
disable_spill_encryption - (選用) 當設定為
True
時,停用溢出加密。預設為 ,False
以便使用 AES- GCM來加密溢出到 S3 的資料,無論是使用隨機產生的金鑰,還是KMS產生金鑰。停用溢出加密可以提高效能,尤其是如果溢出位置使用伺服器端加密。
連接器也支援透過 Amazon Athena Query Federation SDKThrottlingInvoker
建構處理來自 的限流事件 CloudWatch 的AIMD壅塞控制
-
throttle_initial_delay_ms - 在第一個擁塞事件之後套用的初始呼叫延遲。預設值為 10 毫秒。
-
throttle_max_delay_ms - 呼叫之間的最大延遲。您可以將其分割為 1000 毫秒TPS來衍生。預設值為 1000 毫秒。
-
throttle_decrease_factor - Athena 降低呼叫速率的係數。預設值為 0.5
-
throttle_increase_ms— Athena 降低呼叫延遲的速率。預設值為 10 毫秒。
資料庫和資料表
Athena CloudWatch 指標連接器會將您的命名空間、維度、指標和指標值映射到名為 的單一結構描述中的兩個資料表default
。
指標資料表
metrics
資料表包含由命名空間、集合和名稱組合唯一定義的可用指標。metrics
資料表包含以下資料欄。
-
namespace - 包含命名空間的
VARCHAR
。 -
metric_name - 包含指標名稱的
VARCHAR
。 -
dimensions -
STRUCT
物件的LIST
,由dim_name (VARCHAR)
和dim_value (VARCHAR)
組成。 -
statistic -
VARCH
統計資料的LIST
(例如,p90
、AVERAGE
...),可供指標使用。
metric_samples 資料表
metric_samples
資料表包含 metrics
資料表中每個指標的可用指標範例。metric_samples
資料表包含以下資料欄。
-
namespace - 包含命名空間的
VARCHAR
。 -
metric_name - 包含指標名稱的
VARCHAR
。 -
dimensions -
STRUCT
物件的LIST
,由dim_name (VARCHAR)
和dim_value (VARCHAR)
組成。 -
dim_name— 一個
VARCHAR
方便欄位,可用於輕鬆篩選單個維度名稱。 -
dim_value— 一個
VARCHAR
方便欄位,可用於輕鬆篩選單個維度值。 -
period - 一個表示指標「時段」的
INT
欄位 (以秒為單位) (例如,60 秒指標)。 -
timestamp - 表示指標範例所用 epoch 時間的
BIGINT
欄位 (以秒為單位)。 -
value - 包含範例值的
FLOAT8
欄位。 -
statistic - 包含範例統計類型的
VARCHAR
(例如,AVERAGE
或者p90
)。
所需的許可
如需此連接器所需IAM政策的完整詳細資訊,請參閱 athena-cloudwatch-metrics.yamlPolicies
區段。以下清單摘要說明所需的許可。
-
Amazon S3 寫入存取 - 連接器需要 Amazon S3 中某個位置的寫入存取權,以便從大型查詢中溢寫結果。
-
Athena GetQueryExecution – 連接器會在上游 Athena 查詢終止時使用此許可來快速失敗。
-
CloudWatch 指標 ReadOnly – 連接器使用此許可來查詢指標資料。
-
CloudWatch Logs Write – 連接器使用此存取權來寫入其診斷日誌。
效能
Athena CloudWatch 指標連接器會平行掃描查詢所需的日誌串流,嘗試針對 CloudWatch 指標最佳化查詢。在特定時段、指標、命名空間和維度篩選條件中,述詞下推會在 Lambda 函數和 CloudWatch 日誌中執行。
授權資訊
Amazon Athena CloudWatch Metrics 連接器專案是根據 Apache-2.0 授權進行授權。
其他資源
如需此連接器的詳細資訊,請造訪對應的網站