Splunk 整合連接器 - AWS IoT Greengrass

AWS IoT Greengrass Version 1 於 2023 年 6 月 30 日進入延長使用壽命階段。如需詳細資訊,請參閱AWS IoT Greengrass V1 維護政策。在此日期之後, AWS IoT Greengrass V1 將不會發行提供功能、增強功能、錯誤修正或安全性修補程式的更新。在上運行的設備 AWS IoT Greengrass V1 不會中斷,並將繼續運行並連接到雲。我們強烈建議您移轉至 AWS IoT Greengrass Version 2,這會增加重要的新功能,並支援其他平台

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Splunk 整合連接器

警告

此連接器已移至延長生命階段,以及AWS IoT Greengrass不會發行提供功能、增強現有功能、安全性修補程式或錯誤修正的更新。如需詳細資訊,請參閱 AWS IoT Greengrass Version 1維護政策

Splunk 整合連接器會將資料從 Greengrass 裝置發佈到 Splunk。這可讓您使用 Splunk 來監控和分析 Greengrass 核心環境,並對本機事件採取行動。連接器與 HTTP 事件收集器 (HEC) 整合。如需詳細資訊,請參閱 Splunk 文件中的 Splunk HTTP 事件收集器簡介

此連接器會接收 MQTT 主題上的記錄和事件資料,並將資料依現狀發佈到 Splunk API。

您可以使用此連接器來支援工業案例,例如:

  • 操作員可以使用來自傳動器和感應器的週期性資料 (例如,溫度、壓力和水讀數),在值超出特定閾值時啟動警示。

  • 開發人員使用從工業機械收集的資料,以建置機器學習模型來監控設備的潛在問題。

此連接器具有下列版本。

版本

ARN

4

arn:aws:greengrass:region::/connectors/SplunkIntegration/versions/4

3

arn:aws:greengrass:region::/connectors/SplunkIntegration/versions/3

2

arn:aws:greengrass:region::/connectors/SplunkIntegration/versions/2

1

arn:aws:greengrass:region::/connectors/SplunkIntegration/versions/1

如需版本變更的詳細資訊,請參閱 Changelog

要求

此連接器有下列要求:

Version 3 - 4
  • AWS IoT Greengrass核心軟體 1.9.3 版或更新版本。AWS IoT Greengrass必須設定為支援本機私密,如中所述Secrets 要求

    注意

    這項要求包括允許存取 Secrets Manager 秘密。如果您使用的是預設 Greengrass 服務角色,Greengrass 有權取得名稱開頭為的秘密值greengrass

  • 蟒蛇3.7 版或 3.8 版本已安裝在核心裝置上並已新增至 PATH 環境變數。

    注意

    要使用 Python 3.8,請運行以下命令,從默認 Python 3.7 安裝文件夾創建一個符號鏈接到已安裝的 Python 3.8 二進製文件。

    sudo ln -s path-to-python-3.8/python3.8 /usr/bin/python3.7

    這會設定您的裝置以符合 AWS IoT Greengrass 的 Python 需求。

  • Splunk 中必須啟用 HTTP 事件收集器功能。如需詳細資訊,請參閱 Splunk 文件中的在 Splunk Web 中設定和使用 HTTP 事件收集器

  • AWS Secrets Manager 中存放 Splunk HTTP 事件收集器字符的文字類型私密。如需詳細資訊,請參閱「」關於事件收集器令牌在 Splunk 文檔和建立基本秘密中的AWS Secrets Manager使用者指南

    注意

    若要在 Secret Secrets Manager 主控台中建立密碼,請在純文字標籤。請勿包含引號或其他格式。在 API 中,將權杖指定為SecretString財產。

  • Greengrass 群組中參考 Secrets Manager 私密的私密資源。如需詳細資訊,請參閱 將私密部署至 AWS IoT Greengrass 核心

Versions 1 - 2
  • AWS IoT Greengrass核心軟體 1.7 版或更新版本。AWS IoT Greengrass必須設定為支援本機私密,如中所述Secrets 要求

    注意

    這項要求包括允許存取 Secrets Manager 秘密。如果您使用的是預設 Greengrass 服務角色,Greengrass 有權取得名稱開頭為的秘密值greengrass

  • 蟒蛇2.7 版本已安裝在核心裝置上並已新增至 PATH 環境變數。

  • Splunk 中必須啟用 HTTP 事件收集器功能。如需詳細資訊,請參閱 Splunk 文件中的在 Splunk Web 中設定和使用 HTTP 事件收集器

  • AWS Secrets Manager 中存放 Splunk HTTP 事件收集器字符的文字類型私密。如需詳細資訊,請參閱「」關於事件收集器令牌在 Splunk 文檔和建立基本秘密中的AWS Secrets Manager使用者指南

    注意

    若要在 Secret Secrets Manager 主控台中建立密碼,請在純文字標籤。請勿包含引號或其他格式。在 API 中,將權杖指定為SecretString財產。

  • Greengrass 群組中參考 Secrets Manager 私密的私密資源。如需詳細資訊,請參閱 將私密部署至 AWS IoT Greengrass 核心

連接器參數

此連接器提供下列參數:

Version 4
SplunkEndpoint

Splunk 執行個體的端點。這個值必須包含通訊協定、主機名稱和連接埠。

中的顯示名稱AWS IoT主控台:Splunk 端點

必要true

類型:string

有效模式:^(http:\/\/|https:\/\/)?[a-z0-9]+([-.]{1}[a-z0-9]+)*.[a-z]{2,5}(:[0-9]{1,5})?(\/.*)?$

MemorySize

配置給連接器的記憶體數量 (KB)。

中的顯示名稱AWS IoT主控台:記憶體大小

必要true

類型:string

有效模式:^[0-9]+$

SplunkQueueSize

提交或捨棄項目之前在記憶體中儲存的項目數上限。達到此限制時,佇列中最舊項目會由較新項目取代。此限制通常適用於未連接到網際網路時。

中的顯示名稱AWS IoT主控台:保留的項目上限

必要true

類型:string

有效模式:^[0-9]+$

SplunkFlushIntervalSeconds

將收到的資料發佈到 Splunk HEC 的間隔 (以秒為單位)。最大值為 900。若要將連接器設定為一收到項目就立刻將其發佈 (不批次處理),請指定 0。

中的顯示名稱AWS IoT主控台:Splunk 發佈間隔

必要true

類型:string

有效模式:[0-9]|[1-9]\d|[1-9]\d\d|900

SplunkTokenSecretArn

秘密AWS Secrets Manager,用來存放 Splunk 字符。這必須是文字類型私密。

中的顯示名稱AWS IoT主控台:Splunk 驗證字符私密的 ARN

必要true

類型:string

有效模式:arn:aws:secretsmanager:[a-z]{2}-[a-z]+-\d{1}:\d{12}?:secret:[a-zA-Z0-9-_]+-[a-zA-Z0-9-_]+

SplunkTokenSecretArn-ResourceId

Greengrass 群組中參考 Splunk 私密的私密資源。

中的顯示名稱AWS IoT主控台:Splunk 驗證字符資源

必要true

類型:string

有效模式:.+

SplunkCustomCALocation

Splunk 自訂憑證授權單位 (CA) 的檔案路徑 (例如 /etc/ssl/certs/splunk.crt)。

中的顯示名稱AWS IoT主控台:Splunk 自訂憑證授權單位位置

必要false

類型:string

有效模式:^$|/.*

IsolationMode

此連接器的容器化模式。預設值為 GreengrassContainer,這表示連接器會在 AWS IoT Greengrass 容器內的隔離執行階段環境中執行。

注意

群組的預設容器化設定不會套用至連接器。

中的顯示名稱AWS IoT主控台:Container isolation mode

必要false

類型:string

有效值:GreengrassContainerNoContainer

有效模式:^NoContainer$|^GreengrassContainer$

Version 1 - 3
SplunkEndpoint

Splunk 執行個體的端點。這個值必須包含通訊協定、主機名稱和連接埠。

中的顯示名稱AWS IoT主控台:Splunk 端點

必要true

類型:string

有效模式:^(http:\/\/|https:\/\/)?[a-z0-9]+([-.]{1}[a-z0-9]+)*.[a-z]{2,5}(:[0-9]{1,5})?(\/.*)?$

MemorySize

配置給連接器的記憶體數量 (KB)。

中的顯示名稱AWS IoT主控台:記憶體大小

必要true

類型:string

有效模式:^[0-9]+$

SplunkQueueSize

提交或捨棄項目之前在記憶體中儲存的項目數上限。達到此限制時,佇列中最舊項目會由較新項目取代。此限制通常適用於未連接到網際網路時。

中的顯示名稱AWS IoT主控台:保留的項目上限

必要true

類型:string

有效模式:^[0-9]+$

SplunkFlushIntervalSeconds

將收到的資料發佈到 Splunk HEC 的間隔 (以秒為單位)。最大值為 900。若要將連接器設定為一收到項目就立刻將其發佈 (不批次處理),請指定 0。

中的顯示名稱AWS IoT主控台:Splunk 發佈間隔

必要true

類型:string

有效模式:[0-9]|[1-9]\d|[1-9]\d\d|900

SplunkTokenSecretArn

秘密AWS Secrets Manager,用來存放 Splunk 字符。這必須是文字類型私密。

中的顯示名稱AWS IoT主控台:Splunk 驗證字符私密的 ARN

必要true

類型:string

有效模式:arn:aws:secretsmanager:[a-z]{2}-[a-z]+-\d{1}:\d{12}?:secret:[a-zA-Z0-9-_]+-[a-zA-Z0-9-_]+

SplunkTokenSecretArn-ResourceId

Greengrass 群組中參考 Splunk 私密的私密資源。

中的顯示名稱AWS IoT主控台:Splunk 驗證字符資源

必要true

類型:string

有效模式:.+

SplunkCustomCALocation

Splunk 自訂憑證授權單位 (CA) 的檔案路徑 (例如 /etc/ssl/certs/splunk.crt)。

中的顯示名稱AWS IoT主控台:Splunk 自訂憑證授權單位位置

必要false

類型:string

有效模式:^$|/.*

建立範例連接器 (AWS CLI)

以下 CLI 命令會建立ConnectorDefinition使用包含 Splunk 整合連接器的初始版本。

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{ "Connectors": [ { "Id": "MySplunkIntegrationConnector", "ConnectorArn": "arn:aws:greengrass:region::/connectors/SplunkIntegration/versions/4", "Parameters": { "SplunkEndpoint": "https://myinstance.cloud.splunk.com:8088", "MemorySize": 200000, "SplunkQueueSize": 10000, "SplunkFlushIntervalSeconds": 5, "SplunkTokenSecretArn":"arn:aws:secretsmanager:region:account-id:secret:greengrass-secret-hash", "SplunkTokenSecretArn-ResourceId": "MySplunkResource", "IsolationMode" : "GreengrassContainer" } } ] }'
注意

此連接器中的 Lambda 函數具有長期生命週期。

在 中AWS IoT Greengrass主控台,您可以從群組中新增連接器連接器(憑證已建立!) 頁面上的名稱有些許差異。如需詳細資訊,請參閱 Greengrass 連接器入門 (主控台)

輸入資料

此連接器會接受 MQTT 主題上的記錄和事件資料,並將收到的資料依現狀發佈到 Splunk API。輸入訊息必須是 JSON 格式。

訂閱中的主題篩選條件

splunk/logs/put

訊息屬性
request

要傳送到 Splunk API 的事件資料。事件必須符合 服務/收集器 API 的規格。

必要true

類型:object。 只有event需要屬性。

id

請求的任意 ID。此屬性用於將輸入請求映射到輸出狀態。

必要false

類型:string

限制

Splunk API 實施的所有限制,在使用此連接器時都適用。如需詳細資訊,請參閱服務/收集器

範例輸入
{ "request": { "event": "some event", "fields": { "severity": "INFO", "category": [ "value1", "value2" ] } }, "id": "request123" }

輸出資料

此連接器將輸出資料發佈在兩個主題:

  • splunk/logs/put/status 主題上的狀態資訊。

  • splunk/logs/put/error主題的相關錯誤。

主題篩選條件: splunk/logs/put/status

使用此主題監聽請求的狀態。每次連接器將一批收到的資料傳送到 Splunk API 時,就會發佈成功請求和失敗請求的 ID 清單。

範例輸出
{ "response": { "succeeded": [ "request123", ... ], "failed": [ "request789", ... ] } }
主題篩選條件: splunk/logs/put/error

使用此主題監聽來自連接器的錯誤。error_message 屬性,描述處理請求時發生的錯誤或逾時。

範例輸出
{ "response": { "error": "UnauthorizedException", "error_message": "invalid splunk token", "status": "fail" } }
注意

如果連接器偵測到可重試的錯誤 (例如,連線錯誤),它會在下一個批次中重試發佈。

使用範例

使用下列高階步驟,設定可用來試用連接器的範例 Python 3.7 Lambda 函數。

注意
  • 如果您使用的是其他 Python 執行時間,則可以建立從 Python 3.x 到 Python 3.7 的符號連結。

  • 連接器入門 (主控台)連接器入門 (CLI) 主題包含詳細步驟,說明如何設定和部署範例 Twilio 通知連接器。

  1. 確定您符合連接器的要求

  2. 建立並發佈 Lambda 函數,以將輸入資料傳送至連接器。

    範例程式碼儲存為 PY 檔案。下載並解壓縮AWS IoT Greengrass適用於 Python 的核心開發套。然後,建立在根層級包含 PY 檔案和 greengrasssdk 資料夾的 zip 套件。此 zip 套件是您上傳至的部署套件AWS Lambda。

    建立 Python 3.7 Lambda 函數後,請發佈函數版本並建立別名。

  3. 設定 Greengrass 群組。

    1. 根據別名新增 Lambda 函數 (建議使用)。將 Lambda 生命週期設為長時間 (或"Pinned": true在 CLI 中)。

    2. 新增所需的私密資源,並授與 Lambda 函數的讀取存取權。

    3. 新增連接器並設定其參數

    4. 新增訂閱,允許連接器在支援主題篩選條件上接收輸入資料並傳送輸出資料

      • 將 Lambda 函數設為來源、將連接器設為目標,並使用支援的輸入主題篩選條件。

      • 將連接器設為來源、將 AWS IoT Core 設為目標,並使用支援的輸出主題篩選條件。您可以使用此訂閱來檢視中的狀態訊息AWS IoT主控台。

  4. 部署群組。

  5. 在 中AWS IoT主控台上測試」頁面中,訂閱輸出資料主題以檢視來自連接器的狀態訊息。範例 Lambda 函數具有長時間的生命週期,而且在部署完群組後會立即開始傳送訊息。

    完成測試後,您可以將 Lambda 生命週期設為隨需 (或"Pinned": false在 CLI 中) 並部署群組。這會讓函數停止傳送訊息。

範例

下列範例 Lambda 函數會將輸入訊息傳送至連接器。

import greengrasssdk import time import json iot_client = greengrasssdk.client('iot-data') send_topic = 'splunk/logs/put' def create_request_with_all_fields(): return { "request": { "event": "Access log test message." }, "id" : "req_123" } def publish_basic_message(): messageToPublish = create_request_with_all_fields() print("Message To Publish: ", messageToPublish) iot_client.publish(topic=send_topic, payload=json.dumps(messageToPublish)) publish_basic_message() def lambda_handler(event, context): return

license

此連接器會在Greengrass Core 軟體授權合約

Changelog

下表說明連接器每個版本的變更。

版本

變更

4

已新增 IsolationMode 參數,以設定連接器的容器化模式。

3

已將 Lambda 執行時間升級至 Python 3.7,這會改變執行時間要求。

2

可減少過多記錄的修正。

1

初始版本。

Greengrass 群組一次只能包含連接器的一個版本。若要取得有關升級連接器版本的資訊,請參閱升級連接器版本

另請參閱