Nodestream

Nodestream 是處理語意建模資料作為圖形的架構。其設計靈活且可擴展，可讓您定義如何收集資料並將其建模為圖形。它使用管道型方法來定義資料的收集和處理方式，並提供定義結構描述變更時應如何更新圖形的方法。所有這些都是使用簡單、人類可讀取的 yaml 格式組態檔案來完成。為了達成此目的，Nodestream 使用許多核心概念，包括管道、擷取器、轉換器、篩選條件、解譯器、解釋和遷移。

從 Nodestream 0.12 開始，Amazon Neptune 資料庫和 Neptune Analytics 都支援 Amazon Neptune。

請檢視 Nodestream 文件，以取得如何搭配 Neptune 設定和使用 Nodestream 的詳細資訊：Amazon Neptune 的 Nodestream 支援。

搭配 Neptune 的 Nodestream 目前支援標準 ETL 管道以及存留時間 (TTL) 管道。ETL 管道能夠從 Neptune 中更廣泛範圍的資料來源和格式將大量資料擷取至 Neptune，與先前在 Neptune 中可能的情況相比，包括：

• 軟體物料清單

• 檔案，包括 CSV、JSON、JSONL、Parquet、txt 和 yaml

• Kafka

• Athena

• REST APIs

只要正確設定登入資料，Nodestream 就會在連線至 Amazon Neptune 時完全支援 IAM 身分驗證。如需正確設定登入資料的詳細資訊，請參閱 boto3 登入資料指南。

Nodestream 的 TTL 機制也啟用 Neptune 先前未提供的新功能。透過使用時間戳記註釋擷取的圖形元素，Nodestream 可以建立自動過期的管道，並移除已超過設定生命週期的資料。