Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
開始使用適用於阿帕奇 Flink 的 Amazon 託管服務 (DataStreamAPI)
本節將為您介紹適用於 Apache Flink 的受管理服務和 DataStream API 的基本概念。它描述了建立和測試應用程式的可用選項。此外,它還提供了相關指示,以協助您安裝完成本指南教學課程以及建立您的第一個應用程式所需要的工具。
主題
檢閱適用於 Apache Flink 應用程式的受管理服務元件
為了處理資料,您的 Managed Service for Apache Flink 應用程式使用 Java/Apache Maven 或 Scala 應用程式來處理輸入,使用 Apache Flink 執行期生成輸出。
Managed Service for Apache Flink 應用程式包含以下元件:
-
執行期屬性:您可以使用執行期屬性來設定應用程式,無需重新編譯應用程式的程式碼。
-
來源:應用程式使用來源來消耗資料。來源連接器從 Kinesis 資料串流、Amazon S3 儲存貯體等讀取資料。如需詳細資訊,請參閱來源。
-
運算子:應用程式會使用一或多個運算子來處理資料。運算子可以轉換、富集或彙總資料。如需詳細資訊,請參閱DataStream API 運算子。
-
接收器:應用程式透過使用接收器生成資料到外部來源。接收器連接器會將資料寫入 Kinesis 資料串流、Firehose 串流、Amazon S3 儲存貯體等。如需詳細資訊,請參閱 接收。
建立、編譯和封裝應用程式的程式碼後,將程式碼套件上傳到 Amazon Simple Storage Service (Amazon S3) 儲存貯體。然後建立 Managed Service for Apache Flink 應用程式。您可以傳入程式碼套件位置,Kinesis 資料串流作為串流資料來源,以及通常是接收應用程式處理後的資料的串流或檔案位置。
滿足完成練習的先決條件
若要完成本指南中的步驟,您必須執行下列各項:
-
Java 開發套件 (JDK) 版本 11
。將 JAVA_HOME
環境變數設為指向您的 JDK 安裝位置。 -
我們建議您使用開發環境 (如 Eclipse Java Neon
或 IntelliJ Idea ) 來開發和編譯您的應用程式。 -
Git 用戶端
。如果您尚未安裝 Git 用戶端,請先安裝。 -
Apache Maven 編譯器外掛程式
。Maven 必須在您的工作路徑中。若要測試您的 Apache Maven 安裝,輸入以下資訊: $ mvn -version
開始執行,請移至 步驟 1:設定 AWS 帳戶並建立管理員使用者。