Amazon Managed Service for Apache Flink (Amazon MSF) 先前稱為 Amazon Kinesis Data Analytics for Apache Flink。
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Managed Service for Apache Flink 的 Java 範例
下列範例示範如何建立以 Java 撰寫的應用程式。
注意
大多數範例都是為了在本機、開發機器和您選擇的 IDE 以及 Amazon Managed Service for Apache Flink 上執行而設計。它們示範了您可以用來傳遞應用程式參數的機制,以及如何正確設定相依性,以在兩個環境中執行應用程式,而不會進行任何變更。
此範例說明如何在您的記錄或狀態物件上定義自訂 TypeInfo,以防止序列化回到效率較低的 Kryo 序列化。例如,當您的物件包含 List或 時,這是必要的Map。如需詳細資訊,請參閱 Apache Flink 文件中的資料類型和序列化
程式碼範例:CustomTypeInfo
此範例顯示一個簡單的應用程式,使用 DataStream API 從 Kinesis 資料串流讀取和寫入另一個 Kinesis 資料串流。此範例示範如何使用正確的相依性設定 檔案、建置 uber-JAR,然後剖析組態參數,讓您可以在本機、IDE 和 Amazon Managed Service for Apache Flink 上執行應用程式。
程式碼範例: GettingStarted
此範例顯示使用 Table API 和 SQL 的簡單應用程式。它示範如何將 DataStream API 與相同 Java 應用程式中的 Table API 或 SQL 整合。它還示範如何使用DataGen連接器從 Flink 應用程式本身產生隨機測試資料,而不需要外部資料產生器。
完整範例: GettingStartedTable
此範例示範如何使用 DataStream API 的 將 JSON 檔案FileSink寫入 S3 儲存貯體。
程式碼範例:S3Sink
此範例示範如何使用標準取用者或 EFO 從 Kinesis 資料串流設定來源取用,以及如何將接收器設定為 Kinesis 資料串流。
程式碼範例:KinesisConnectors
此範例示範如何將資料傳送至 Amazon Data Firehose (先前稱為 Kinesis Data Firehose)。
程式碼範例:KinesisFirehoseSink
此範例示範如何使用 Prometheus 接收器連接器
程式碼範例:PrometheusSink
此範例示範 DataStream API 中的四種視窗化彙總類型。
-
根據處理時間的滑動視窗
-
根據事件時間的滑動視窗
-
根據處理時間的輪轉時段
-
根據事件時間的輪轉時段
程式碼範例:視窗調整
此範例說明如何將自訂指標新增至 Flink 應用程式,並將其傳送至 CloudWatch 指標。
程式碼範例:CustomMetrics
此範例說明如何使用 Kafka 組態提供者,為 Kafka 連接器設定具有 mTLS 身分驗證憑證的自訂金鑰存放區和信任存放區。此技術可讓您從 Amazon S3 載入必要的自訂憑證,並從應用程式啟動AWS Secrets Manager時載入秘密。
此範例說明如何使用 Kafka 組態提供者從 Amazon S3 擷取憑證AWS Secrets Manager,並從 Amazon S3 下載信任存放區,以在 Kafka 連接器上設定 SASL/SCRAM 身分驗證。 Amazon S3 此技術可讓您從 Amazon S3 載入必要的自訂憑證,並從應用程式啟動AWS Secrets Manager時載入秘密。
此範例說明如何使用資料表 API /SQL 中的 Kafka 組態提供者,為 Kafka 連接器設定具有 mTLS 身分驗證憑證的自訂金鑰存放區和信任存放區。此技術可讓您從 Amazon S3 載入必要的自訂憑證,並從應用程式啟動AWS Secrets Manager時載入秘密。
此範例說明如何利用 Apache Flink 中的 Side Outputs
程式碼範例:SideOutputs
此範例說明如何使用 Apache Flink 非同步 I/O
程式碼範例:AsyncIO