使用互動式工作階段建立 AWS Glue 任務 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用互動式工作階段建立 AWS Glue 任務

資料工程師可以撰寫 AWS Glue 作業比在 中使用互動式工作階段更快、更輕鬆 AWS Glue.

概觀 AWS Glue 互動式工作階段

使用 AWS Glue 互動式工作階段,您可以快速建置、測試和執行資料準備和分析應用程式。互動式工作階段提供程式設計和視覺化界面,用於建置和測試擷取、轉換和載入 (ETL) 指令碼以進行資料準備。互動式工作階段會執行 Apache Spark 分析應用程式,並提供遠端 Spark 執行期環境的隨需存取。AWS Glue 透明地管理這些互動式工作階段的無伺服器 Spark。

互動式工作階段具有彈性,因此您可以從選擇的環境建置和測試應用程式。您可以透過 和 AWS Command Line Interface 建立和使用互動式工作階段API。您可以使用與 Jupyter 相容的筆記本,以視覺化方式編寫和測試您的筆記本指令碼。互動式工作階段提供開放原始碼 Jupyter 核心,可整合幾乎 Jupyter 執行的任何位置,包括與 IDEs PyCharm、IntelliJ 和 VS 程式碼整合。這可讓您在本機環境中編寫程式碼,並在互動式工作階段後端順暢地執行程式碼。

使用互動式工作階段 API,客戶可以程式設計方式執行使用 Apache Spark 分析的應用程式,而不必管理 Spark 基礎設施。您可以在單一互動式工作階段內執行一或多個 Spark 陳述式。

因此,互動式工作階段提供更快速、便宜、靈活的方式來建置和執行資料準備和分析應用程式。若要了解如何使用互動式工作階段,請參閱本節中的文件。支援的魔術 AWS Glue

限制

  • 互動式工作階段中不支援任務書籤。

  • AWS Command Line Interface 不支援使用 建立筆記本任務。

  • AWS Glue Studio 筆記本不支援 Scala。