Amazon Q 數據集成 AWS Glue

中的 Amazon Q 資料整合 AWS Glue 是一項新的生成 AI 功能，可 AWS Glue 讓資料工程師和 ETL 開發人員使用自然語言建立資料整合任務。工程師和開發人員可以要求 Amazon Q 編寫任務、疑難排解問題，以及回答有關 AWS Glue 資料整合的問題。

什麼是 Amazon Q？

注意

由 Amazon 基岩提供支援： AWS 實作自動濫用偵測。由於 Amazon Q 資料整合建立在 Amazon 基岩上，因此使用者可以充分利用 Amazon 基岩中實作的控制項，強制執行人工智慧 (AI) 的安全性、安全性和負責任的使用。

Amazon Q 是採用生成式人工智慧 (AI) 的交談助理，可協助您了解、建置、擴充和操作 AWS 應用程式。支援 Amazon Q 的模型已增強高品質 AWS 內容，讓您獲得更完整、可操作和參考的答案，以加速您的建置 AWS。如需詳細資訊，請參閱什麼是 Amazon Q？

AWS Glue中的 Amazon Q 資料整合是什麼？

中的 Amazon Q 資料整合 AWS Glue 包括下列功能：

• 聊天 — 中的 Amazon Q 資料整合 AWS Glue 可以用英文回答 AWS Glue 與資料整合網域相關的自然語言問題，例如 AWS Glue 來源和目的地連接器、 AWS Glue ETL 任務、資料目錄、爬蟲和 AWS Lake Formation其他功能文件以及最佳實務。Amazon Q 資料整合中 AWS Glue 會回應 step-by-step 指示，並包含對其資訊來源的參考。

• 資料整合程式碼產生 — 中的 Amazon Q 資料整合 AWS Glue 可以回答有關 AWS Glue ETL 指令碼的問題，並在以英文自然語言問題的情況下產生新程式碼。

• 疑難排解 — 中的 Amazon Q 資料整合 AWS Glue 旨在協助您瞭解任 AWS Glue 務中的錯誤，並提供 step-by-step 指示、根本原因和解決問題。

注意

中的 Amazon Q 資料整合 AWS Glue 不會使用交談內容來通知 future 對話期間的回應。與 Amazon Q 資料整合的每次對話 AWS Glue 都獨立於您之前或 future 的對話。

是否使用 AWS Glue中的 Amazon Q 資料整合？

在 Amazon Q 面板中，您可以請求 Amazon Q 產生 AWS Glue ETL 指令碼的程式碼，或回答 AWS Glue 功能相關問題或疑難排解錯誤。響應是一個 ETL 腳本，其中 PySpark 包含自定義腳本，審查和執行它的 step-by-step 說明。系統會根據資料整合知識庫產生對問題的回應，其中包含摘要和來源 URL 以供參考。

例如，您可以要求 Amazon Q「請提供從雪花讀取、重新命名欄位並寫入 Redshift」的 Glue 指令碼，並回應中的 Amazon Q 資料整合 AWS Glue 將傳回可執行請求動 AWS Glue 作的工作指令碼。您可以檢閱產生的程式碼，確保其符合請求的意圖。如果滿意，您可以將其部署為生產中的 AWS Glue 工作。您可以要求整合解釋錯誤和失敗，並提出解決方案，藉此疑難排解作業。Amazon Q 可以回答有關資料整合最佳實務的問題 AWS Glue 或問題。

以下是示範中 Amazon Q 資料整合如何協助 AWS Glue 您進行建置的範例問題 AWS Glue：

AWS Glue ETL 代碼生成：

• 撰寫可從 S3 讀取 JSON 的 AWS Glue 指令碼、使用套用對應轉換欄位，然後寫入 Amazon Redshift

• 如何編寫用於從 DynamoDB 讀取的 AWS Glue 腳本， DropNullFields 將轉換和寫入作為實木複合地板應用到 S3？

• 給我一個從 MySQL 讀取的 AWS Glue 腳本，根據我的業務邏輯刪除一些字段，並寫入雪花

• 寫入要從動態 B 讀取的 AWS Glue 任務，然後以 JSON 格式寫入 S3

• 協助我開發 S3 AWS Glue 資料型錄的 AWS Glue 指令碼

• 編寫一個 AWS Glue 工作以從 S3 讀取 JSON，刪除空值並寫入 Redshift

AWS Glue 功能說明：

• 如何使用 AWS Glue 資料品質？

• 如何使用 AWS Glue 工作書籤？

• 如何啟用 AWS Glue 自動調度資源？

• AWS Glue 動態幀和 Spark 數據幀有什麼區別？

• 支援哪些不同類型的連線 AWS Glue？

AWS Glue 疑難排解：

• 如何解決 AWS Glue 工作上的內存不足（OOM）錯誤？

• 設定 AWS Glue 資料品質時，您可能會看到哪些錯誤訊息，以及如何修正這些錯誤訊息？

• 如何解決 Amazon S3 訪問被拒絕的錯誤的任 AWS Glue 務？

• 如何解決 AWS Glue 工作資料隨機播放的問題？

與 Amazon Q 資料整合互動的最佳實務

以下是與 Amazon Q 資料整合互動的最佳實務：

• 與 Amazon Q 資料整合互動時，請提出特定問題、在有複雜請求時進行迭代，並驗證答案的準確性。

• 以自然語言提供資料整合提示時，請盡量具體協助助理確切瞭解您的需求。而不是詢問「從 S3 擷取資料」，而是提供更多詳細資訊，例如「撰寫從 S3 擷取 JSON 檔案的 AWS Glue 指令碼」。

• 在運行之前檢查生成的腳本以確保準確性。如果產生的指令碼有錯誤或與您的意圖不符，請向助理提供如何更正指示。

• 生成式 AI 技術是一種新穎的技術，在反應中可能會出現錯誤，有時也稱為幻覺。在您的環境或工作負載中使用之前，請先測試並檢閱所有程式碼是否有錯誤和漏洞。

Amazon Q 數據集成在 AWS Glue 服務改進

為了協助 Amazon Q 資料整合 AWS Glue 提供最相關的 AWS 服務資訊，我們可能會使用 Amazon Q 的特定內容，例如您詢問 Amazon Q 的問題及其回應，以改善服務。

如需有關我們使用哪些內容以及如何選擇退出的資訊，請參閱 Amazon Q 開發人員使用者指南中的 Amazon Q 開發人員服務改進。

考量事項

使用 AWS Glue中的 Amazon Q 資料整合之前，請考慮下列項目：

• 目前，代碼生成僅適用於 PySpark 內核。生成的代碼是基於 Python 星火的 AWS Glue 作業。

• 如需 Amazon Q 資料整合所支援的程式碼產生功能組合的相關資訊 AWS Glue，請參閱支持的代碼生成功能。