Amazon Q でのデータインテグレーション AWS Glue

Amazon Q AWS Glue データ統合は、データエンジニアと ETL 開発者が自然言語を使用してデータ統合ジョブを構築できるようにする、新しいジェネレーティブ AI 機能です。 AWS Glue エンジニアと開発者は Amazon Q にジョブの作成、問題のトラブルシューティング、 AWS Glue データ統合に関する質問への回答を依頼できます。

Amazon Q とは

注記

Amazon Bedrock を搭載: AWS 不正行為の自動検出機能を実装しています。Amazon Q データ統合は Amazon Bedrock に構築されているため、ユーザーは Amazon Bedrock に実装されているコントロールを最大限に活用し、安全性、セキュリティ、人工知能 (AI) の責任ある使用を実施できます。

Amazon Q は生成型人工知能 (AI) を活用した会話型アシスタントで、アプリケーションの理解、構築、拡張、運用を支援します。 AWS Amazon Q AWS を支えるこのモデルには高品質のコンテンツが追加され、より完全で実用的で参考になる回答が得られるため、構築を加速できます。 AWS詳細については、「Amazon Q とは」を参照してください。

AWS Glueの Amazon Q データ統合とは

の Amazon Q AWS Glue データ統合には以下の機能が含まれます。

• チャット — Amazon Q Data Integration in AWS Glue は、 AWS Glue AWS Glue ソースコネクターとデスティネーションコネクタ、 AWS Glue ETL ジョブ、データカタログ、クローラー、およびその他の機能ドキュメント、ベストプラクティスなどのデータ統合ドメインに関する自然言語の質問に英語で回答できます。 AWS Lake Formation Amazon Q AWS Glue データインテグレーションでは、 step-by-step 情報ソースへの参照を含む指示が送られてきます。

• データ統合コード生成 — Amazon Q データ統合では、 AWS Glue ETL AWS Glue スクリプトに関する質問に回答したり、英語で自然言語で質問された場合に新しいコードを生成したりできます。

• トラブルシューティング — Amazon Q AWS Glue のデータ統合は、 AWS Glue ジョブのエラーを理解するのに役立つように設計されており、 step-by-step 問題の根本原因と解決のための指示を提供します。

注記

の Amazon Q データ統合では、会話中の会話のコンテキストを使用してfuture AWS Glue 応答を通知することはありません。での Amazon Q AWS Glue データ統合に関する各会話は、以前またはfuture 会話とは無関係です。

AWS Glueの Amazon Q データ統合の操作について

Amazon Q パネルでは、Amazon Q に AWS Glue ETL スクリプト用のコード生成をリクエストしたり、 AWS Glue 機能に関する質問に答えたり、エラーのトラブルシューティングを行うことができます。レスポンスは ETL スクリプトで、スクリプトのカスタマイズ、確認、 PySpark step-by-step 実行の手順が記載されています。質問に対して、データ統合ナレッジベースに基づいて、概要と参照用のソース URL を含む回答が生成されます。

たとえば、Amazon Q に「Snowflakeから読み取り、フィールドの名前を変更し、Redshift に書き込むGlue eスクリプトを提供してください」とリクエストすると、それに応じて、Amazon Qのデータ統合により、 AWS Glue AWS Glue 要求されたアクションを実行できるジョブスクリプトが返されます。生成されたコードをレビューして、要求した意図を満たしていることを確認できます。問題がなければ、 AWS Glue それをジョブとして本番環境にデプロイできます。統合に、エラーや障害の説明や解決策の提案を依頼し、解決策を提案することで、ジョブのトラブルシューティングを行うことができます。Amazon Q は、 AWS Glue データ統合のベストプラクティスに関する質問にお答えします。

以下は、Amazon Q AWS Glue でのデータ統合がどのように構築に役立つかを示す質問例です AWS Glue。

AWS Glue ETL コード生成:

• S3 から JSON を読み取り、適用マッピングを使用してフィールドを変換し、Amazon Redshift AWS Glue に書き込むスクリプトを記述します。

• DynamoDBから読み込み、 DropNullFields 変換を適用し、 AWS Glue ParquetとしてS3に書き込むためのスクリプトを作成する方法を教えてください。

• MySQLから読み取り、ビジネスロジックに基づいていくつかのフィールドを削除し、 AWS Glue Snowflakeに書き込むスクリプトを教えてください

• DynamoDB から読み取り、S3 に JSON AWS Glue として書き込むジョブを記述する

• S3 AWS Glue AWS Glue へのデータカタログのスクリプトの開発を手伝ってください

• S3 から JSON を読み取り、ヌルをドロップして Redshift AWS Glue に書き込むジョブを作成する

AWS Glue 機能の説明:

• AWS Glue データクオリティを使用するにはどうすればいいですか?

• AWS Glue ジョブブックマークの使い方は？

• AWS Glue オートスケーリングを有効にするにはどうすればいいですか?

• AWS Glue ダイナミックフレームと Spark データフレームの違いは？

• AWS Glueではどのような種類の接続がサポートされていますか?

AWS Glue トラブルシューティング:

• AWS Glue ジョブのメモリ不足 (OOM) エラーのトラブルシューティング方法は?

• AWS Glue Data Quality の設定時に表示されるエラーメッセージにはどのようなものがありますか。また、その修正方法を教えてください。

• Amazon S3 AWS Glue アクセスが拒否されたというエラーが発生したジョブを修正する方法を教えてください。

• AWS Glue ジョブのデータシャッフルに関する問題を解決する方法を教えてください。

Amazon Q データ統合とのやりとりのベストプラクティス

Amazon Q データ統合を操作するためのベストプラクティスを次に示します。

• Amazon Q データインテグレーションを利用するときは、具体的な質問をし、複雑なリクエストがある場合は繰り返し、回答が正確かどうかを検証します。

• データ統合のプロンプトを自然言語で提供する場合は、必要なものをアシスタントが正確に理解できるように、できるだけ具体的にしてください。「S3 からデータを抽出」と尋ねる代わりに、「S3 から JSON AWS Glue ファイルを抽出するスクリプトを書く」などの詳細な情報を提供してください。

• 生成されたスクリプトを実行する前に確認して、正確であることを確認してください。生成されたスクリプトにエラーがあったり、意図したものと一致しない場合は、アシスタントに修正方法を伝えてください。

• 生成 AI は新しいテクノロジーであり、応答にはハルシネーションと呼ばれる誤りがある場合があります。現在の環境やワークロードで使用する前に、すべてのコードをテストしてエラーや脆弱性がないかを確認する必要があります。

AWS Glue サービス改善における Amazon Q データ統合

Amazon Q Data Integration in AWS Glue AWS がサービスに関する最も関連性の高い情報を提供できるように、Amazon Q からの特定のコンテンツ (Amazon Q に寄せられる質問やその回答など) をサービスの改善に使用する場合があります。

当社が使用するコンテンツとオプトアウト方法については、Amazon Q 開発者ユーザーガイドの「Amazon Q 開発者サービスの向上」を参照してください。

考慮事項

AWS Glueの Amazon Q データ統合を使用する前に、以下の項目について検討してください。

• 現在、 PySpark コード生成はカーネルでのみ機能します。生成されたコードは Python Spark AWS Glue に基づくジョブ用です。

• の Amazon Q データ統合でサポートされるコード生成機能の組み合わせについては AWS Glue、を参照してくださいサポートされているコード生成機能。