Amazon S3 での Amazon OpenSearch Service ダイレクトクエリの使用 Amazon S3

Amazon OpenSearch Service の直接クエリを使用して、Amazon S3 内のデータをクエリできます。Amazon OpenSearch Service は、サービスを切り替えることなく、Amazon S3 の運用ログと Amazon S3 に基づくデータレイクを分析する方法としてAmazon S3 との直接クエリ統合を提供します。クラウドオブジェクトストア内のデータを分析できるようになりました。同時に、 OpenSearch サービスの運用分析と視覚化を使用できるようになりました。

Amazon S3 を使用した直接クエリを使用すると、複雑な ETL パイプラインを構築したり、 OpenSearch サービスと Amazon S3 ストレージの両方でデータを複製したりするコストが発生する必要がなくなります。また、事前定義済みのダッシュボードを含む一般的なログタイプテンプレートの統合をインストールし、そのログタイプに合わせてデータアクセラレーションを設定することもできます。テンプレートには、VPC フローログ、AWS CloudTrail ログ、Amazon S3 ログが含まれます。アクセラレーションには、インデックスのスキップ、マテリアライズドビュー、およびカバーされたインデックスが含まれます。

トピック

• 料金
• 制限事項
• レコメンデーション
• クォータ
• サポートされるリージョン
• Amazon S3 との Amazon OpenSearch Service データソース統合の作成 Amazon S3
• OpenSearch Dashboards でのデータソースの設定
• 高速クエリ
• OpenSearch Dashboards でのデータのクエリ
• データソースの管理

料金

直接クエリの作成と処理に使用される既存の OpenSearch サービスと Amazon S3 リソースに対して料金が発生します。Amazon S3 に送信されるクエリは、請求可能なコンピューティングを使用し、 OpenSearch 1 時間あたりのコンピューティングユニット (OCUsとして表示されます。

Amazon S3 を使用した直接クエリには、インタラクティブクエリとアクセラレーションの 2 つのタイプがあります。インタラクティブクエリは、Amazon S3 内のデータの分析を実行します。新しいクエリを実行すると、 OpenSearch サービスは少なくとも 3 分間続く新しいセッションを開始します。 OpenSearch サービスはセッションをアクティブに保ち、後続のクエリが迅速に実行されるようにします。アクセラレーションクエリは、コンピューティングを使用して OpenSearch Service のインデックスを維持します。これらのクエリは通常、インタラクティブクエリの実行を高速化するために、さまざまな量のデータを OpenSearch サービスに取り込むため、時間がかかります。

詳細については、「Amazon OpenSearch Service の料金」を参照してください。

制限事項

Amazon S3 を使用した OpenSearch サービスダイレクトクエリには、次の制限が適用されます。

• OpenSearch サービスダイレクトクエリをサポートするには、 OpenSearch ドメインがバージョン 2.13 以降である必要があります。

• OpenSearch Serverless では使用できません。

• OpenSearch ドメイン と は同じ にある AWS Glue Data Catalog 必要があります AWS アカウント。Amazon S3 バケットは別の アカウント (IAM ポリシーに条件を追加する必要があります) にあることができますが、ドメイン AWS リージョン と同じ にある必要があります。

• 一部のデータ型はサポートされていません。サポートされるデータ型は、Parquet、CSV、および JSON に限定されます。

• OpenSearch Amazon S3 を使用したサービスダイレクトクエリは、Query Workbench から生成された Spark テーブルのみをサポートします。 AWS Glue Data Catalog または Athena 内で生成されたテーブルは、アクセラレーションを維持し、インデックスを最新の状態に保つために必要な Spark ストリーミングではサポートされていません。

• クエリの前にデータをフラット化するか、SQL in OpenSearch Service を使用してネストされた列を専用列に変更する必要があります。

• 列が欠落している場合は、COALESCE SQL 関数を使用して結果を返す必要がある場合があります。

• データ構造が変更された場合は、テーブルの更新と既存のアクセラレーションが必要です AWS Glue 。

• OpenSearch インスタンスタイプには、インスタンスタイプ (10 v. 100) に応じてネットワークペイロードの制限があります。

• AWS CloudFormation テンプレートはまだサポートされていません。

レコメンデーション

ダイレクトクエリを使用する場合は、次の操作を行うことをお勧めします。

• 年、月、日、時間のパーティション形式を使用してデータを Amazon S3 に取り込み、クエリを高速化します。

• クエリの制限を使用して、データが過度にプルバックされないようにします。

• Index State Management (該当する場合) を使用して、マテリアライズドビューとカバーインデックスのストレージを維持します。

• 不要になったアクセラレーションジョブとインデックスを削除します。

• スキップインデックスを構築するときは、ブルームフィルターを使用して高基数を実現し、範囲が大きい場合は最小/最大を使用します。高基数フィールドで設定された値を使用することをお勧めします。

• リファレンスガイドを使用して Amazon S3 にデータをエクスポートします。、CloudFront、CloudTrailおよび Elastic Load Balancing などの AWS ログを使用できます。

クォータ

アカウントには、Amazon S3 での OpenSearch Service direct query に関連する以下のクォータがあります。 Amazon S3 クエリを開始するたびに、 OpenSearch サービスはセッションを開き、少なくとも 10 分間存続します。これにより、後続のクエリにおけるセッション開始時間がなくなり、クエリのレイテンシーが低減されます。

説明	最大	オーバーライド可能
ドメインあたりの接続数	10	[Yes (はい)]
ドメインあたりのデータソース	20	あり
ドメインあたりのインデックス	5	あり
データソースあたりの同時実行セッション	10	[Yes (はい)]
クエリあたりの最大 OCU	60	あり
最大クエリ実行時間 (分）	30	あり
アクセラレーションあたりの最大 OCUs	20	あり
最大エフェメラルストレージ	20	あり

サポートされるリージョン

Amazon S3 で OpenSearch サービスダイレクトクエリが利用できるリージョンは、アジアパシフィック (香港）、アジアパシフィック (ムンバイ）、アジアパシフィック (ソウル）、アジアパシフィック (シンガポール）、アジアパシフィック (シドニー）、アジアパシフィック (東京）、カナダ (中部）、欧州 (フランクフルト）、欧州 (アイルランド）、欧州 (ストックホルム）、米国東部 (バージニア北部）、米国東部 (オハイオ）、米国西部 (オレゴン) です。