CloudWatch Logs データの Amazon OpenSearch Service へのストリーミング - Amazon CloudWatch Logs

CloudWatch Logs データの Amazon OpenSearch Service へのストリーミング

CloudWatch Logs のサブスクリプションを介して、CloudWatch Logs のロググループが Amazon OpenSearch Service クラスターにほぼリアルタイムで受信したデータをストリーミングするように設定できます。詳細については、「サブスクリプションを使用したログデータのリアルタイム処理」を参照してください。

ストリーミングされるログデータの量によっては、関数に対して関数レベルの同時実行数の制限を設定することもできます。詳細については、「Lambda 関数のスケーリング」を参照してください。

注記

大量の CloudWatch Logs データを OpenSearch Service にストリーミングすると、使用料が高くなる可能性があります。AWS Billing and Cost Management コンソールを使用して、予算を作成することをお勧めします。詳細については、「AWS Budgets によるコスト管理」を参照してください。

前提条件

開始する前に、OpenSearch Service ドメインを作成します。ドメインにはパブリックアクセスまたは VPC アクセスのいずれかを設定できますが、その場合、ドメインの作成後にアクセスのタイプを変更することはできません。後で OpenSearch Service ドメイン設定を確認し、クラスターで処理されるデータの量に基づいてクラスター設定を変更することができます。ドメインの作成手順については、「OpenSearch Service のドメインの作成」を参照してください。

OpenSearch Service の詳細については、「Amazon OpenSearch Service デベロッパーガイド」を参照してください。

ロググループを OpenSearch Service にサブスクライブする

CloudWatch コンソールを使用して、ロググループを OpenSearch Service にサブスクライブできます。

ロググループを OpenSearch Service にサブスクライブするには
  1. CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/) を開きます。

  2. ナビゲーションペインで、[Log groups] (ロググループ) を選択します。

  3. ロググループの名前を選択します。

  4. [Actions] (アクション)、[Subscription filters] (サブスクリプションフィルター)、[Create Amazon OpenSearch Service subscription filter] (Amazon OpenSearch Service サブスクリプションフィルターを作成) の順に選択します。

  5. このアカウントのクラスターにストリーミングするか、別のアカウントにストリーミングするかを選択します。

    • このアカウントを選択した場合は、前のステップで作成したドメインを選択します。

    • 別のアカウントを選択した場合は、ドメイン ARN とエンドポイントを指定します。

  6. [Lambda IAM Execution Role] (Lambda IAM 実行ロール) では、OpenSearch への呼び出しを実行するときに Lambda が使用する IAM ロールを選択します。

    選択した IAM ロールは、これらの要件を満たす必要があります。

    • 信頼関係に lambda.amazonaws.com が含まれている必要があります。

    • 以下のポリシーが含まれている必要があります。

      { "Version": "2012-10-17", "Statement": [ { "Action": [ "es:*" ], "Effect": "Allow", "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*" } ] }
    • ターゲットの OpenSearch Service ドメインで VPC アクセスを使用する場合、ロールには AWSLambdaVPCAccessExecutionRole ポリシーがアタッチされている必要があります。Amazon が管理するこのポリシーにより、お客様の VPC へのアクセスが Lambda に許可され、Lambda は VPC の OpenSearch エンドポイントに書き込むことができます。

  7. [Log format] (ログの形式) で、ログの形式を選択します。

  8. [Subscription filter pattern] (サブスクリプションフィルターのパターン) に、ログイベントで検索する用語やパターンを入力します。これにより、関心のあるデータだけが OpenSearch クラスターに送信されるようになります。詳細については、「フィルターを使用したログイベントからのメトリクスの作成」を参照してください。

  9. (オプション) [Select log data to test] (テストするログデータの選択) を開き、ログストリームを選択してから、[Test pattern] (パターンをテスト) を選択して、期待通りの結果が出ることを確認します。

  10. [Start streaming] (ストリーミングの開始) を選択します。