必要なアクセス許可ステップ 1: パイプラインロールを作成するステップ 2: ドメインを作成するステップ 3: パイプラインを作成するステップ 4: サンプルデータを取り込むアクセス許可に関する問題に対応する関連リソース

チュートリアル: Amazon OpenSearch Ingestion を使用してドメインにデータを取り込む

このチュートリアルでは、Amazon Ingestion OpenSearch を使用してシンプルなパイプラインを設定し、Amazon OpenSearch Service ドメインにデータを取り込む方法を示します。パイプラインは、Ingestion OpenSearch がプロビジョニングして管理するリソースです。パイプラインを使用して、 OpenSearch Service でダウンストリームの分析と視覚化のためにデータをフィルタリング、強化、変換、正規化、集計できます。

このチュートリアルでは、パイプラインをすばやく起動するための基本的な手順を説明します。詳細については、「パイプラインの作成」を参照してください。

このチュートリアルでは、次の手順を実行します。

パイプラインロールを作成する
ドメインを作成する
パイプラインを作成する
サンプルデータを取り込む

このチュートリアルでは、次のリソースを作成します。

ingestion-pipeline という名前のパイプライン
パイプラインの書き込み先となる、ingestion-domain という名前のドメイン
パイプラインがドメインに書き込むときにこのロールを引き受ける、PipelineRole という名前の IAM ロール

必要なアクセス許可

このチュートリアルを完了するには、適切な IAM のアクセス許可を持っている必要があります。ユーザーまたはロールには、次の最低限の許可を含む ID ベースのポリシーが、アタッチされている必要があります。これらの許可により、パイプラインロールの作成 (iam:Create)、ドメインの作成または変更 (es:*)、パイプラインの使用 (osis:*) が可能になります。

さらに、パイプラインロールリソースには iam:PassRole 許可が必要です。このアクセス許可により、パイプラインロールを Ingestion OpenSearch に渡して、ドメインにデータを書き込むことができます。


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::{your-account-id}:role/PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:PassRole"
         ]
      }
   ]
}

ステップ 1: パイプラインロールを作成する

まず、 OpenSearch サービスドメインシンクにアクセスするためにパイプラインが引き受けるロールを作成します。これは、このチュートリアルの後半でパイプライン設定に含めます。

パイプラインロールを作成するには

https://console.aws.amazon.com/iamv2/ で AWS Identity and Access Management コンソールを開きます。
[ポリシー] を選択してから、[ポリシーを作成] を選択します。
このチュートリアルでは、次のステップで作成する ingestion-domain というドメインにデータを取り込みます。[JSON] を選択し、次のポリシーをエディタに貼り付けます。{your-account-id} を自分のアカウント ID に置き換え、必要に応じてリージョンを変更します。
```
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "es:DescribeDomain",
            "Resource": "arn:aws:es:us-east-1:{your-account-id}:domain/ingestion-domain"
        },
        {
            "Effect": "Allow",
            "Action": "es:ESHttp*",
            "Resource": "arn:aws:es:us-east-1:{your-account-id}:domain/ingestion-domain/*"
        }
    ]
}
```
既存のドメインにデータを書き込む場合は、ingestion-domain を自分のドメイン名に置き換えます。

注記
このチュートリアルでは、わかりやすいようにかなり広範なアクセスポリシーを使用します。しかし、本番稼働用環境では、パイプラインロールに制限の厳しいアクセスポリシーを適用することをお勧めします。必要最低限のアクセス許可を付与するポリシーの例については、「Amazon Ingestion OpenSearch パイプラインにドメインへのアクセスを許可する」を参照してください。
[次へ]、[次へ] の順にクリックし、ポリシーに pipeline-policy という名前を付けます。
[ポリシーの作成] を選択します。
次に、ポリシーを作成してロールにアタッチします。[ロール]、[ロールの作成] の順に選択します。

[カスタム信頼ポリシー] をクリックし、次のポリシーをエディタに貼り付けます。


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "Service":"osis-pipelines.amazonaws.com"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

[次へ] をクリックします。その後、pipeline-policy (先ほど作成したもの) を検索して選択します。
Next を選択し、ロールにという名前を付けますPipelineRole。
[ロールの作成] を選択します。

ロールの Amazon リソースネーム (ARN) (例: arn:aws:iam::{your-account-id}:role/PipelineRole) を覚えておいてください。これは、パイプラインを作成するときに必要です。

ステップ 2: ドメインを作成する

次に、データを取り込む、ingestion-domain という名前のドメインを作成します。

https://console.aws.amazon.com/aos/home で Amazon OpenSearch Service コンソールに移動し、次の要件を満たすドメインを作成します。

OpenSearch 1.0 以降、または Elasticsearch 7.4 以降を実行している
パブリックアクセスを使用する
きめ細かいアクセスコントロールを使用しない

注記

これらの要件は、このチュートリアルをわかりやすくするためのものです。本番環境では、VPC アクセスを使用してドメインを設定できるほか、きめ細かなアクセスコントロールを使用することも可能です。きめ細かなアクセスコントロールを使用するには、「パイプラインロールのマッピング」を参照してください。

ドメインには、前のステップで作成した PipelineRole にアクセス許可を付与するアクセスポリシーが必要です。パイプラインは、 OpenSearch サービスドメインシンクにデータを送信するために、このロール (パイプライン設定では sts_role_arn という名前) を引き受けます。

ドメインが次のドメインレベルのアクセスポリシーを持っていることを確認します。このポリシーは、ドメインに PipelineRole アクセスを付与します。リージョンとアカウント ID を自分のものに置き換えます。


{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{your-account-id}:role/PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:{your-account-id}:domain/ingestion-domain/*"
    }
  ]
}

ドメインレベルのアクセスポリシーの作成について、詳しくは「リソースベースのアクセスポリシー」を参照してください。

ドメインを既に作成済みの場合、その既存のアクセスポリシーを変更し、PipelineRole に上記のアクセス許可を付与します。

注記

ドメインエンドポイント (例:https://search-ingestion-domain.us-east-1.es.amazonaws.com) を覚えておいてください。次のステップでは、これを使用してパイプラインを設定します。

ステップ 3: パイプラインを作成する

適切なアクセス許可を持つドメインとロールが用意できたので、パイプラインを作成できます。

パイプラインを作成するには

Amazon OpenSearch Service コンソールで、左側のナビゲーションペインからパイプラインを選択します。
パイプラインの作成 を選択します。
パイプラインに ingestion-pipeline という名前を付け、キャパシティ設定はデフォルトのままにします。
このチュートリアルでは、log-pipeline というシンプルなサブパイプラインを作成し、Http ソースプラグインを使用します。このプラグインは、JSON 配列形式のログデータを受け入れます。シンクとして単一の OpenSearch サービスドメインを指定し、すべてのデータをapplication_logsインデックスに取り込みます。

[パイプライン設定] で、次の YAML 設定をエディタに貼り付けます。
```
version: "2"
log-pipeline:
  source:
    http:
      path: "/${pipelineName}/test_ingestion_path"
  processor:
    - date:
        from_time_received: true
        destination: "@timestamp"
  sink:
    - opensearch:
        hosts: [ "https://search-ingestion-domain.us-east-1.es.amazonaws.com" ]
        index: "application_logs"
        aws:
          sts_role_arn: "arn:aws:iam::{your-account-id}:role/PipelineRole"
          region: "us-east-1"
```
注記
path オプションは取り込み用の URI パスを指定します。このオプションは、プル型のソースの場合に必要です。詳細については、「取り込みパスの指定」を参照してください。
hosts URL を、前のセクションで作成 (または変更) したドメインのエンドポイントに置き換えます。sts_role_arn パラメータを PipelineRole の ARN に置き換えます。
[パイプラインを検証] をクリックし、検証が成功したことを確認します。
このチュートリアルでは、わかりやすいようにパイプラインにパブリックアクセスを設定します。[ネットワーク] で [パブリックアクセス] を選択します。

VPC アクセスの設定の詳細については、「Amazon Ingestion OpenSearch パイプラインの VPC アクセスの設定」を参照してください。
このチュートリアルを完了する間に問題が発生した場合に備えて、ログ発行を有効にしておきます。詳細については、「パイプラインのログのモニタリング」を参照してください。

ロググループ名を次のように指定します: /aws/vendedlogs/OpenSearchIngestion/ingestion-pipeline/audit-logs
[次へ] をクリックします。パイプライン設定を確認し、[パイプラインの作成] をクリックします。パイプラインがアクティブになるまでに 5～10 分かかります。

ステップ 4: サンプルデータを取り込む

パイプラインのステータスが Active になると、パイプラインへのデータの取り込みを開始できます。Signature Version 4 を使用して、パイプラインへのすべての HTTP リクエストに署名する必要があります。Postman や awscurl などの HTTP ツールを使用して、パイプラインにデータを送信します。データのインデックス作成をドメインに直接行う場合と同様に、パイプラインにデータを取り込むには、常に IAM ロールまたは IAM アクセスキーとシークレットキーのいずれかが必要です。

注記

リクエストに署名するプリンシパルは、osis:Ingest という IAM アクセス許可を持っている必要があります。

まず、[パイプライン設定] ページから取り込み URL を取得します。

次に、いくつかのサンプルデータを取り込みます。次のリクエストでは、awscurl を使用して 1 つのログファイルを application_logs インデックスに送信します。


awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://{pipeline-endpoint}.us-east-1.osis.amazonaws.com/log-pipeline/test_ingestion_path

200 OK というレスポンスが確認できるはずです。認証エラーが発生した場合は、パイプラインとは別のアカウントからデータを取り込んでいることが原因かもしれません。アクセス許可に関する問題に対応するを参照してください。

次に、application_logs インデックスにクエリを実行して、ログエントリが正常に取り込まれたことを確認します。


awscurl --service es --region us-east-1 \
     -X GET \
     https://search-{ingestion-domain}.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

レスポンス例:


{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

アクセス許可に関する問題に対応する

チュートリアルのステップに従っても、データの取り込みを試みても認証エラーが表示される場合は、パイプラインに書き込むロールがパイプライン自体 AWS アカウントとは異なるにある可能性があります。この場合は、明確にデータの取り込みを可能にするロールを作成して引き受ける必要があります。手順については、「クロスアカウント取り込みアクセスの提供」を参照してください。