翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
チュートリアル: Amazon OpenSearch Ingestion を使用してドメインにデータを取り込む
このチュートリアルでは、Amazon Ingestion OpenSearch を使用してシンプルなパイプラインを設定し、Amazon OpenSearch Service ドメインにデータを取り込む方法を示します。パイプラインは、Ingestion OpenSearch がプロビジョニングして管理するリソースです。パイプラインを使用して、 OpenSearch Service でダウンストリームの分析と視覚化のためにデータをフィルタリング、強化、変換、正規化、集計できます。
このチュートリアルでは、パイプラインをすばやく起動するための基本的な手順を説明します。詳細については、「パイプラインの作成」を参照してください。
このチュートリアルでは、次の手順を実行します。
このチュートリアルでは、次のリソースを作成します。
-
ingestion-pipeline
という名前のパイプライン -
パイプラインの書き込み先となる、
ingestion-domain
という名前のドメイン -
パイプラインがドメインに書き込むときにこのロールを引き受ける、
PipelineRole
という名前の IAM ロール
必要なアクセス許可
このチュートリアルを完了するには、適切な IAM のアクセス許可を持っている必要があります。ユーザーまたはロールには、次の最低限の許可を含む ID ベースのポリシーが、アタッチされている必要があります。これらの許可により、パイプラインロールの作成 (iam:Create
)、ドメインの作成または変更 (es:*
)、パイプラインの使用 (osis:*
) が可能になります。
さらに、パイプラインロールリソースには iam:PassRole
許可が必要です。このアクセス許可により、パイプラインロールを Ingestion OpenSearch に渡して、ドメインにデータを書き込むことができます。
{ "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Resource":"*", "Action":[ "osis:*", "iam:Create*", "es:*" ] }, { "Resource":[ "arn:aws:iam::
{your-account-id}
:role/PipelineRole" ], "Effect":"Allow", "Action":[ "iam:PassRole" ] } ] }
ステップ 1: パイプラインロールを作成する
まず、 OpenSearch サービスドメインシンクにアクセスするためにパイプラインが引き受けるロールを作成します。これは、このチュートリアルの後半でパイプライン設定に含めます。
パイプラインロールを作成するには
-
https://console.aws.amazon.com/iamv2/
で AWS Identity and Access Management コンソールを開きます。 -
[ポリシー] を選択してから、[ポリシーを作成] を選択します。
-
このチュートリアルでは、次のステップで作成する
ingestion-domain
というドメインにデータを取り込みます。[JSON] を選択し、次のポリシーをエディタに貼り付けます。{your-account-id}
を自分のアカウント ID に置き換え、必要に応じてリージョンを変更します。{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "es:DescribeDomain", "Resource": "arn:aws:es:
us-east-1
:{your-account-id}
:domain/ingestion-domain" }, { "Effect": "Allow", "Action": "es:ESHttp*", "Resource": "arn:aws:es:us-east-1
:{your-account-id}
:domain/ingestion-domain/*" } ] }既存のドメインにデータを書き込む場合は、
ingestion-domain
を自分のドメイン名に置き換えます。注記
このチュートリアルでは、わかりやすいようにかなり広範なアクセスポリシーを使用します。しかし、本番稼働用環境では、パイプラインロールに制限の厳しいアクセスポリシーを適用することをお勧めします。必要最低限のアクセス許可を付与するポリシーの例については、「Amazon Ingestion OpenSearch パイプラインにドメインへのアクセスを許可する」を参照してください。
-
[次へ]、[次へ] の順にクリックし、ポリシーに pipeline-policy という名前を付けます。
-
[ポリシーの作成] を選択します。
-
次に、ポリシーを作成してロールにアタッチします。[ロール]、[ロールの作成] の順に選択します。
-
[カスタム信頼ポリシー] をクリックし、次のポリシーをエディタに貼り付けます。
{ "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Principal":{ "Service":"osis-pipelines.amazonaws.com" }, "Action":"sts:AssumeRole" } ] }
-
[次へ] をクリックします。その後、pipeline-policy (先ほど作成したもの) を検索して選択します。
-
Next を選択し、ロールに という名前を付けますPipelineRole。
-
[ロールの作成] を選択します。
ロールの Amazon リソースネーム (ARN) (例: arn:aws:iam::
) を覚えておいてください。これは、パイプラインを作成するときに必要です。{your-account-id}
:role/PipelineRole
ステップ 2: ドメインを作成する
次に、データを取り込む、ingestion-domain
という名前のドメインを作成します。
https://console.aws.amazon.com/aos/home
-
OpenSearch 1.0 以降、または Elasticsearch 7.4 以降を実行している
-
パブリックアクセスを使用する
-
きめ細かいアクセスコントロールを使用しない
注記
これらの要件は、このチュートリアルをわかりやすくするためのものです。本番環境では、VPC アクセスを使用してドメインを設定できるほか、きめ細かなアクセスコントロールを使用することも可能です。きめ細かなアクセスコントロールを使用するには、「パイプラインロールのマッピング」を参照してください。
ドメインには、前のステップで作成した PipelineRole
にアクセス許可を付与するアクセスポリシーが必要です。パイプラインは、 OpenSearch サービスドメインシンクにデータを送信するために、このロール (パイプライン設定では sts_role_arn という名前) を引き受けます。
ドメインが次のドメインレベルのアクセスポリシーを持っていることを確認します。このポリシーは、ドメインに PipelineRole
アクセスを付与します。リージョンとアカウント ID を自分のものに置き換えます。
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::
{your-account-id}
:role/PipelineRole" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1
:{your-account-id}
:domain/ingestion-domain/*" } ] }
ドメインレベルのアクセスポリシーの作成について、詳しくは「リソースベースのアクセスポリシー」を参照してください。
ドメインを既に作成済みの場合、その既存のアクセスポリシーを変更し、PipelineRole
に上記のアクセス許可を付与します。
注記
ドメインエンドポイント (例:https://search-
) を覚えておいてください。次のステップでは、これを使用してパイプラインを設定します。ingestion-domain
.us-east-1.es.amazonaws.com
ステップ 3: パイプラインを作成する
適切なアクセス許可を持つドメインとロールが用意できたので、パイプラインを作成できます。
パイプラインを作成するには
-
Amazon OpenSearch Service コンソールで、左側のナビゲーションペインからパイプラインを選択します。
-
パイプラインの作成 を選択します。
-
パイプラインに ingestion-pipeline という名前を付け、キャパシティ設定はデフォルトのままにします。
-
このチュートリアルでは、
log-pipeline
というシンプルなサブパイプラインを作成し、Http ソースプラグインを使用します。このプラグインは、JSON 配列形式のログデータを受け入れます。シンクとして単一の OpenSearch サービスドメインを指定し、すべてのデータを application_logs
インデックスに取り込みます。[パイプライン設定] で、次の YAML 設定をエディタに貼り付けます。
version: "2" log-pipeline: source: http: path: "/${pipelineName}/test_ingestion_path" processor: - date: from_time_received: true destination: "@timestamp" sink: - opensearch: hosts: [ "https://search-
ingestion-domain
.us-east-1
.es.amazonaws.com" ] index: "application_logs" aws: sts_role_arn: "arn:aws:iam::{your-account-id}
:role/PipelineRole" region: "us-east-1
"注記
path
オプションは取り込み用の URI パスを指定します。このオプションは、プル型のソースの場合に必要です。詳細については、「取り込みパスの指定」を参照してください。 -
hosts
URL を、前のセクションで作成 (または変更) したドメインのエンドポイントに置き換えます。sts_role_arn
パラメータをPipelineRole
の ARN に置き換えます。 -
[パイプラインを検証] をクリックし、検証が成功したことを確認します。
-
このチュートリアルでは、わかりやすいようにパイプラインにパブリックアクセスを設定します。[ネットワーク] で [パブリックアクセス] を選択します。
VPC アクセスの設定の詳細については、「Amazon Ingestion OpenSearch パイプラインの VPC アクセスの設定」を参照してください。
-
このチュートリアルを完了する間に問題が発生した場合に備えて、ログ発行を有効にしておきます。詳細については、「パイプラインのログのモニタリング」を参照してください。
ロググループ名を次のように指定します:
/aws/vendedlogs/OpenSearchIngestion/ingestion-pipeline/audit-logs
-
[次へ] をクリックします。パイプライン設定を確認し、[パイプラインの作成] をクリックします。パイプラインがアクティブになるまでに 5~10 分かかります。
ステップ 4: サンプルデータを取り込む
パイプラインのステータスが Active
になると、パイプラインへのデータの取り込みを開始できます。Signature Version 4 を使用して、パイプラインへのすべての HTTP リクエストに署名する必要があります。Postman
注記
リクエストに署名するプリンシパルは、osis:Ingest
という IAM アクセス許可を持っている必要があります。
まず、[パイプライン設定] ページから取り込み URL を取得します。
![](images/pipeline-endpoint.png)
次に、いくつかのサンプルデータを取り込みます。次のリクエストでは、awscurlapplication_logs
インデックスに送信します。
awscurl --service osis --region
us-east-1
\ -X POST \ -H "Content-Type: application/json" \ -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \ https://{pipeline-endpoint}
.us-east-1
.osis.amazonaws.com/log-pipeline/test_ingestion_path
200 OK
というレスポンスが確認できるはずです。認証エラーが発生した場合は、パイプラインとは別のアカウントからデータを取り込んでいることが原因かもしれません。アクセス許可に関する問題に対応する を参照してください。
次に、application_logs
インデックスにクエリを実行して、ログエントリが正常に取り込まれたことを確認します。
awscurl --service es --region
us-east-1
\ -X GET \ https://search-{ingestion-domain}
.us-east-1
.es.amazonaws.com/application_logs/_search | json_pp
レスポンス例:
{ "took":984, "timed_out":false, "_shards":{ "total":1, "successful":5, "skipped":0, "failed":0 }, "hits":{ "total":{ "value":1, "relation":"eq" }, "max_score":1.0, "hits":[ { "_index":"application_logs", "_type":"_doc", "_id":"z6VY_IMBRpceX-DU6V4O", "_score":1.0, "_source":{ "time":"2014-08-11T11:40:13+00:00", "remote_addr":"122.226.223.69", "status":"404", "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1", "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)", "@timestamp":"2022-10-21T21:00:25.502Z" } } ] } }
アクセス許可に関する問題に対応する
チュートリアルのステップに従っても、データの取り込みを試みても認証エラーが表示される場合は、パイプラインに書き込むロールがパイプライン自体 AWS アカウント とは異なる にある可能性があります。この場合は、明確にデータの取り込みを可能にするロールを作成して引き受ける必要があります。手順については、「クロスアカウント取り込みアクセスの提供」を参照してください。
関連リソース
このチュートリアルでは、HTTP 経由で 1 つのドキュメントを取り込むというシンプルなユースケースを紹介しました。本番シナリオでは、クライアントアプリケーション (Fluent Bit、Kubernetes、 OpenTelemetry コレクターなど) を設定して、1 つ以上のパイプラインにデータを送信します。パイプラインは、このチュートリアルのシンプルな例よりも複雑になる可能性があります。
クライアントの設定とデータの取り込みを開始するには、次のリソースを参照してください。