翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
OpenSearch Ingestion パイプラインを使用して、Confluent Cloud Kafka クラスターから Amazon OpenSearch Service ドメインと OpenSearch Serverless コレクションにデータをストリーミングできます。OpenSearch Ingestion は、Confluent Cloud Kafka クラスターから OpenSearch Service または OpenSearch Serverless によって管理されるドメインまたはコレクションにデータをストリーミングするためのパブリックネットワーク設定とプライベートネットワーク設定の両方をサポートしています。
Confluent Cloud パブリック Kafka クラスターへの接続
OpenSearch Ingestion パイプラインを使用して、パブリック設定の Confluent Cloud Kafka クラスターからデータを移行できます。つまり、ドメイン DNS 名をパブリックに解決できます。これを行うには、ソースとして Confluent Cloud パブリック Kafka クラスター、宛先として OpenSearch Service または OpenSearch Serverless を使用して OpenSearch Ingestion パイプラインを設定します。これにより、セルフマネージド型ソースクラスターから AWS マネージド型ターゲットドメインまたはコレクションへのストリーミングデータが処理されます。
前提条件
OpenSearch Ingestion パイプラインを作成する前に、次の手順を実行します。
-
ソースとして機能する Confluent Cloud Kafka クラスターを作成します。クラスターには、OpenSearch Service に取り込むデータが含まれている必要があります。
-
データの移行先となる OpenSearch Service ドメインまたは OpenSearch Serverless コレクションを作成します。詳細については、「Creating OpenSearch Service domains」および「Creating collections」を参照してください。
-
AWS Secrets Manager を使用して Confluent Cloud Kafka クラスターで認証を設定します。AWS Secrets Manager シークレットのローテーションの手順に従って、シークレットのローテーションを有効にします。
-
リソースベースのポリシーをドメインにアタッチするか、データアクセスポリシーをコレクションにアタッチします。これらのアクセスポリシーにより、OpenSearch Ingestion は自己管理型クラスターからドメインまたはコレクションにデータを書き込むことができます。
次のドメインアクセスポリシーの例では、次の手順で作成するパイプラインロールに、ドメインへのデータの書き込みが許可されています。必ず独自の ARN で
resourceを更新してください。{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role" }, "Action": [ "es:DescribeDomain", "es:ESHttp*" ], "Resource": [ "arn:aws:es:{region}:{account-id}:domain/domain-name" ] } ] }コレクションまたはドメインへの書き込みデータにアクセスするための正しいアクセス許可を持つ IAM ロールを作成するには、「Required permissions for domains」と「Required permissions for collections」を参照してください。
ステップ 1: パイプラインロールを設定する
Confluent Cloud Kafka クラスターパイプラインの前提条件を設定したら、パイプライン設定で使用するパイプラインロールを設定し、OpenSearch Service ドメインまたは OpenSearch Serverless コレクションに書き込むアクセス許可と、Secrets Manager からシークレットを読み取るアクセス許可を追加します。
ネットワークインターフェイスを管理するには、次のアクセス許可が必要です。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"ec2:AttachNetworkInterface",
"ec2:CreateNetworkInterface",
"ec2:CreateNetworkInterfacePermission",
"ec2:DeleteNetworkInterface",
"ec2:DeleteNetworkInterfacePermission",
"ec2:DetachNetworkInterface",
"ec2:DescribeNetworkInterfaces"
],
"Resource": [
"arn:aws:ec2:*:{account-id}:network-interface/*",
"arn:aws:ec2:*:{account-id}:subnet/*",
"arn:aws:ec2:*:{account-id}:security-group/*"
]
},
{
"Effect": "Allow",
"Action": [
"ec2:DescribeDhcpOptions",
"ec2:DescribeRouteTables",
"ec2:DescribeSecurityGroups",
"ec2:DescribeSubnets",
"ec2:DescribeVpcs",
"ec2:Describe*"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [ "ec2:CreateTags" ],
"Resource": "arn:aws:ec2:*:*:network-interface/*",
"Condition": {
"StringEquals": { "aws:RequestTag/OSISManaged": "true" }
}
}
]
}以下は、AWS Secrets Manager サービスからシークレットを読み取るために必要なアクセス許可です。
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "SecretsManagerReadAccess",
"Effect": "Allow",
"Action": ["secretsmanager:GetSecretValue"],
"Resource": ["arn:aws:secretsmanager:<region:<account-id>:secret:<,secret-name>"]
}
]
}Amazon OpenSearch Service ドメインに書き込むには、次のアクセス許可が必要です。
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::{your-account-id}:role/{pipeline-role}"
},
"Action": ["es:DescribeDomain", "es:ESHttp*"],
"Resource": "arn:aws:es:{region}:{your-account-id}:domain/{domain-name}/*"
}
]
}ステップ 2: パイプラインを作成する
そして、ソースとして Confluent Cloud Kafka を指定する OpenSearch Ingestion パイプラインを次のように設定できます。
複数の OpenSearch Service ドメインをデータの宛先として指定できます。この機能を使用すると、条件付きルーティングや、受信データを複数の OpenSearch Service ドメインに複製することができます。
ソース Confluent Kafka クラスターから OpenSearch Serverless VPC コレクションにデータを移行することもできます。パイプライン設定内にネットワークアクセスポリシーを指定していることを確認します。Confluent スキーマレジストリを使用して Confluent スキーマを定義できます。
version: "2"
kafka-pipeline:
source:
kafka:
encryption:
type: "ssl"
topics:
- name: "topic-name"
group_id: "group-id"
bootstrap_servers:
- "bootstrap-server.us-west-2.aws.private.confluent.cloud:9092"
authentication:
sasl:
plain:
username: ${aws_secrets:confluent-kafka-secret:username}
password: ${aws_secrets:confluent-kafka-secret:password}
schema:
type: confluent
registry_url: https://my-registry.us-west-2.aws.confluent.cloud
api_key: "${{aws_secrets:schema-secret:schema_registry_api_key}}"
api_secret: "${{aws_secrets:schema-secret:schema_registry_api_secret}}"
basic_auth_credentials_source: "USER_INFO"
sink:
- opensearch:
hosts: ["https://search-mydomain.us-west-2.es.amazonaws.com"]
aws:
sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
region: "us-west-2"
index: "confluent-index"
extension:
aws:
secrets:
confluent-kafka-secret:
secret_id: "my-kafka-secret"
region: "us-west-2"
sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
schema-secret:
secret_id: "my-self-managed-kafka-schema"
region: "us-west-2"
sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"事前設定されたブループリントを使用して、このパイプラインを作成できます。詳細については、「ブループリントを使用したパイプラインの作成」を参照してください。
VPC 内の Confluent Cloud Kafka クラスターへの接続
OpenSearch Ingestion パイプラインを使用して、VPC で実行されている Confluent Cloud Kafka クラスターからデータを移行することもできます。これを行うには、ソースとして Confluent Cloud Kafka クラスター、宛先として OpenSearch Service または OpenSearch Serverless を使用して OpenSearch Ingestion パイプラインを設定します。これにより、Confluent Cloud Kafka ソースクラスターから AWS マネージド型ターゲットドメインまたはコレクションへのストリーミングデータが処理されます。
OpenSearch Ingestion は、Confluent でサポートされているすべてのネットワークモードで設定された Confluent Cloud Kafka クラスターをサポートします。OpenSearch Ingestion では、ソースとして次のネットワーク設定モードがサポートされています。
-
AWS VPC ピアリング接続
-
専用クラスター用 AWS PrivateLink
-
エンタープライズクラスター用 AWS PrivateLink
-
AWS Transit Gateway
前提条件
OpenSearch Ingestion パイプラインを作成する前に、次の手順を実行します。
-
OpenSearch Service に取り込むデータを含む VPC ネットワーク設定を使用して Confluent Cloud Kafka クラスターを作成します。
-
データの移行先となる OpenSearch Service ドメインまたは OpenSearch Serverless コレクションを作成します。詳細については、「Creating OpenSearch Service domains」および「Creating collections」を参照してください。
-
AWS Secrets Manager を使用して Confluent Cloud Kafka クラスターで認証を設定します。AWS Secrets Manager シークレットのローテーションの手順に従って、シークレットのローテーションを有効にします。
-
セルフマネージド Kafka にアクセスできる VPC の ID を取得します。OpenSearch Ingestion で使用する VPC CIDR を選択します。
注記
AWS Management Consoleを使用してパイプラインを作成している場合は、セルフマネージド Kafka を使用するために OpenSearch Ingestion パイプラインを VPC にアタッチする必要があります。これを行うには、[ネットワーク設定] セクションを見つけ、[VPC にアタッチ] チェックボックスをオンにして、提供されたデフォルトオプションのいずれかから CIDR を選択するか、独自のものを選択します。RFC 1918 のベストカレントプラクティス
で定義されているように、プライベートアドレス空間から任意の CIDR を使用できます。 カスタム CIDR を指定するには、ドロップダウンメニューから [その他] を選択します。OpenSearch Ingestion とセルフマネージド OpenSearch 間の IP アドレスの衝突を回避するには、セルフマネージド OpenSearch VPC の CIDR が OpenSearch Ingestion の CIDR と異なることを確認してください。
-
リソースベースのポリシーをドメインにアタッチするか、データアクセスポリシーをコレクションにアタッチします。これらのアクセスポリシーにより、OpenSearch Ingestion は自己管理型クラスターからドメインまたはコレクションにデータを書き込むことができます。
注記
AWS PrivateLink を使用して Confluent Cloud Kafka を接続する場合は、VPC DHCP オプションを設定する必要があります。[DNS ホスト名] と [DNS 解決] を有効にします。
次のドメインアクセスポリシーの例では、次の手順で作成するパイプラインロールに、ドメインへのデータの書き込みが許可されています。必ず独自の ARN で
resourceを更新してください。{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role" }, "Action": [ "es:DescribeDomain", "es:ESHttp*" ], "Resource": [ "arn:aws:es:{region}:{account-id}:domain/domain-name" ] } ] }コレクションまたはドメインへの書き込みデータにアクセスするための正しいアクセス許可を持つ IAM ロールを作成するには、「Required permissions for domains」と「Required permissions for collections」を参照してください。
ステップ 1: パイプラインロールを設定する
パイプラインの前提条件を設定したら、パイプライン設定で使用するパイプラインロールを設定し、そのロールに次の許可を追加します。
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "SecretsManagerReadAccess",
"Effect": "Allow",
"Action": [
"secretsmanager:GetSecretValue"
],
"Resource": ["arn:aws:secretsmanager:{region}:{account-id}:secret:secret-name"]
},
{
"Effect": "Allow",
"Action": [
"ec2:AttachNetworkInterface",
"ec2:CreateNetworkInterface",
"ec2:CreateNetworkInterfacePermission",
"ec2:DeleteNetworkInterface",
"ec2:DeleteNetworkInterfacePermission",
"ec2:DetachNetworkInterface",
"ec2:DescribeNetworkInterfaces"
],
"Resource": [
"arn:aws:ec2:*:{account-id}:network-interface/*",
"arn:aws:ec2:*:{account-id}:subnet/*",
"arn:aws:ec2:*:{account-id}:security-group/*"
]
},
{
"Effect": "Allow",
"Action": [
"ec2:DescribeDhcpOptions",
"ec2:DescribeRouteTables",
"ec2:DescribeSecurityGroups",
"ec2:DescribeSubnets",
"ec2:DescribeVpcs",
"ec2:Describe*"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:*:*:network-interface/*",
"Condition": {
"StringEquals":
{
"aws:RequestTag/OSISManaged": "true"
}
}
}
]
}OpenSearch Ingestion パイプラインの作成に使用する IAM ロールには、上記の Amazon EC2 アクセス許可を指定する必要があります。これは、パイプラインがこれらのアクセス許可を使用して VPC 内のネットワークインターフェイスを作成および削除するためです。パイプラインは、このネットワークインターフェイスを介してのみ Kafka クラスターにアクセスできます。
ステップ 2: パイプラインを作成する
そして、ソースとして Kafka を指定する OpenSearch Ingestion パイプラインを次のように設定できます。
複数の OpenSearch Service ドメインをデータの宛先として指定できます。この機能を使用すると、条件付きルーティングや、受信データを複数の OpenSearch Service ドメインに複製することができます。
ソース Confluent Kafka クラスターから OpenSearch Serverless VPC コレクションにデータを移行することもできます。パイプライン設定内にネットワークアクセスポリシーを指定していることを確認します。Confluent スキーマレジストリを使用して Confluent スキーマを定義できます。
version: "2"
kafka-pipeline:
source:
kafka:
encryption:
type: "ssl"
topics:
- name: "topic-name"
group_id: "group-id"
bootstrap_servers:
- "bootstrap-server.us-west-2.aws.private.confluent.cloud:9092"
authentication:
sasl:
plain:
username: ${aws_secrets:confluent-kafka-secret:username}
password: ${aws_secrets:confluent-kafka-secret:password}
schema:
type: confluent
registry_url: https://my-registry.us-west-2.aws.confluent.cloud
api_key: "${{aws_secrets:schema-secret:schema_registry_api_key}}"
api_secret: "${{aws_secrets:schema-secret:schema_registry_api_secret}}"
basic_auth_credentials_source: "USER_INFO"
sink:
- opensearch:
hosts: ["https://search-mydomain.us-west-2.es.amazonaws.com"]
aws:
sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
region: "us-west-2"
index: "confluent-index"
extension:
aws:
secrets:
confluent-kafka-secret:
secret_id: "my-kafka-secret"
region: "us-west-2"
sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
schema-secret:
secret_id: "my-self-managed-kafka-schema"
region: "us-west-2"
sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"事前設定されたブループリントを使用して、このパイプラインを作成できます。詳細については、「ブループリントを使用したパイプラインの作成」を参照してください。
