Configurando o acesso à VPC para pipelines de ingestão da Amazon OpenSearch

Você pode acessar seus pipelines de OpenSearch ingestão da Amazon usando uma interface VPC endpoint. Uma VPC é uma rede virtual dedicada à sua. Conta da AWSÉ logicamente isolado de outras redes virtuais na AWS nuvem. O acesso a um pipeline por meio de um VPC endpoint permite a comunicação segura entre o OpenSearch Inestion e outros serviços dentro da VPC sem a necessidade de um gateway de internet, dispositivo NAT ou conexão VPN. Todo o tráfego permanece seguro na nuvem. AWS

OpenSearch A ingestão estabelece essa conexão privada criando um endpoint de interface, alimentado por. AWS PrivateLink Criamos uma interface de rede de endpoint em cada sub-rede que você especifica durante a criação do pipeline. Essas são interfaces de rede gerenciadas pelo solicitante que servem como ponto de entrada para o tráfego destinado ao pipeline de ingestão. OpenSearch Você também pode optar por criar e gerenciar os endpoints da interface sozinho.

O uso de uma VPC permite impor o fluxo de dados por meio de seus pipelines de OpenSearch ingestão dentro dos limites da VPC, e não pela Internet pública. Pipelines que não estão em uma VPC enviam e recebem dados por endpoints públicos e pela Internet.

Um pipeline com acesso à VPC pode gravar em domínios públicos ou de OpenSearch serviços de VPC e em coleções públicas ou sem servidor de VPC. OpenSearch

Considerações

Considere o seguinte ao configurar o acesso à VPC para um pipeline.

• Um pipeline não precisa estar na mesma VPC do coletor. Você também não precisa estabelecer uma conexão entre as duas VPCs. OpenSearch A ingestão se encarrega de conectá-los para você.

• Você só pode especificar uma VPC para o pipeline.

• Diferentemente dos pipelines públicos, um pipeline de VPC deve estar no Região da AWS mesmo domínio ou coletor de coleções no qual está gravando.

• Você pode optar por implantar um pipeline em uma, duas ou três sub-redes da VPC. As sub-redes são distribuídas nas mesmas zonas de disponibilidade nas quais suas unidades de OpenSearch computação de ingestão (OCUs) estão implantadas.

• Se você implantar apenas um pipeline em uma sub-rede e a Zona de disponibilidade ficar inativa, você não conseguirá ingerir dados. Para garantir a alta disponibilidade, recomendamos que você configure pipelines com duas ou três sub-redes.

• A especificação de um grupo de segurança é opcional. Se você não fornecer um grupo de segurança, o OpenSearch Inestion usará o grupo de segurança padrão especificado na VPC.

Limitações

Os pipelines com acesso à VPC têm as seguintes limitações.

• Não é possível alterar a configuração de rede de um pipeline depois de criá-la. Se você iniciar um pipeline em uma VPC, não poderá alterá-lo posteriormente para um endpoint público e vice-versa.

• Você pode iniciar seu pipeline com um endpoint VPC de interface ou um endpoint público, mas não pode fazer as duas coisas. Você deve escolher uma opção ou outra ao criar um pipeline.

• Depois de provisionar um pipeline com acesso à VPC, você não pode movê-lo para uma VPC diferente e não pode alterar suas sub-redes ou configurações de grupo de segurança.

• Se seu pipeline grava em um domínio ou coletor de coleção que usa acesso à VPC, você não pode voltar mais tarde e alterar o coletor (VPC ou público) após a criação do pipeline. Você deve excluir e recriar o pipeline com um novo coletor. Você ainda pode mudar de um coletor público para um coletor com acesso VPC.

• Você não pode fornecer acesso de ingestão entre contas aos pipelines de VPC.

Pré-requisitos

Antes de provisionar um pipeline com acesso à VPC, você deve fazer o seguinte:

• Criar uma VPC

  Para criar sua VPC, você pode usar o console Amazon VPC, a AWS CLI ou um dos SDKs. AWS Para obter mais informações, consulte Como trabalhar com VPCs compartilhadas no Manual do usuário da Amazon VPC. Se você já tiver uma VPC, ignore esta etapa.

• Reservar endereços IP

  OpenSearch A ingestão coloca uma interface de rede elástica em cada sub-rede especificada durante a criação do pipeline. Cada interface de rede está associada a um endereço IP. Você deve reservar um endereço IP por sub-rede para as interfaces de rede.

Como configurar o acesso à VPC para um pipeline

Você pode habilitar o acesso à VPC para um pipeline no console OpenSearch de serviço ou usando o. AWS CLI

Console

Você configura o acesso à VPC durante a criação do pipeline. Em Rede, escolha Acesso à VPC e defina as seguintes configurações:

Configuração	Descrição
Gerenciamento de endpoints	Escolha se você mesmo quer criar seus VPC endpoints ou deixar que o OpenSearch Ingestion os crie para você.
VPC	Escolha o ID da nuvem privada virtual (VPC) que deseja usar. A VPC e o pipeline devem estar na mesma Região da AWS.
Subredes	Escolha uma ou mais sub-redes. OpenSearch O serviço colocará um endpoint VPC e interfaces de rede elástica nas sub-redes.
Grupos de segurança	Escolha um ou mais grupos de segurança de VPC que permitam que o aplicativo necessário alcance o pipeline de OpenSearch ingestão nas portas (80 ou 443) e protocolos (HTTP ou HTTPs) expostos pelo pipeline.
Opções de anexo de VPC	Se sua fonte for um endpoint autogerenciado, conecte seu pipeline a uma VPC. Escolha uma das opções de CIDR padrão fornecidas ou use um CIDR personalizado.

CLI

Para configurar o acesso à VPC usando o AWS CLI, especifique o --vpc-options parâmetro:

aws osis create-pipeline \
  --pipeline-name vpc-pipeline \
  --min-units 4 \
  --max-units 10 \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml"

VPC endpoints autogerenciados

Ao criar um pipeline, você pode usar o gerenciamento de endpoints para criar um pipeline com endpoints autogerenciados ou endpoints gerenciados por serviços. O gerenciamento de endpoints é opcional e o padrão é endpoints gerenciados pelo Inestion. OpenSearch

Para criar um pipeline com um VPC endpoint autogerenciado no, consulte Criação de pipelines com AWS Management Console o console de serviço. OpenSearch Para criar um pipeline com um VPC endpoint autogerenciado no, você pode usar AWS CLI o parâmetro --vpc-options no comando create-pipeline:

--vpc-options SubnetIds=subnet-abcdef01234567890,VpcEndpointManagement=CUSTOMER

Você mesmo pode criar um endpoint para seu pipeline ao especificar seu serviço de endpoint. Para encontrar seu serviço de endpoint, use o comando get-pipeline, que retorna uma resposta semelhante à seguinte:

"vpcEndpointService" : "com.amazonaws.osis.us-east-1.pipeline-id-1234567890abcdef1234567890",
"vpcEndpoints" : [ 
  {
    "vpcId" : "vpc-1234567890abcdef0",
    "vpcOptions" : {
      "subnetIds" : [ "subnet-abcdef01234567890", "subnet-021345abcdef6789" ],
      "vpcEndpointManagement" : "CUSTOMER"
    }
  }

Use o vpcEndpointService from the response para criar um VPC endpoint com o ou. AWS Management Console AWS CLI

Se você usa endpoints de VPC autogerenciados, deve habilitar os atributos de DNS enableDnsSupport e enableDnsHostnames em sua VPC. Observe que, se você tiver um pipeline com um endpoint autogerenciado que você interrompe e reinicia, deverá recriar o VPC endpoint em sua conta.

Função vinculada ao serviço para acesso à VPC

Uma função vinculada ao serviço é um tipo exclusivo de função do IAM que delega permissões para um serviço de forma que ele possa criar e gerenciar recursos em seu nome. Se você escolher um VPC endpoint gerenciado por serviços, a OpenSearch ingestão exigirá uma função vinculada ao serviço chamada AWSServiceRoleForAmazonOpenSearchIngestionServicepara acessar sua VPC, criar o endpoint de pipeline e colocar interfaces de rede em uma sub-rede da sua VPC.

Se você escolher um VPC endpoint autogerenciado OpenSearch , a ingestão exigirá uma função vinculada ao serviço chamada. AWSServiceRoleForOpensearchIngestionSelfManagedVpce Para obter mais informações sobre essas funções, suas permissões e como excluí-las, consulteUsando funções vinculadas a serviços para criar pipelines de ingestão OpenSearch .

OpenSearch A ingestão cria automaticamente a função quando você cria um pipeline de ingestão. Para que essa criação automática seja bem-sucedida, o usuário que cria o primeiro pipeline em uma conta precisa ter permissões para a ação iam:CreateServiceLinkedRole. Para saber mais, consulte Permissões de funções vinculadas ao serviço no Manual do usuário do IAM. Você pode ver a função no console AWS Identity and Access Management (IAM) depois de criada.