Como configurar o acesso da VPC aos pipelines do Amazon OpenSearch Ingestion

Você pode acessar os pipelines do Amazon OpenSearch Ingestion usando um endpoint da VPC de interface. Uma VPC é uma rede virtual dedicada à sua Conta da AWS. Ela é isolada de maneira lógica das outras redes virtuais na Nuvem AWS. Acessar um pipeline por meio de um endpoint da VPC permite uma comunicação segura entre a Ingestão do OpenSearch e outros serviços na VPC, sem a necessidade de um gateway da Internet, dispositivo NAT ou conexão VPN. Todo o tráfego permanece com segurança na Nuvem AWS.

O OpenSearch Ingestion estabelece essa conectividade privada criando um endpoint de interface, desenvolvido pelo AWS PrivateLink. Criamos uma interface de rede do endpoint em cada sub-rede que você especificar durante a criação do pipeline. Essas são interfaces de rede gerenciadas pelo solicitante, que servem como ponto de entrada para o tráfego destinado ao pipeline do OpenSearch Ingestion. Você também pode optar por criar e gerenciar os endpoints da interface por conta própria.

O uso de uma VPC permite que você imponha o fluxo de dados por meio de seus pipelines de Ingestão do OpenSearch dentro dos limites da VPC, e não pela Internet pública. Pipelines que não estão em uma VPC enviam e recebem dados por endpoints públicos e pela Internet.

Um pipeline com acesso à VPC pode gravar em domínios públicos ou da VPC do OpenSearch Service e em coleções públicas ou da VPC do OpenSearch sem Servidor.

Considerações

Considere o seguinte ao configurar o acesso à VPC para um pipeline.

• Um pipeline não precisa estar na mesma VPC que seu coletor. Você também não precisa estabelecer uma conexão entre as duas VPCs. A Ingestão do OpenSearch se encarrega de conectá-los para você.

• Você só pode especificar uma VPC para o pipeline.

• Ao contrário dos pipelines públicos, um pipeline de VPC deve estar na mesma Região da AWS do domínio ou coletor de coleções em que está gravando.

• Você pode optar por implantar um pipeline em uma, duas ou três sub-redes da VPC. As sub-redes são distribuídas nas mesmas zonas de disponibilidade nas quais suas unidades computacionais (OCUs) de Ingestão do OpenSearch estão implantadas.

• Se você implantar apenas um pipeline em uma sub-rede e a Zona de disponibilidade ficar inativa, você não conseguirá ingerir dados. Para garantir a alta disponibilidade, recomendamos que você configure pipelines com duas ou três sub-redes.

• A especificação de um grupo de segurança é opcional. Se você não fornecer um grupo de segurança, o OpenSearch Ingestion usa o grupo de segurança que está especificado na VPC.

Limitações

Pipelines com acesso a uma VPC têm as seguintes limitações.

• Não é possível alterar a configuração de rede de um pipeline depois de criá-la. Se você iniciar um pipeline em uma VPC, não poderá alterá-lo posteriormente para um endpoint público e vice-versa.

• Você pode iniciar o pipeline com endpoint da VPC de interface ou um endpoint público, mas não pode fazer ambos. Você deve escolher uma opção ou outra ao criar um pipeline.

• Após provisionar um pipeline com acesso a uma VPC, não será possível movê-lo para uma VPC diferente e você não pode mudar as sub-redes e as configurações do grupo de segurança.

• Se seu pipeline grava em um domínio ou em um coletor de coleções que utiliza acesso à VPC, você não pode voltar mais tarde e alterar o coletor (VPC ou público) após a criação do pipeline. Você deve excluir e recriar o pipeline com um novo coletor. Você ainda pode mudar de um coletor público para um coletor com acesso à VPC.

• Você não pode fornecer acesso de ingestão entre contas aos pipelines de VPC.

Pré-requisitos

Antes de poder provisionar um pipeline com acesso à VPC, você deve fazer o seguinte:

• Criar uma VPC

  Para criar sua VPC, você pode usar o console da Amazon VPC, a AWS CLI ou um dos AWS SDKs. Para obter mais informações, consulte Como trabalhar com VPCs compartilhadas no Manual do usuário da Amazon VPC. Se você já tiver uma VPC, ignore esta etapa.

• Reservar endereços IP

  A Ingestão do OpenSearch coloca uma interface de rede elástica em cada sub-rede que você especifica durante a criação do pipeline. Cada interface de rede está associada a um endereço IP. Você deve reservar um endereço IP por sub-rede para as interfaces de rede.

Como configurar o acesso à VPC para um pipeline

Você pode ativar o acesso à VPC para um pipeline no console do OpenSearch Service ou usando o AWS CLI.

Console

Você configura o acesso à VPC durante a criação do pipeline. Em Rede, escolha Acesso à VPC e defina as seguintes configurações:

Configuração	Descrição
Gerenciamento de endpoints	Escolha se você mesmo quer criar seus endpoints da VPC ou deixar que o OpenSearch Ingestion os crie para você.
VPC	Escolha o ID da nuvem privada virtual (VPC) que deseja usar. A VPC e o pipeline devem estar na mesma Região da AWS.
Subredes	Escolha uma ou mais sub-redes. O OpenSearch Service colocará um endpoint da VPC e interfaces de rede elásticas nas sub-redes.
Grupos de segurança	Escolha um ou mais grupos de segurança da VPC que permitem que o aplicativo necessário acesse o pipeline de Ingestão do OpenSearch nas portas (80 ou 443) e nos protocolos (HTTP ou HTTPs) expostos pelo pipeline.
Opções de anexo de VPC	Se sua origem for um endpoint autogerenciado, conecte seu pipeline a uma VPC. Escolha uma das opções de CIDR padrão fornecidas ou use um CIDR personalizado.

CLI

Para configurar o acesso à VPC usando o AWS CLI, especifique o parâmetro --vpc-options:

aws osis create-pipeline \
  --pipeline-name vpc-pipeline \
  --min-units 4 \
  --max-units 10 \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml"

Endpoints da VPC autogerenciados

Ao criar um pipeline, você pode usar o gerenciamento de endpoints para criar um pipeline com endpoints autogerenciados ou endpoints gerenciados por serviços. O gerenciamento de endpoints é opcional e padronizado para endpoints gerenciados pelo OpenSearch Ingestion.

Para criar um pipeline com um endpoint da VPC autogerenciado no AWS Management Console, consulte Criação de pipelines com o console do OpenSearch Service. Para criar um pipeline com um endpoint da VPC autogerenciado no AWS CLI, você pode usar o parâmetro --vpc-options no comando create-pipeline:

--vpc-options SubnetIds=subnet-abcdef01234567890,VpcEndpointManagement=CUSTOMER

Você mesmo pode criar um endpoint em seu pipeline ao especificar o serviço de endpoint. Para encontrar seu serviço de endpoint, use o comando get-pipeline, que retorna uma resposta semelhante à seguinte:

"vpcEndpointService" : "com.amazonaws.osis.us-east-1.pipeline-id-1234567890abcdef1234567890",
"vpcEndpoints" : [ 
  {
    "vpcId" : "vpc-1234567890abcdef0",
    "vpcOptions" : {
      "subnetIds" : [ "subnet-abcdef01234567890", "subnet-021345abcdef6789" ],
      "vpcEndpointManagement" : "CUSTOMER"
    }
  }

Use o vpcEndpointService da resposta para criar um endpoint da VPC com o AWS Management Console ou a AWS CLI.

Se você usa endpoints da VPC autogerenciados, deve habilitar os atributos de DNS enableDnsSupport e enableDnsHostnames em sua VPC. Observe que, se você tiver um pipeline com um endpoint autogerenciado que você interrompe e reinicia, deverá recriar o endpoint da VPC em sua conta.

Função vinculada ao serviço para acesso à VPC

Uma função vinculada ao serviço é um tipo exclusivo de função do IAM que delega permissões para um serviço de forma que ele possa criar e gerenciar recursos em seu nome. Se você escolher um endpoint da VPC autogerenciado, o OpenSearch Ingestion requer uma função vinculada ao serviço chamada AWSServiceRoleForAmazonOpenSearchIngestionService para acessar sua VPC, criar o endpoint do pipeline e colocar as interfaces de rede em uma sub-rede da sua VPC.

Se você escolher um endpoint da VPC autogerenciado, o OpenSearch Ingestion requer uma função vinculada ao serviço chamada AWSServiceRoleForOpensearchIngestionSelfManagedVpce. Para obter mais informações sobre essas funções, suas permissões e como excluí-las, consulte Usando funções vinculadas a serviços para criar pipelines de ingestão OpenSearch .

A Ingestão do OpenSearch cria automaticamente a perfil quando você cria um pipeline de ingestão. Para que essa criação automática seja bem-sucedida, o usuário que cria o primeiro pipeline em uma conta precisa ter permissões para a ação iam:CreateServiceLinkedRole. Para saber mais, consulte Permissões de funções vinculadas ao serviço no Manual do usuário do IAM. Depois de criar a função no console AWS Identity and Access Management (IAM), você poderá visualizá-la.