Criação e gerenciamento de domínios OpenSearch do Amazon Service

Este capítulo descreve como criar e gerenciar domínios do Amazon OpenSearch Service. Um domínio OpenSearch de serviço é sinônimo de um cluster. OpenSearch Domínios são clusters com configurações, tipos de instância, contagens de instâncias e recursos de armazenamento especificados por você.

Diferentemente das breves instruções apresentadas no Tutorial de introdução, este capítulo descreve todas as opções e fornece informações de referência relevantes. Você pode concluir cada procedimento usando instruções para o console OpenSearch de serviços, o AWS Command Line Interface (AWS CLI) ou os AWS SDKs.

Criação OpenSearch de domínios de serviço

Esta seção descreve como criar domínios OpenSearch de serviço usando o console do OpenSearch serviço ou usando o AWS CLI com o create-domain comando.

Criação OpenSearch de domínios de serviço (console)

Use o procedimento a seguir para criar um domínio OpenSearch de serviço usando o console.

Para criar um domínio OpenSearch de serviço (console)

1. Acesse http://aws.amazon.com e escolha Sign-in to console (Fazer login no console).

2. Em Analytics, escolha Amazon OpenSearch Service.

3. Escolha Create domain (Criar domínio).

4. Em Domain name (Nome de domínio), insira um nome de domínio O nome deve atender aos seguintes critérios:

   • Ser exclusivo para sua conta e Região da AWS

   • Iniciar com letra minúscula.

   • Conter de 3 a 28 caracteres.

   • Conter apenas letras minúsculas a-z, números de 0-9 e hífen (-).

5. Para o método de criação de domínio, escolha Criar padrão.

6. Em Modelos, escolha a opção que melhor corresponde à finalidade do seu domínio:

   • Domínios de produção para cargas de trabalho que precisam de alta disponibilidade e desempenho. Esses domínios usam Multi-AZ (com ou sem espera) e nós mestres dedicados para maior disponibilidade.

   • Desenvolvimento/teste para desenvolvimento ou teste. Esses domínios podem usar o Multi-AZ (com ou sem espera) ou uma única zona de disponibilidade.

     Importante

     Diferentes tipos de implantação apresentam diferentes opções em páginas subsequentes. Essas etapas incluem todas as opções.

7. Em Opções de implantação, escolha Domínio com espera para configurar um domínio 3-AZ, com os nós em uma das zonas reservados como standby. Essa opção impõe várias práticas recomendadas, como uma contagem de nós de dados especificada, contagem de nós principais, tipo de instância, contagem de réplicas e configurações de atualização de software.

8. Em Versão, escolha a versão OpenSearch ou a versão antiga do Elasticsearch OSS a ser usada. Recomendamos que você escolha a versão mais recente doOpenSearch. Para obter mais informações, consulte Versões suportadas do OpenSearch e do Elasticsearch.

   (Opcional) Se você escolheu uma OpenSearch versão para seu domínio, selecione Ativar modo de compatibilidade para OpenSearch reportar sua versão como 7.10, o que permite que determinados clientes e plug-ins do Elasticsearch OSS que verificam a versão antes de se conectar continuem trabalhando com o serviço.

9. Em Instance type (Tipo de instância) escolha um tipo de instância para os nós de dados. Para obter mais informações, consulte Tipos de instância compatíveis no Amazon OpenSearch Service.

   nota

   Nem todas as zonas de disponibilidade são compatíveis com todos os tipos de instância. Se você escolher Multi-AZ com ou sem Standby, recomendamos escolher os tipos de instância da geração atual, como R5 ou I3.

10. Em Number of nodes (Número de nós), selecione o número de nós de dados.

    Para valores máximos, consulte Limites de domínio e instância. Os clusters de nó único são excelentes para desenvolvimento e testes, mas não devem ser usados para workloads de produção. Para obter mais orientações, consulte Dimensionamento de domínios do Amazon OpenSearch Service e Configurando um domínio Multi-AZ na AmazonOpenSearchServiço.

11. Em Tipo de armazenamento, selecione Amazon EBS. Os tipos de volume disponíveis na lista dependem do tipo de instância escolhido. Para obter orientações sobre a criação de domínios especialmente grandes, consulte Reduzir a escala horizontalmente de petabytes no Amazon OpenSearch Service.

12. Para armazenamento do EBS, defina as seguintes configurações adicionais. A depender do tipo de volume escolhido, algumas configurações poderão não aparecer.

    Configuração	Descrição
    Tipo de volume do EBS	Escolha entre General Purpose (SSD) - gp3 (Finalidade geral [SSD] - gp3) e General Purpose (SSD) - gp2 (Finalidade geral [SSD] - gp2) ou Provisioned IOPS (SSD) (IOPS provisionadas [SSD]) e Magnetic (Magnético) (padrão) da geração anterior.
    Tamanho de armazenamento do EBS por nó	Insira o tamanho do volume do EBS que você deseja anexar a cada nó de dados. EBS volume size é por nó. Você pode calcular o tamanho total do cluster para o domínio do OpenSearch serviço multiplicando o número de nós de dados pelo tamanho do volume do EBS. O tamanho mínimo e máximo de um volume do EBS depende tanto do tipo de volume do EBS especificado quanto do tipo da instância à qual ele está anexado. Para saber mais, consulte Limites de tamanhos de volume do EBS.
    IOPS provisionadas	Se você selecionou um tipo de volume SSD de IOPS provisionadas, insira o número de operações de E/S por segundo (IOPS) que o volume pode suportar.

13. (Opcional) Se você selecionou um tipo de gp3 volume, expanda Configurações avançadas e especifique IOPS adicionais (até 1.000 MiB/s para cada tamanho de volume de 3 TiB provisionado por nó de dados) e taxa de transferência (até 16.000 para cada tamanho de volume de 3 TiB provisionado por nó de dados) para provisionar para cada nó, além do que está incluído no preço do armazenamento, por um custo adicional. Para obter mais informações, consulte os preços do Amazon OpenSearch Service.

14. (Opcional) Para ativar o UltraWarmarmazenamento, escolha Ativar nós UltraWarm de dados. Cada tipo de instância tem uma quantidade máxima de armazenamento que ele pode processar. Multiplique essa quantidade pelo número de nós de dados de alta atividade pelo total de armazenamento de alta atividade endereçável.

15. (Opcional) Para habilitar o armazenamento de baixa atividade, escolha Enable cold storage (Habilitar armazenamento de baixa atividade). Você deve UltraWarm habilitar o armazenamento refrigerado.

16. Se você usa o Multi-AZ com o Standby, três nós principais dedicados já estão habilitados. Escolha o tipo de nós mestre que você deseja. Se você escolheu um domínio Multi-AZ sem standby, selecione Ativar nós mestres dedicados e escolha o tipo e o número de nós mestres que você deseja. Os nós principais dedicados aumentam a estabilidade do cluster e são necessários para domínios com contagem de instâncias superior a 10. Recomendamos três nós principais dedicados para domínios de produção.

    nota

    Você pode escolher diferentes tipos de instâncias para seus nós principais dedicados e nós de dados. Por exemplo, você pode selecionar instâncias de uso geral ou de armazenamento otimizado para os nós de dados e instâncias otimizadas para computação para os nós principais dedicados.

17. (Opcional) Para domínios em execução OpenSearch ou com o Elasticsearch 5.3 e versões posteriores, a configuração do Snapshot é irrelevante. Para obter mais informações sobre snapshots automatizados, consulte Criação de instantâneos de índice na AmazonOpenSearchServiço.

18. Se você quiser usar um endpoint personalizado em vez do padrão https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com, escolha Enable custom endpoints (Habilitar endpoints personalizados) e forneça um nome e um certificado. Para obter mais informações, consulte Criação de um endpoint personalizado para o Amazon OpenSearch Service.

19. Na seção Network (Rede), escolha VPC access (Acesso via VPC) ou Public access (Acesso público). Se você selecionar Public access (Acesso público), vá para a próxima etapa. Se escolher VPC access (Acesso à VPC), certifique-se de atender aos pré-requisitos e defina as seguintes configurações:

    Configuração	Descrição
    VPC	Escolha o ID da nuvem privada virtual (VPC) que deseja usar. A VPC e o domínio devem estar na mesma Região da AWS e você deve selecionar uma VPC com a locação definida como Padrão. OpenSearchO serviço ainda não oferece suporte a VPCs que usam locação dedicada.
    Subnet (Sub-rede)	Escolha uma sub-rede. Se habilitou Multi-AZ, você deve escolher duas ou três sub-redes. OpenSearchO serviço colocará um endpoint VPC e interfaces de rede elásticas nas sub-redes. Você deve reservar endereços IP suficientes para as interfaces de rede em toda sub-rede. Para obter mais informações, consulte Reserva de endereços IP em uma sub-rede da VPC.
    Grupos de segurança	Escolha um ou mais grupos de segurança da VPC que permitam que o aplicativo necessário alcance o domínio do OpenSearch serviço nas portas (80 ou 443) e nos protocolos (HTTP ou HTTPS) expostos pelo domínio. Para obter mais informações, consulte Como iniciar seus domínios do Amazon OpenSearch Service em uma VPC.
    IAM Role	Mantenha o perfil padrão. OpenSearchO serviço usa essa função predefinida (também conhecida como função vinculada ao serviço) para acessar sua VPC e colocar um endpoint VPC e interfaces de rede na sub-rede da VPC. Para obter mais informações, consulte Função vinculada ao serviço para acesso à VPC.

20. Habilite ou desabilite controle de acesso refinado:

    • Se você quiser usar o IAM para o gerenciamento de usuários, escolha Set IAM ARN as master user (Definir ARN do IAM como usuário primário) e especifique o ARN para uma função do IAM.

    • Se você quiser usar o banco de dados de usuário interno, escolha Criar usuário mestre e especifique um nome de usuário e uma senha.

    Seja qual for a opção escolhida, o usuário principal pode acessar todos os índices no cluster e todas as APIs. OpenSearch Para obter orientações sobre qual opção escolher, consulte Principais conceitos.

    Se você desabilitar o controle de acesso refinado, ainda assim poderá controlar o acesso ao seu domínio, colocando-o em uma VPC, aplicando uma política de acesso restritiva ou ambos. Você deve habilitar a node-to-node criptografia e a criptografia em repouso para usar um controle de acesso refinado.

    nota

    Recomendamos enfaticamente habilitar o controle de acesso refinado para proteger os dados do seu domínio. O controle de acesso refinado fornece segurança nos níveis de cluster, índice, documento e campo.

21. (Opcional) Se você quiser usar a autenticação SAML para OpenSearch painéis, escolha Ativar autenticação SAML e configure as opções de SAML para o domínio. Para obter instruções, consulte Autenticação SAML para painéis OpenSearch.

22. (Opcional) Se você quiser usar a autenticação do Amazon Cognito para OpenSearch painéis, escolha Ativar a autenticação do Amazon Cognito. Em seguida, escolha o grupo de usuários e o pool de identidades do Amazon Cognito que você deseja usar para autenticação de OpenSearch painéis. Para obter orientações sobre a criação desses recursos, consulte Configuração da autenticação do Amazon Cognito para Dashboards OpenSearch.

23. Em Política de acesso, escolha uma política de acesso ou configure uma de sua preferência. Se você optar por criar uma política personalizada, poderá configurá-la você mesmo ou importar uma política de outro domínio. Para obter mais informações, consulte Gerenciamento de identidade e acesso na AmazonOpenSearchServiço.

    nota

    Se você ativou o acesso à VPC, não poderá usar políticas baseadas em IP. Em vez disso, você poderá usar grupos de segurança para controlar quais endereços IP poderão acessar o domínio. Para obter mais informações, consulte Sobre políticas de acesso em domínios da VPC.

24. (Opcional) Para exigir que todas as solicitações ao domínio sejam recebidas por HTTPS, selecione Require HTTPS for all traffic to the domain (Exigir HTTPS para todo o tráfego do domínio). Para ativar a node-to-node criptografia, selecione ode-to-nodeCriptografia N. Para obter mais informações, consulte Sem ode-to-node criptografia para o Amazon OpenSearch Service. Para habilitar a criptografia de dados em repouso, selecione Ativar criptografia de dados em repouso. Essas opções são pré-selecionadas se você escolher a opção de implantação Multi-AZ com standby.

25. (Opcional) Selecione AWSUsar chave própria para que o OpenSearch Serviço crie uma chave de AWS KMS criptografia em seu nome (ou use a que ele já criou). Caso contrário, escolha sua própria chave do KMS. Para obter mais informações, consulte Criptografia de dados em repouso para o Amazon OpenSearch Service.

26. Na janela Fora do pico, selecione um horário de início para agendar atualizações de software de serviço e otimizações de ajuste automático que exijam uma implantação em azul/verde. As atualizações fora do pico ajudam a minimizar a pressão sobre os nós principais dedicados de um cluster durante períodos de alto tráfego.

27. Para o Auto-Tune, escolha se deseja permitir que o OpenSearch Serviço sugira alterações de configuração relacionadas à memória em seu domínio para melhorar a velocidade e a estabilidade. Para obter mais informações, consulte Auto-Tune para Amazon OpenSearch Service.

    (Opcional) Selecione a janela Fora do pico para agendar uma janela recorrente durante a qual o Auto-Tune atualiza o domínio.

28. (Opcional) Selecione Atualização automática de software para ativar as atualizações automáticas de software.

29. (Opcional) Adicione tags para descrever seu domínio para que você possa categorizar e filtrar essas informações. Para obter mais informações, consulte Marcação de domínios do Amazon OpenSearch Service.

30. (Opcional) Expanda e defina as Advanced cluster settings (Configurações avançadas de cluster). Para obter um resumo dessas opções, consulte Configurações avançadas do cluster.

31. Escolha Create (Criar).

Criação OpenSearch de domínios de serviço () AWS CLI

Em vez de criar um domínio de OpenSearch serviço usando o console, você pode usar AWS CLI o. Para sintaxe, consulte Amazon OpenSearch Service na referência de comando da AWS CLI a.

Comandos de exemplo

Esse primeiro exemplo demonstra a seguinte configuração do domínio OpenSearch de serviço:

• Cria um domínio OpenSearch de serviço chamado mylogs com a OpenSearch versão 1.2

• Preenche o domínio com duas instâncias do tipo r6g.large.search

• Utilização de um volume gp3 de Finalidade geral (SSD) do EBS de 100 GiB como armazenamento para cada nó de dados

• Permite acesso anônimo, mas apenas de endereço IP único: 192.0.2.0/32.

aws opensearch create-domain --domain-name mylogs --engine-version OpenSearch_1.2 --cluster-config  InstanceType=r6g.large.search,InstanceCount=2 --ebs-options EBSEnabled=true,VolumeType=gp3,VolumeSize=100,Iops=3500,Throughput=125 --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

O exemplo a seguir demonstra a seguinte configuração do domínio OpenSearch de serviço:

• Cria um domínio OpenSearch de serviço chamado mylogs com o Elasticsearch versão 7.10

• Preenche o domínio com seis instâncias do tipo r6g.large.search

• Utilização de um volume gp2 de Finalidade geral (SSD) do EBS de 100 GiB como armazenamento para cada nó de dados

• Restringe o acesso ao serviço a um único usuário, o qual é identificado pelo ID da Conta da AWS do usuário: 555555555555.

• Distribui as instâncias em três zonas de disponibilidade

aws opensearch create-domain --domain-name mylogs --engine-version Elasticsearch_7.10 --cluster-config  InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }'

O exemplo a seguir demonstra a seguinte configuração do domínio OpenSearch de serviço:

• Cria um domínio OpenSearch de serviço chamado mylogs com a OpenSearch versão 1.0

• Preenche o domínio com 10 instâncias do tipo r6g.xlarge.search

• Preenche o domínio com três instâncias do tipo r6g.large.search para funcionar como nós principais dedicados

• Usa um volume de EBS de IOPS provisionadas de 100 GiB como armazenamento, configurado com performance de referência de 1.000 IOPS para cada nó de dados.

• Restringe o acesso a um único usuário e a um único sub-recurso, a API _search

aws opensearch create-domain --domain-name mylogs --engine-version OpenSearch_1.0 --cluster-config  InstanceType=r6g.xlarge.search,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3 --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }'

nota

Se você tentar criar um domínio OpenSearch de serviço e já existir um domínio com o mesmo nome, a CLI não reportará um erro. Em vez disso, ela retornará detalhes do domínio existente.

Criação OpenSearch de domínios de serviço (AWSSDKs)

Os AWS SDKs (exceto os SDKs para Android e iOS) suportam todas as ações definidas na Amazon OpenSearch Service API Reference, inclusive. CreateDomain Para obter o código de exemplo, consulte Usando oAWSSDKs para interagir com a AmazonOpenSearchServiço. Para obter mais informações sobre instalação e uso dos AWS SDKs, consulte Kits de desenvolvimento de software da AWS.

Criação OpenSearch de domínios de serviço () AWS CloudFormation

OpenSearchO serviço é integrado aoAWS CloudFormation, um serviço que ajuda você a modelar e configurar seus AWS recursos para que você possa gastar menos tempo criando e gerenciando seus recursos e sua infraestrutura. Você cria um modelo que descreve o OpenSearch domínio que deseja criar e CloudFormation provisiona e configura o domínio para você. Para obter mais informações, incluindo exemplos de modelos JSON e YAML para OpenSearch domínios, consulte a referência do tipo de recurso do Amazon OpenSearch Service no Guia do usuário. AWS CloudFormation

Configuração de políticas de acesso

O Amazon OpenSearch Service oferece várias maneiras de configurar o acesso aos seus domínios OpenSearch de serviço. Para ter mais informações, consulte Gerenciamento de identidade e acesso na AmazonOpenSearchServiço e Controle de acesso refinado na AmazonOpenSearchServiço.

O console fornece políticas de acesso pré-configuradas que você pode personalizar de acordo com as necessidades específicas de seu domínio. Você também pode importar políticas de acesso de outros domínios do OpenSearch Service. Para obter informações sobre como essas políticas de acesso interagem com o acesso à VPC, consulte Sobre políticas de acesso em domínios da VPC.

Para configurar políticas de acesso (console)

1. Vá para https://aws.amazon.com e escolha Sign In to the Console (Fazer login no console)

2. Em Analytics, escolha Amazon OpenSearch Service.

3. No painel de navegação, em Domains (Domínios), escolha o domínio que deseja atualizar.

4. Escolha Actions (Ações) e Edit security configuration (Editar configuração de segurança).

5. Edite a política de acesso JSON ou importe uma opção pré-configurada.

6. Escolha Salvar alterações.

Configurações avançadas do cluster

Use as opções avançadas para configurar o seguinte:

Índices em corpos de solicitações

Especifica se são permitidas referências explícitas aos índices dentro do corpo das solicitações HTTP. A definição dessa propriedade como false impede que os usuários ignorem o controle de acesso para sub-recursos. Por padrão, o valor é true. Para obter mais informações, consulte Opções avançadas e considerações sobre a API.

Alocação de cache de dados de campo

Especifica a porcentagem de espaço do heap do Java alocada a dados de campo. Por padrão, essa configuração é 20% do heap JVM.

nota

Muitos clientes consultam índices alternados diariamente. Recomenda-se começar a realizar um teste de comparação com indices.fielddata.cache.size configurado como 40% do heap de JVM para a maioria desses casos de uso. Para índices muito grandes, talvez um cache de dados de campo grande seja necessário.

Contagem máxima de cláusulas

Especifica o número máximo de cláusulas permitidas em uma consulta booliana no Lucene. O padrão é 1.024. Consultas que ultrapassam o número permitido de cláusulas geram o erro TooManyClauses. Para obter mais informações, consulte a documentação do Lucene.