Criação e gerenciamento de domínios OpenSearch do Amazon Service

Este capítulo descreve como criar e gerenciar domínios do Amazon OpenSearch Service. Um domínio é o equivalente AWS provisionado de um cluster de código aberto. OpenSearch Quando você cria um domínio, especifica as configurações, os tipos de instâncias, as contagens de instâncias e a alocação de armazenamento. Para obter mais informações sobre clusters de código aberto, consulte Como criar um cluster na OpenSearch documentação.

Diferentemente das breves instruções apresentadas no Tutorial de introdução, este capítulo descreve todas as opções e fornece informações de referência relevantes. Você pode concluir cada procedimento usando as instruções do console OpenSearch de serviço, do AWS Command Line Interface (AWS CLI) ou do AWS SDKs.

Criação OpenSearch de domínios de serviço

Esta seção descreve como criar domínios OpenSearch de serviço usando o console OpenSearch de serviços ou usando o AWS CLI com o create-domain comando.

Criação OpenSearch de domínios de serviço (console)

Use o procedimento a seguir para criar um domínio de OpenSearch serviço usando o console.

Para criar um domínio OpenSearch de serviço (console)

1. Acesse https://aws.amazon.come escolha Entrar no console.

2. Em Analytics, escolha Amazon OpenSearch Service.

3. Escolha Criar domínio.

4. Em Nome de domínio, insira um nome de domínio O nome deve atender aos seguintes critérios:

   • Exclusivo para sua conta e Região da AWS

   • Iniciar com letra minúscula.

   • Conter de 3 a 28 caracteres.

   • Conter apenas letras minúsculas a-z, números de 0-9 e hífen (-).

5. Como método de criação de domínio, escolha Criação padrão.

6. Em Modelos, escolha a opção que melhor corresponde à finalidade do seu domínio:

   • Domínios de produção para workload que precisam de alta disponibilidade e desempenho. Os domínios usam Multi-AZ (com ou sem standby) e nós principais dedicados para uma maior disponibilidade.

   • Dev/test para desenvolvimento ou teste. Esses domínios podem usar Multi-AZ (com ou sem modo de espera) ou uma única zona de disponibilidade.

     Importante

     Diferentes tipos de implantação apresentam diferentes opções em páginas subsequentes. Essas etapas incluem todas as opções.

7. Para Opções de implantação, escolha Domínio com modo de espera para configurar um domínio 3-AZ, com os nós em uma das zonas reservados como modo de espera. Essa opção aplica várias práticas recomendadas, como contagem especificada de nós de dados, contagem de nós principais, tipo de instância, contagem de réplicas e configurações de atualização de software.

8. Em Versão, escolha a versão OpenSearch ou o Elasticsearch legado OSS a ser usado. Recomendamos que você escolha a versão mais recente do OpenSearch. Para obter mais informações, consulte Versões compatíveis do Elasticsearch OpenSearch e do Elasticsearch.

   (Opcional) Se você escolher uma OpenSearch versão para seu domínio, selecione Ativar modo de compatibilidade para OpenSearch reportar sua versão como 7.10, o que permite que determinados OSS clientes e plug-ins do Elasticsearch que verificam a versão antes de se conectar continuem trabalhando com o serviço.

9. Em Tipo de instância escolha um tipo de instância para os nós de dados. Para obter mais informações, consulte Tipos de instância compatíveis no Amazon OpenSearch Service.

   nota

   Nem todas as zonas de disponibilidade são compatíveis com todos os tipos de instância. Se você escolher Multi-AZ com ou sem standby, é recomendável selecionar tipos de instância da geração atual, como R5 ou I3.

10. Em Número de nós, selecione o número de nós de dados.

    Para valores máximos, consulte Cotas OpenSearch de domínio e instância do serviço. Os clusters de nó único são excelentes para desenvolvimento e testes, mas não devem ser usados para workloads de produção. Para obter mais orientações, consulte Dimensionamento de domínios do Amazon OpenSearch Service e Configuração de um domínio Multi-AZ no Amazon OpenSearch Service.

    nota

    (Opcional) Os nós coordenadores dedicados oferecem suporte a todas OpenSearch as versões e ElasticSearch versões 6.8 a 7.10. Os nós coordenadores dedicados estão disponíveis para uso com domínios que têm um gerenciador de cluster dedicado ativado. Para habilitar nós coordenadores dedicados, você selecionará o tipo e a contagem de instâncias. Como prática recomendada, você deve manter a família de instâncias do seu nó coordenador dedicado igual aos seus nós de dados (instâncias baseadas em Intel ou Graviton).

11. Para Tipo de armazenamento, selecione AmazonEBS. Os tipos de volume disponíveis na lista dependem do tipo de instância escolhido. Para obter orientações sobre a criação de domínios especialmente grandes, consulte Escala de petabytes no Amazon Service OpenSearch .

12. Para EBSarmazenamento, defina as seguintes configurações adicionais. A depender do tipo de volume escolhido, algumas configurações poderão não aparecer.

    Configuração	Descrição
    EBStipo de volume	Escolha entre Propósito geral (SSD) - gp3 e Uso geral (SSD) - gp2, ou a geração anterior Provisioned IOPS (SSD) e Magnetic (padrão).
    EBStamanho de armazenamento por nó	Insira o tamanho do EBS volume que você deseja anexar a cada nó de dados. EBSo tamanho do volume é por nó. Você pode calcular o tamanho total do cluster para o domínio OpenSearch de serviço multiplicando o número de nós de dados pelo tamanho do EBS volume. O tamanho mínimo e máximo de um EBS volume depende do tipo de EBS volume especificado e do tipo de instância à qual ele está conectado. Para saber mais, consulte limites EBS de tamanho de volume.
    Provisionado IOPS	Se você selecionou um tipo de IOPS SSD volume provisionado, insira o número de operações de E/S por segundo (IOPS) que o volume pode suportar.

13. (Opcional) Se você selecionou um tipo de gp3 volume, expanda Configurações avançadas e especifique mais IOPS (até 16.000 para cada tamanho de volume de 3 TiB provisionado por nó de dados) e taxa de transferência (até 1.000 MiB/s para cada tamanho de volume de 3 TiB provisionado por nó de dados) além do que está incluído no preço do armazenamento, por um custo adicional. Para obter mais informações, consulte os preços do Amazon OpenSearch Service.

14. (Opcional) Para ativar o UltraWarm armazenamento, escolha Ativar nós UltraWarm de dados. Cada tipo de instância tem uma quantidade máxima de armazenamento que ele pode processar. Multiplique essa quantidade pelo número de nós de dados de alta atividade pelo total de armazenamento de alta atividade endereçável.

15. (Opcional) Para habilitar o armazenamento de baixa atividade, escolha Habilitar armazenamento de baixa atividade. Você deve habilitar UltraWarm para habilitar o armazenamento a frio.

16. Se você usa o multi-AZ com modo de espera, três nós principais dedicados já estão habilitados. Escolha o tipo de nós principais que você deseja. Se você escolheu um domínio Multi-AZ sem modo de espera, selecione Habilitar nós principais dedicados e escolha o tipo e o número de nós principais que você deseja. Os nós principais dedicados aumentam a estabilidade do cluster e são necessários para domínios com contagem de instâncias superior a 10. Recomendamos três nós principais dedicados para domínios de produção.

    nota

    Você pode escolher diferentes tipos de instâncias para seus nós principais dedicados e nós de dados. Por exemplo, você pode selecionar instâncias de uso geral ou de armazenamento otimizado para os nós de dados e instâncias otimizadas para computação para os nós principais dedicados.

17. (Opcional) Para domínios que executam o Elasticsearch OpenSearch 5.3 e versões posteriores, a configuração do Snapshot é irrelevante. Para obter mais informações sobre snapshots automatizados, consulte Criação de snapshots de índices no Amazon OpenSearch Service.

18. Se você quiser usar um endpoint personalizado em vez do padrão https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com, escolha Habilitar endpoints personalizados e forneça um nome e um certificado. Para obter mais informações, consulte Criação de um endpoint personalizado para o Amazon OpenSearch Service.

19. Em Rede, escolha VPCAcesso ou Acesso público. Se você selecionar Acesso público, vá para a próxima etapa. Se você escolher o VPCacesso, certifique-se de atender aos pré-requisitos e, em seguida, defina as seguintes configurações:

    Configuração	Descrição
    VPC	Escolha o ID da nuvem privada virtual (VPC) que você deseja usar. O domínio VPC e deve estar no mesmo Região da AWS, e você deve selecionar um VPC com locação definida como Padrão. OpenSearch O serviço ainda não oferece suporte a VPCs esse uso de locação dedicada.
    Sub-rede	Escolha uma sub-rede. Se você ativou o Multi-AZ, deverá escolher duas ou três sub-redes. OpenSearch O serviço colocará um VPC endpoint e interfaces de rede elásticas nas sub-redes. Você deve reservar endereços IP suficientes para as interfaces de rede em toda sub-rede. Para obter mais informações, consulte Como reservar endereços IP em uma VPC sub-rede.
    Grupos de segurança	Escolha um ou mais grupos de VPC segurança que permitam que o aplicativo necessário alcance o domínio do OpenSearch Serviço nas portas (80 ou 443) e nos protocolos (HTTPouHTTPS) expostos pelo domínio. Para obter mais informações, consulte Lançamento de seus domínios OpenSearch do Amazon Service em um VPC.
    IAMFunção	Mantenha a função padrão. OpenSearch O serviço usa essa função predefinida (também conhecida como função vinculada ao serviço) para acessar sua VPC e colocar um VPC endpoint e interfaces de rede na sub-rede do. VPC Para obter mais informações, consulte Função vinculada ao serviço para VPC acesso.
    Tipo de endereço IP	Escolha pilha dupla ou IPv4 como seu tipo de endereço IP. A pilha dupla permite que você compartilhe recursos de domínio IPv4 e tipos de IPv6 endereço, e é a opção recomendada. Se você definir o tipo de endereço IP como pilha dupla, não poderá alterar o tipo de endereço posteriormente.

20. Habilite ou desabilite controle de acesso refinado:

    • Se você quiser usar IAM para gerenciamento de usuários, escolha Definir IAM ARN como usuário principal e especifique o ARN para uma IAM função.

    • Se quiser usar o banco de dados de usuário interno, escolha Criar usuário primário e especifique um nome de usuário e senha.

    Qualquer que seja a opção escolhida, o usuário principal pode acessar todos os índices do cluster e tudo mais. OpenSearch APIs Para obter orientações sobre qual opção escolher, consulte Principais conceitos.

    Se você desabilitar o controle de acesso refinado, ainda poderá controlar o acesso ao seu domínio colocando-o em umVPC, aplicando uma política de acesso restritivo ou ambas. Você deve habilitar a node-to-node criptografia e a criptografia em repouso para usar um controle de acesso refinado.

    nota

    Recomendamos enfaticamente habilitar o controle de acesso refinado para proteger os dados do seu domínio. O controle de acesso refinado fornece segurança nos níveis de cluster, índice, documento e campo.

21. (Opcional) Se você quiser usar a SAML autenticação para OpenSearch painéis, escolha Habilitar SAML autenticação e configure SAML as opções para o domínio. Para obter instruções, consulte SAMLautenticação para OpenSearch painéis.

22. (Opcional) Se você quiser usar a autenticação do Amazon Cognito para OpenSearch painéis, escolha Habilitar a autenticação do Amazon Cognito. Em seguida, escolha o grupo de usuários e o grupo de identidades do Amazon Cognito que você deseja usar para autenticação de OpenSearch painéis. Para obter orientações sobre a criação desses recursos, consulte Configuração da autenticação do Amazon Cognito para OpenSearch Dashboards.

23. Para Política de acesso, escolha uma política de acesso ou configure uma das suas próprias políticas. Se você optar por criar uma política personalizada, poderá configurá-la você mesmo ou importar uma política de outro domínio. Para obter mais informações, consulte Gerenciamento de identidade e acesso no Amazon OpenSearch Service.

    nota

    Se você habilitou o VPC acesso, não poderá usar políticas baseadas em IP. Em vez disso, você poderá usar grupos de segurança para controlar quais endereços IP poderão acessar o domínio. Para obter mais informações, consulte Sobre políticas de acesso em VPC domínios.

24. (Opcional) Para exigir que todas as solicitações para o domínio cheguemHTTPS, selecione Exigir HTTPS para todo o tráfego do domínio. Para ativar a node-to-node criptografia, selecione ode-to-nodeCriptografia N. Para obter mais informações, consulte Node-to-node criptografia para Amazon OpenSearch Service. Para habilitar criptografia de dados em repouso, selecione Ativar criptografia em repouso. Essas opções são pré-selecionadas se você escolher a opção de implantação multi-AZ com modo de espera.

25. (Opcional) Selecione AWS Usar chave própria para que o OpenSearch Serviço crie uma chave de AWS KMS criptografia em seu nome (ou use a que já foi criada). Caso contrário, escolha sua própria KMS chave. Para obter mais informações, consulte Criptografia de dados em repouso para o Amazon OpenSearch Service.

26. Para a Janela fora do horário de pico, selecione um horário de início para agendar atualizações do software de serviço e otimizações do Auto-Tune que exijam uma implantação azul/verde. As atualizações fora do horário de pico ajudam a minimizar a sobrecarga nos nós principais dedicados de um cluster durante períodos de tráfego intenso.

27. Para o Auto-Tune, escolha se deseja permitir que o OpenSearch Serviço sugira alterações de configuração relacionadas à memória para seu domínio para melhorar a velocidade e a estabilidade. Para obter mais informações, consulte Auto-Tune para Amazon OpenSearch Service.

    (Opcional) Selecione Janela fora do horário de pico para agendar uma janela recorrente durante a qual o Auto-Tune atualizará o domínio.

28. (Opcional) Selecione Atualização automática de software para habilitar atualizações automáticas de software.

29. (Opcional) Adicione tags para descrever seu domínio para que você possa categorizar e filtrar essas informações. Para obter mais informações, consulte Marcação de domínios do Amazon OpenSearch Service.

30. (Opcional) Expanda e defina as Configurações avançadas de cluster. Para obter um resumo dessas opções, consulte Configurações avançadas do cluster.

31. Escolha Criar.

Criação OpenSearch de domínios de serviço ()AWS CLI

Em vez de criar um domínio de OpenSearch serviço usando o console, você pode usar AWS CLI o. Para obter a sintaxe, consulte Amazon OpenSearch Service na referência de AWS CLI comando a.

Exemplos de comando

Este primeiro exemplo demonstra a seguinte configuração do domínio OpenSearch de serviço:

• Cria um domínio OpenSearch de serviço chamado mylogs com a OpenSearch versão 1.2

• Preenche o domínio com duas instâncias do tipo r6g.large.search

• Usa um gp3 EBS volume de uso geral (SSD) de 100 GiB para armazenamento de cada nó de dados

• Permite acesso anônimo, mas apenas de endereço IP único: 192.0.2.0/32.

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.2 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=2 \
    --ebs-options EBSEnabled=true,VolumeType=gp3,VolumeSize=100,Iops=3500,Throughput=125 \
    --access-policies '{"Version": "2012-10-17", "Statement": [{"Action": "es:*", "Principal":"*","Effect": "Allow", "Condition": {"IpAddress":{"aws:SourceIp":["192.0.2.0/32"]}}}]}'

O próximo exemplo demonstra a seguinte configuração do domínio OpenSearch de serviço:

• Cria um domínio OpenSearch de serviço chamado mylogs com a versão 7.10 do Elasticsearch

• Preenche o domínio com seis instâncias do tipo r6g.large.search

• Usa um gp2 EBS volume de uso geral (SSD) de 100 GiB para armazenamento de cada nó de dados

• Restringe o acesso ao serviço a um único usuário, identificado pelo Conta da AWS ID do usuário: 555555555555

• Distribui as instâncias em três zonas de disponibilidade

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version Elasticsearch_7.10 \
    --cluster-config  InstanceType=r6g.large.search,InstanceCount=6,ZoneAwarenessEnabled=true,ZoneAwarenessConfig={AvailabilityZoneCount=3} \
    --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=100 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": "arn:aws:iam::555555555555:root" }, "Action":"es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/*" } ] }'

O próximo exemplo demonstra a seguinte configuração do domínio OpenSearch de serviço:

• Cria um domínio OpenSearch de serviço chamado mylogs com a OpenSearch versão 1.0

• Preenche o domínio com 10 instâncias do tipo r6g.xlarge.search

• Preenche o domínio com três instâncias do tipo r6g.large.search para funcionar como nós principais dedicados

• Usa um IOPS EBS volume provisionado de 100 GiB para armazenamento, configurado com um desempenho básico de 1.000 para cada nó de dados IOPS

• Restringe o acesso a um único usuário e a um único sub-recurso, o _search API

aws opensearch create-domain \
    --domain-name mylogs \
    --engine-version OpenSearch_1.0 \
    --cluster-config  InstanceType=r6g.xlarge.search,InstanceCount=10,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3 \
    --ebs-options EBSEnabled=true,VolumeType=io1,VolumeSize=100,Iops=1000 \
    --access-policies '{"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::555555555555:root" }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:555555555555:domain/mylogs/_search" } ] }'

nota

Se você tentar criar um domínio OpenSearch de serviço e já existir um domínio com o mesmo nome, CLI ele não relatará um erro. Em vez disso, ela retornará detalhes do domínio existente.

Criação OpenSearch de domínios de serviço ()AWS SDKs

O AWS SDKs (exceto o Android e o iOSSDKs) suporta todas as ações definidas na Amazon OpenSearch Service API Reference, inclusiveCreateDomain. Para obter o código de exemplo, consulte Uso de AWS SDKs para interagir com o Amazon OpenSearch Service. Para obter mais informações sobre como instalar e usar o AWS SDKs, consulte Kits AWS de desenvolvimento de software.

Criação OpenSearch de domínios de serviço ()AWS CloudFormation

OpenSearch O serviço é integrado com AWS CloudFormation, um serviço que ajuda você a modelar e configurar seus AWS recursos para que você possa gastar menos tempo criando e gerenciando seus recursos e infraestrutura. Você cria um modelo que descreve o OpenSearch domínio que você deseja criar e CloudFormation provisiona e configura o domínio para você. Para obter mais informações, incluindo exemplos JSON e YAML modelos de OpenSearch domínios, consulte a referência do tipo de recurso do Amazon OpenSearch Service no Guia do AWS CloudFormation usuário.

Configuração de políticas de acesso

O Amazon OpenSearch Service oferece várias maneiras de configurar o acesso aos seus domínios do OpenSearch Serviço. Para ter mais informações, consulte Gerenciamento de identidade e acesso no Amazon OpenSearch Service e Controle de acesso refinado no Amazon OpenSearch Service.

O console fornece políticas de acesso pré-configuradas que você pode personalizar de acordo com as necessidades específicas de seu domínio. Você também pode importar políticas de acesso de outros domínios do OpenSearch Serviço. Para obter informações sobre como essas políticas de acesso interagem com o VPC acesso, consulteSobre políticas de acesso em VPC domínios.

Para configurar políticas de acesso (console)

1. Vá para e https://aws.amazon.com, em seguida, escolha Entrar no console.

2. Em Analytics, escolha Amazon OpenSearch Service.

3. No painel de navegação, em Domínios, escolha o domínio que deseja atualizar.

4. Escolha Ações e Editar configuração de segurança.

5. Edite a política de JSON acesso ou importe uma opção pré-configurada.

6. Escolha Salvar alterações.

Configurações avançadas do cluster

Use as opções avançadas para configurar o seguinte:

Índices em corpos de solicitações

Especifica se referências explícitas a índices são permitidas dentro do corpo das solicitações. HTTP A definição dessa propriedade como false impede que os usuários ignorem o controle de acesso para sub-recursos. Por padrão, o valor é true. Para obter mais informações, consulte Opções avançadas e considerações sobre a API.

Alocação de cache de dados de campo

Especifica a porcentagem de espaço do heap do Java alocada a dados de campo. Por padrão, essa configuração é 20% da JVM pilha.

nota

Muitos clientes consultam índices alternados diariamente. Recomendamos que você inicie o teste de benchmark indices.fielddata.cache.size configurando 40% do JVM heap para a maioria desses casos de uso. Para índices muito grandes, talvez um cache de dados de campo grande seja necessário.

Contagem máxima de cláusulas

Especifica o número máximo de cláusulas permitidas em uma consulta booliana no Lucene. O padrão é 1.024. Consultas que ultrapassam o número permitido de cláusulas geram o erro TooManyClauses. Para obter mais informações, consulte a documentação do Lucene.