Usando um AWS CloudFormation modelo para iniciar a replicação do Neptune-to-- OpenSearch - Amazon Neptune

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando um AWS CloudFormation modelo para iniciar a replicação do Neptune-to-- OpenSearch

Lance um AWS CloudFormation pilha específica para sua região

Cada um dos AWS CloudFormation os modelos abaixo criam uma instância de aplicativo streams-consumer em uma instância específica AWS região. Para iniciar a pilha correspondente usando o AWS CloudFormation console, escolha um dos botões do Launch Stack na tabela a seguir, dependendo do AWS Região que você deseja usar.

Região Visualização Visualizar no Designer Executar
Leste dos EUA (Norte da Virgínia) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Leste dos EUA (Ohio) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Oeste dos EUA (N. da Califórnia) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Oeste dos EUA (Oregon) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Canadá (Central) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
América do Sul (São Paulo) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Estocolmo) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Irlanda) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Londres) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Paris) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Espanha) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Europa (Frankfurt) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Oriente Médio (Barém) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Oriente Médio (UAE) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Israel (Tel Aviv) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
África (Cidade do Cabo) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Hong Kong) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Tóquio) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Seul) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Singapura) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Jacarta) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
Ásia-Pacífico (Mumbai) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
China (Pequim) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
China (Ningxia) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
AWS GovCloud (Oeste dos EUA) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.
AWS GovCloud (Leste dos EUA) Visão Visualizar no Designer Orange button labeled "Launch Stack" with an arrow icon.

Na página Create Stack (Criar pilha), selecione Next (Avançar).

Adicione detalhes sobre a nova OpenSearch pilha que você está criando

A página Especificar detalhes da pilha fornece propriedades e parâmetros que você pode usar para controlar a configuração da pesquisa de texto completo.

Nome da pilha — O nome do novo AWS CloudFormation pilha que você está criando. Geralmente, você pode usar o valor padrão, NeptuneStreamPoller.

Em Parameters (Parâmetros), forneça o seguinte:

Configuração de rede para o VPC local em que o consumidor do Streams é executado
  • VPC— Forneça o nome de VPC onde a função Lambda de pesquisa será executada.

  • List of Subnet IDs: as sub-redes para as quais será estabelecida uma interface de rede. Adicione sub-redes correspondentes ao cluster do Neptune.

  • List of Security Group Ids— Forneça os grupos IDs de segurança que concedem acesso de entrada de gravação ao seu cluster de banco de dados Neptune de origem.

  • List of Route Table Ids— Isso é necessário para criar um endpoint do Amazon DynamoDB em seu VPC Neptune, caso você ainda não tenha um. Você deve fornecer uma lista separada por vírgulas da tabela de rotas IDs associada às sub-redes.

  • Require to create Dynamo DB VPC Endpoint: um valor booliano predefinido como true. Você só precisa alterá-lo para false se já tiver criado um endpoint do DynamoDB no seu. VPC

  • Require to create Monitoring VPC Endpoint: um valor booliano predefinido como true. Você só precisa alterá-lo para false se já tiver criado um endpoint de monitoramento no seuVPC.

Instrumento de sondagem de fluxos
  • Application Name: geralmente, você pode manter a configuração padrão (NeptuneStream). Se você usar um nome diferente, ele deverá ser exclusivo.

  • Memory size for Lambda Poller: usado para definir o tamanho da memória disponível para a função do instrumento de sondagem do Lambda. O valor padrão é de 2.048 megabytes.

  • Lambda Runtime: a linguagem usada na função do Lambda que recupera os itens do fluxo do Neptune. É possível definir como python3.9 ou java8.

  • S3 Bucket having Lambda code artifacts: deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda, carregada em um bucket do S3 diferente.

  • S3 Key corresponding to Lambda Code artifacts: deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda.

  • StartingCheckpoint: o ponto de verificação inicial do instrumento de sondagem de fluxos. O padrão é 0:0, o que significa começar do início do fluxo do Neptune.

  • StreamPollerInitialState: o estado inicial do instrumento de sondagem. O padrão é ENABLED, o que significa que a replicação de fluxos começará assim que a criação de toda a pilha for concluída.

  • Logging level for Lambda: em geral, mantenha o valor padrão, INFO.

  • Managed Policies for Lambda Execution: em geral, deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda.

  • Stream Records Handler: em geral, deixe em branco, a menos que esteja usando um manipulador personalizado para os registros nos fluxos do Neptune.

  • Maximum records Fetched from Stream: é possível usar esse parâmetro para ajustar o desempenho. Recomendamos iniciar com o valor padrão (100). O máximo permitido é 10.000. Quanto maior o número, menor serão as chamadas de rede necessárias para ler os registros do fluxo, mas maior será a memória necessária para processar os registros.

  • Max wait time between two Polls (in Seconds): determina com que frequência o instrumento de sondagem do Lambda será invocado para sondar os fluxos do Neptune. Defina esse valor como 0 para a sondagem contínua. O valor máximo é de 3.600 segundos (1 hora). Recomendamos o valor padrão (60 segundos) para começar, dependendo da rapidez com que os dados do gráfico mudam.

  • Maximum Continuous polling period (in Seconds): usado para definir um tempo limite para a função de sondagem do Neptune. Deve ser entre 5 segundos e 900 segundos. Recomendamos começar com o valor padrão (600 segundos).

  • Step Function Fallback Period— O número de step-function-fallback-period unidades que aguardam o pesquisador, após o qual a função de etapa é chamada por meio do Amazon CloudWatch Events para se recuperar de uma falha. Recomendamos iniciar com o valor padrão (5 minutos).

  • Step Function Fallback Period Unit: as unidades de tempo usadas para medir o Step Function Fallback Period anterior (minutos, horas, dias). Em geral, o padrão (minutos) é suficiente.

  • Data replication scope— Determina se devemos replicar os nós e as bordas, ou somente os nós para OpenSearch (isso se aplica somente aos dados do mecanismo Gremlin). Recomendamos começar com o valor padrão (All).

  • Ignore OpenSearch missing document error— Sinalize para determinar se um erro de documento ausente OpenSearch pode ser ignorado. Erros de documentos ausentes ocorrem raramente, mas precisarão de intervenção manual se não forem ignorados. Em geral, o valor padrão (True) é um bom ponto de partida.

  • Enable Non-String Indexing: sinalizador para habilitar ou desabilitar a indexação de campos que não têm conteúdo de string. Se esse sinalizador estiver definido comotrue, campos que não sejam de string serão indexados ou OpenSearch, sefalse, somente campos de string serão indexados. O padrão é true.

  • Properties to exclude from being inserted into OpenSearch— Uma lista delimitada por vírgulas de chaves de propriedade ou predicado a serem excluídas da indexação. OpenSearch Se esse valor de CFN parâmetro for deixado em branco, todas as chaves de propriedade serão indexadas.

  • Datatypes to exclude from being inserted into OpenSearch— Uma lista delimitada por vírgula de tipos de dados de propriedades ou predicados a serem excluídos da indexação. OpenSearch Se esse valor de CFN parâmetro for deixado em branco, todos os valores de propriedade que podem ser convertidos com segurança em OpenSearch tipos de dados serão indexados.

Fluxo do Neptune
  • Endpoint of source Neptune Stream: (obrigatório) assume um dos dois formatos:

    • https://your DB cluster:port/propertygraph/stream (ou o alias, https://your DB cluster:port/pg/stream).

    • https://your DB cluster:port/sparql/stream

  • Neptune Query Engine— Escolha Gremlin ou. SPARQL

  • Is IAM Auth Enabled?— Se seu cluster de banco de dados Neptune estiver IAM usando autenticação, defina esse parâmetro como. true

  • Neptune Cluster Resource Id— Se seu cluster de banco de dados Neptune estiver IAM usando autenticação, defina esse parâmetro como o ID do recurso do cluster. O ID do recurso não é igual ao ID do cluster. Em vez disso, o formato é: cluster- seguido por 28 caracteres alfanuméricos. Ele pode ser encontrado em Detalhes do cluster no console do Neptune.

OpenSearch Cluster de destino
  • Endpoint for OpenSearch service— (Obrigatório) Forneça o endpoint para o OpenSearch serviço em seuVPC.

  • Number of Shards for OpenSearch Index: o valor padrão (cinco) geralmente é um bom ponto de partida.

  • Number of Replicas for OpenSearch Index: o valor padrão (um) geralmente é um bom ponto de partida.

  • Geo Location Fields for Mapping: se você estiver usando os campos de geolocalização, liste as chaves de propriedade aqui.

Alarme
  • Require to create Cloud watch Alarm— Defina isso true se quiser criar um CloudWatch alarme para a nova pilha.

  • SNS Topic ARN for Cloudwatch Alarm Notifications— O SNS tópico para o ARN qual as notificações de CloudWatch alarme devem ser enviadas (necessário somente se os alarmes estiverem ativados).

  • Email for Alarm Notifications: o endereço de e-mail para o qual as notificações de alarme devem ser enviadas (somente necessário se os alarmes estiverem habilitados).

Para o destino da notificação de alarme, você pode adicionar SNS somente, somente e-mail ou ambos SNS e e-mail.

Execute o AWS CloudFormation Modelo

Agora é possível concluir o processo de provisionamento de uma instância de aplicação do consumidor de fluxos do Neptune da seguinte forma:

  1. Em AWS CloudFormation, na página Especificar detalhes da pilha, escolha Avançar.

  2. Na página Options (Opções), escolha Next (Avançar).

  3. Na página Revisar, marque a primeira caixa de seleção para confirmar que AWS CloudFormation criará IAM recursos. Marque a segunda caixa de seleção para confirmar CAPABILITY_AUTO_EXPAND para a nova pilha.

    nota

    CAPABILITY_AUTO_EXPAND confirma explicitamente que os macros serão expandidos ao criar a pilha, sem revisão anterior. Os usuários geralmente criam um conjunto de alterações a partir de um modelo processado para que as alterações feitas pelos macros possam ser revisadas antes de criar a pilha. Para obter mais informações, consulte o AWS CloudFormation CreateStackAPIoperação no AWS CloudFormation APIReferência.

    Em seguida, selecione Criar.