O uso do AWS CloudFormation para configurar a replicação de Neptune-para-Neptune com o aplicativo Streams Consumer

Você pode usar um AWS CloudFormation modelo para configurar o aplicativo consumidor do Neptune Streams para oferecer suporte à replicação de Netuno para Netuno.

Escolha um AWS CloudFormation modelo para sua região

Para lançar o apropriado AWS CloudFormation pilha no AWS CloudFormation console, escolha um dos botões do Launch Stack na tabela a seguir, dependendo do AWS Região que você deseja usar.

Região	Visualização	Visualizar no Designer	Executar
Leste dos EUA (Norte da Virgínia)	Visão	Visualizar no Designer
Leste dos EUA (Ohio)	Visão	Visualizar no Designer
Oeste dos EUA (N. da Califórnia)	Visão	Visualizar no Designer
Oeste dos EUA (Oregon)	Visão	Visualizar no Designer
Canadá (Central)	Visão	Visualizar no Designer
América do Sul (São Paulo)	Visão	Visualizar no Designer
Europa (Estocolmo)	Visão	Visualizar no Designer
Europa (Irlanda)	Visão	Visualizar no Designer
Europa (Londres)	Visão	Visualizar no Designer
Europa (Paris)	Visão	Visualizar no Designer
Europa (Frankfurt)	Visão	Visualizar no Designer
Oriente Médio (Barém)	Visão	Visualizar no Designer
Oriente Médio (UAE)	Visão	Visualizar no Designer
Israel (Tel Aviv)	Visão	Visualizar no Designer
África (Cidade do Cabo)	Visão	Visualizar no Designer
Ásia-Pacífico (Tóquio)	Visão	Visualizar no Designer
Ásia-Pacífico (Hong Kong)	Visão	Visualizar no Designer
Ásia-Pacífico (Seul)	Visão	Visualizar no Designer
Ásia-Pacífico (Singapura)	Visão	Visualizar no Designer
Ásia-Pacífico (Sydney)	Visão	Visualizar no Designer
Ásia-Pacífico (Mumbai)	Visão	Visualizar no Designer
China (Pequim)	Visão	Visualizar no Designer
China (Ningxia)	Visão	Visualizar no Designer
AWS GovCloud (Oeste dos EUA)	Visão	Visualizar no Designer
AWS GovCloud (Leste dos EUA)	Visão	Visualizar no Designer

Na página Create Stack (Criar pilha), selecione Next (Avançar).

Adicionar detalhes sobre a pilha de consumidor de fluxos do Neptune que você está criando

A página Specify Stack Details (Especificar detalhes da pilha) fornece propriedades e parâmetros que você pode usar para controlar a configuração do aplicativo:

Nome da pilha — O nome do novo AWS CloudFormation pilha que você está criando. Geralmente, você pode usar o valor padrão, NeptuneStreamPoller.

Em Parameters (Parâmetros), forneça o seguinte:

Configuração de rede para o VPC Onde o consumidor de streams é executado

• VPC— Forneça o nome de VPC onde a função Lambda de pesquisa será executada.

• SubnetIDs: as sub-redes para as quais será estabelecida uma interface de rede. Adicione sub-redes correspondentes ao cluster do Neptune.

• SecurityGroupIds— Forneça os grupos IDs de segurança que concedem acesso de entrada de gravação ao seu cluster de banco de dados Neptune de origem.

• RouteTableIds— Isso é necessário para criar um endpoint do Amazon DynamoDB em seu VPC Neptune, caso você ainda não tenha um. Você deve fornecer uma lista separada por vírgulas da tabela de rotas IDs associada às sub-redes.

• CreateDDBVPCEndPoint— Um valor booleano cujo padrão étrue, indicando se é necessário ou não criar um endpoint do Dynamo DB. VPC Você só precisa alterá-lo para false se já tiver criado um endpoint do DynamoDB no seu. VPC

• CreateMonitoringEndPoint— Um valor booleano cujo padrão étrue, indicando se é necessário ou não criar um endpoint de monitoramento. VPC Você só precisa alterá-lo para false se já tiver criado um endpoint de monitoramento no seuVPC.

Instrumento de sondagem de fluxos

• ApplicationName: geralmente, você pode manter a configuração padrão (NeptuneStream). Se você usar um nome diferente, ele deverá ser exclusivo.

• LambdaMemorySize: usado para definir o tamanho da memória disponível para a função do instrumento de sondagem do Lambda. O valor padrão é de 2.048 megabytes.

• LambdaRuntime: a linguagem usada na função do Lambda que recupera os itens do fluxo do Neptune. É possível definir como python3.9 ou java8.

• LambdaS3Bucket: o bucket do Amazon S3 que contém artefatos de código do Lambda. Deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda, carregada em outro bucket do Amazon S3.

• LambdaS3Key: a chave do Amazon S3 que corresponde aos seus artefatos de código do Lambda. Deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda.

• LambdaLoggingLevel: em geral, mantenha a configuração padrão, que é INFO.

• ManagedPolicies: lista as políticas gerenciadas a serem usadas na execução da função do Lambda. Em geral, deixe em branco, a menos que esteja usando uma função de sondagem personalizada do Lambda.

• StreamRecordsHandler: em geral, deixe em branco, a menos que esteja usando um manipulador personalizado para os registros nos fluxos do Neptune.

• StreamRecordsBatchSize: o número máximo de registros a serem obtidos no fluxo. É possível usar esse parâmetro para ajustar o desempenho. Recomendamos iniciar com o valor padrão (5000). O máximo permitido é 10.000. Quanto maior o número, menor serão as chamadas de rede necessárias para ler os registros do fluxo, mas maior será a memória necessária para processar os registros. Valores mais baixos desse parâmetro geram uma menor taxa de transferência.

• MaxPollingWaitTime: o tempo máximo de espera entre duas pesquisas (em segundos). Determina com que frequência o instrumento de sondagem do Lambda será invocado para sondar os fluxos do Neptune. Defina esse valor como 0 para a sondagem contínua. O valor máximo é de 3.600 segundos (1 hora). Recomendamos o valor padrão (60 segundos) para começar, dependendo da rapidez com que os dados do gráfico mudam.

• MaxPollingInterval: o período máximo de sondagem contínua (em segundos). Use isso para definir um tempo limite para a função de sondagem do Lambda. O valor deve estar no intervalo entre cinco segundos e novecentos segundos. Recomendamos começar com o valor padrão (600 segundos).

• StepFunctionFallbackPeriod— O número de unidades de step-function-fallback-period espera pelo poller, após o qual a função step é chamada por meio do Amazon CloudWatch Events para se recuperar de uma falha. Recomendamos iniciar com o valor padrão (5 minutos).

• StepFunctionFallbackPeriodUnit: as unidades de tempo usadas para medir o StepFunctionFallbackPeriodUnit anterior (minutes, hours ou days). Em geral, o padrão (minutes) é suficiente.

Fluxo do Neptune

• NeptuneStreamEndpoint: (obrigatório) o endpoint do fluxo de origem do Neptune. Isso assume uma destas duas formas:

  • https://your DB cluster:port/propertygraph/stream (ou o alias, https://your DB cluster:port/pg/stream).

  • https://your DB cluster:port/sparql/stream.

• Neptune Query Engine— Escolha Gremlin,openCypher, ou. SPARQL

• IAMAuthEnabledOnSourceStream— Se seu cluster de banco de dados Neptune estiver IAM usando autenticação, defina esse parâmetro como. true

• StreamDBClusterResourceId— Se seu cluster de banco de dados Neptune estiver IAM usando autenticação, defina esse parâmetro como o ID do recurso do cluster. O ID do recurso não é igual ao ID do cluster. Em vez disso, o formato é: cluster- seguido por 28 caracteres alfanuméricos. Ele pode ser encontrado em Detalhes do cluster no console do Neptune.

Cluster de banco de dados do Neptune de destino

• TargetNeptuneClusterEndpoint: o endpoint do cluster (somente nome do host) do cluster de backup de destino.

  Observe que, se você especificar TargetNeptuneClusterEndpoint, não poderá especificar TargetSPARQLUpdateEndpoint.

• TargetNeptuneClusterPort: o número da porta do cluster de destino.

  Observe que, se você especificar TargetSPARQLUpdateEndpoint, a configuração de TargetNeptuneClusterPort será ignorada.

• IAMAuthEnabledOnTargetCluster— Defina como verdadeiro se a IAM autenticação precisar ser habilitada no cluster de destino.

• TargetAWSRegion— O cluster de backup de destino AWS região, comous-east-1). Você deve fornecer esse parâmetro somente quando o AWS a região do cluster de backup de destino é diferente da região do cluster de origem do Neptune, como no caso da replicação entre regiões. Se as regiões de origem e de destino forem iguais, esse parâmetro será opcional.

  Observe que, se o TargetAWSRegion valor não for válido AWS região que Netuno suporta, o processo falha.

• TargetNeptuneDBClusterResourceId— Opcional: isso só é necessário quando a IAM autenticação está habilitada no cluster de banco de dados de destino. Defina como o ID do recurso do cluster de destino.

• SPARQLTripleOnlyMode: sinalizador booliano que determina se o modo somente triplo está habilitado. No modo somente triplo, não há replicação de grafo nomeado. O valor padrão é false.

• TargetSPARQLUpdateEndpoint— URL do endpoint de destino para SPARQL atualização, comohttps://abc.com/xyz. Esse endpoint pode ser qualquer SPARQL loja que ofereça suporte a quádruplos ou triplos.

  Observe que, se você especificar TargetSPARQLUpdateEndpoint, também não poderá especificar TargetNeptuneClusterEndpoint e a configuração de TargetNeptuneClusterPort será ignorada.

• BlockSparqlReplicationOnBlankNode — Sinalizador booleano que, se definido comotrue, interrompe a replicação dos dados BlankNode in SPARQL (RDF). O valor padrão é false.

Alarme

• Required to create Cloud watch Alarm— Defina isso true se quiser criar um CloudWatch alarme para a nova pilha.

• SNS Topic ARN for Cloudwatch Alarm Notifications— O SNS tópico para o ARN qual as notificações de CloudWatch alarme devem ser enviadas (necessário somente se os alarmes estiverem ativados).

• Email for Alarm Notifications: o endereço de e-mail para o qual as notificações de alarme devem ser enviadas (somente necessário se os alarmes estiverem habilitados).

Para o destino da notificação de alarme, você pode adicionar SNS somente, somente e-mail ou ambos SNS e e-mail.

Execute o AWS CloudFormation Modelo

Agora é possível concluir o processo de provisionamento de uma instância de aplicação do consumidor de fluxos do Neptune da seguinte forma:

1. Em AWS CloudFormation, na página Especificar detalhes da pilha, escolha Avançar.

2. Na página Options (Opções), escolha Next (Avançar).

3. Na página Revisar, marque a primeira caixa de seleção para confirmar que AWS CloudFormation criará IAM recursos. Marque a segunda caixa de seleção para confirmar CAPABILITY_AUTO_EXPAND para a nova pilha.

   nota

   CAPABILITY_AUTO_EXPAND confirma explicitamente que os macros serão expandidos ao criar a pilha, sem revisão anterior. Os usuários geralmente criam um conjunto de alterações a partir de um modelo processado para que as alterações feitas pelos macros possam ser revisadas antes de criar a pilha. Para obter mais informações, consulte AWS CloudFormation CreateStackAPIno AWS CloudFormation APIReferência.

   Em seguida, selecione Criar.

Como atualizar o instrumento de sondagem de fluxos com os artefatos mais recentes do Lambda

É possível atualizar o instrumento de sondagem de fluxos com os artefatos de código mais recentes do Lambda:

1. No painel, AWS Management Console, navegue até AWS CloudFormation e selecione o pai principal AWS CloudFormation pilha.

2. Selecione a opção Atualizar para a pilha.

3. Selecione Substituir modelo atual.

4. Para a fonte do modelo, escolha Amazon S3 URL e insira o seguinte S3: URL

   https://aws-neptune-customer-samples.s3.amazonaws.com/neptune-stream/neptune_to_neptune.json

5. Selecione Avançar sem alterar nada AWS CloudFormation parâmetros.

6. Escolha Update Stack (Atualizar pilha).

A pilha agora atualizará os artefatos do Lambda com os mais recentes.