Uso de AWS CloudFormation una plantilla para iniciar la replicación Neptune-to-OpenSearch

Lanza una AWS CloudFormation pila específica para tu región

Cada una de las AWS CloudFormation plantillas siguientes crea una instancia de aplicación streams-consumer en una región específica AWS . Para lanzar la pila correspondiente mediante la AWS CloudFormation consola, selecciona uno de los botones de lanzar la pila de la siguiente tabla, en función de la AWS región que quieras usar.

Región	Visualización	Ver en Designer	iniciar
Este de EE. UU. (Norte de Virginia)	Ver	Ver en Designer
Este de EE. UU. (Ohio)	Ver	Ver en Designer
Oeste de EE. UU. (Norte de California)	Ver	Ver en Designer
Oeste de EE. UU. (Oregón)	Ver	Ver en Designer
Canadá (centro)	Ver	Ver en Designer
América del Sur (São Paulo)	Ver	Ver en Designer
Europa (Estocolmo)	Ver	Ver en Designer
Europe (Irlanda)	Ver	Ver en Designer
Europe (Londres)	Ver	Ver en Designer
Europa (París)	Ver	Ver en Designer
Europa (España)	Ver	Ver en Designer
Europe (Fráncfort)	Ver	Ver en Designer
Medio Oriente (Baréin)	Ver	Ver en Designer
Oriente Medio (UAE)	Ver	Ver en Designer
Israel (Tel Aviv)	Ver	Ver en Designer
África (Ciudad del Cabo)	Ver	Ver en Designer
Asia-Pacífico (Hong Kong)	Ver	Ver en Designer
Asia-Pacífico (Tokio)	Ver	Ver en Designer
Asia-Pacífico (Seúl)	Ver	Ver en Designer
Asia-Pacífico (Singapur)	Ver	Ver en Designer
Asia-Pacífico (Yakarta)	Ver	Ver en Designer
Asia Pacific (Bombay)	Ver	Ver en Designer
China (Pekín)	Ver	Ver en Designer
China (Ningxia)	Ver	Ver en Designer
AWS GovCloud (Estados Unidos-Oeste)	Ver	Ver en Designer
AWS GovCloud (Estados Unidos-Este)	Ver	Ver en Designer

En la página Create Stack (Crear pila), elija Next (Siguiente).

Agrega detalles sobre la nueva OpenSearch pila que estás creando

En la página Especificar los detalles de la pila, se proporcionan las propiedades y los parámetros que puede utilizar para controlar la configuración de la búsqueda de texto completo:

Nombre de la pila: el nombre de la nueva AWS CloudFormation pila que está creando. Por lo general puede utilizar el valor predeterminado, NeptuneStreamPoller.

En Parámetros, proporcione lo siguiente:

Configuración de red para la ubicación de VPC Where the Streams Consumer

• VPC— Indique el nombre del VPC lugar en el que se ejecutará la función Lambda de sondeo.

• List of Subnet IDs: las subredes en las que se establece una interfaz de red. Añada las subredes correspondientes a su clúster de Neptune.

• List of Security Group Ids— Proporcione los grupos IDs de seguridad que otorgan acceso de escritura entrante a su clúster de base de datos Neptune de origen.

• List of Route Table Ids— Esto es necesario para crear un punto de conexión de Amazon DynamoDB en su VPC Neptune, si aún no tiene uno. Debe proporcionar una lista separada por comas de la tabla de rutas asociada a las subredes. IDs

• Require to create Dynamo DB VPC Endpoint: un valor booleano que, de forma predeterminada, es true. Solo tiene que cambiarlo a false si ya ha creado un punto de conexión de DynamoDB en su. VPC

• Require to create Monitoring VPC Endpoint: un valor booleano que, de forma predeterminada, es true. Solo necesita cambiarlo false si ya ha creado un punto final de supervisión en su. VPC

Sondeador de flujo

• Application Name: por lo general, puede dejar esta opción con el valor predeterminado (NeptuneStream). Si utiliza un nombre diferente, debe ser único.

• Memory size for Lambda Poller: se utiliza para establecer el tamaño de memoria disponible para la función de sondeo de Lambda. El valor predeterminado es 2048 megabytes.

• Lambda Runtime: el lenguaje utilizado en la función de Lambda que recupera elementos del flujo de Neptune. Puede configurarlo en python3.9 o en java8.

• S3 Bucket having Lambda code artifacts: deje este campo en blanco a menos que utilice una función de sondeo de Lambda personalizada que se cargue desde un bucket de S3 diferente.

• S3 Key corresponding to Lambda Code artifacts: deje este campo en blanco a menos que utilice una función de sondeo de Lambda personalizada.

• StartingCheckpoint: el punto de control inicial del sondeador de flujos. El valor predeterminado es 0:0, lo que significa comenzar desde el principio del flujo de Neptune.

• StreamPollerInitialState: el estado inicial del sondeador. El valor predeterminado es ENABLED, lo que significa que la replicación del flujo se iniciará en cuanto se complete la creación de toda la pila.

• Logging level for Lambda: en general, deje esta opción con el valor predeterminado, INFO.

• Managed Policies for Lambda Execution: en general, deje este campo en blanco a menos que utilice una función de sondeo de Lambda personalizada.

• Stream Records Handler: en general, deje este campo en blanco a menos que utilice un controlador personalizado para los registros en los flujos de Neptune.

• Maximum records Fetched from Stream: puede utilizar este parámetro para ajustar el rendimiento. El valor predeterminado (100) es un buen lugar para empezar. El valor máximo permitido es 10 000. Cuanto mayor sea el número, menos llamadas de red se necesitan para leer registros del flujo, pero más memoria se precisa para procesar los registros.

• Max wait time between two Polls (in Seconds): determina la frecuencia con la que se invoca el sondeador de Lambda para sondear los flujos de Neptune. Establezca este valor en 0 para un sondeo continuo. El valor máximo es de 3600 segundos (1 hora). El valor predeterminado (60 segundos) es un buen lugar para empezar según la velocidad con la que cambien los datos del gráfico.

• Maximum Continuous polling period (in Seconds): se utiliza para establecer un tiempo de espera para la función de sondeo de Lambda. Debería estar entre 5 segundos y 900 segundos. El valor predeterminado (600 segundos) es un buen lugar para empezar.

• Step Function Fallback Period— El número de step-function-fallback-period unidades que esperarán al sondeador, tras lo cual se invoca la función step a través de Amazon CloudWatch Events para recuperarse de un fallo. El valor predeterminado (5 minutos) es un buen lugar para empezar.

• Step Function Fallback Period Unit: las unidades de tiempo utilizadas para medir el Step Function Fallback Period anterior (minutos, horas, días). El valor predeterminado generalmente es suficiente (minutos).

• Data replication scope— Determina si se debe replicar tanto en los nodos como en los bordes, o solo en los nodos OpenSearch (esto se aplica únicamente a los datos del motor Gremlin). El valor predeterminado (All) es un buen lugar para empezar por lo general.

• Ignore OpenSearch missing document error— Marca para determinar si se OpenSearch puede ignorar un error en un documento faltante. Los errores de falta de documentos se producen en raras ocasiones, pero necesitan intervención manual si no se ignoran. El valor predeterminado (True) suele ser un buen lugar para empezar.

• Enable Non-String Indexing: indicador para habilitar o deshabilitar la indexación de campos que no tienen contenido de cadena. Si este indicador está establecido en true OpenSearch, los campos que no son cadenas se indexan o si false solo se indexan los campos de cadena. El valor predeterminado es true.

• Properties to exclude from being inserted into OpenSearch— Una lista delimitada por comas de claves de propiedades o predicados para excluirlas de la indexación. OpenSearch Si el valor de este CFN parámetro se deja en blanco, se indexan todas las claves de propiedad.

• Datatypes to exclude from being inserted into OpenSearch— Una lista delimitada por comas de tipos de datos de propiedades o predicados para excluirlos de la indexación. OpenSearch Si el valor de este CFN parámetro se deja en blanco, se indexan todos los valores de propiedad que se puedan convertir de forma segura en tipos de datos. OpenSearch

Flujo de Neptune

• Endpoint of source Neptune Stream: (obligatorio) adopta una de estas dos formas:

  • https://your DB cluster:port/propertygraph/stream (o su alias, https://your DB cluster:port/pg/stream).

  • https://your DB cluster:port/sparql/stream

• Neptune Query Engine— Elija Gremlin o. SPARQL

• Is IAM Auth Enabled?— Si su clúster de base de datos de Neptune utiliza la IAM autenticación, defina este parámetro en. true

• Neptune Cluster Resource Id— Si su clúster de base de datos de Neptune utiliza la IAM autenticación, defina este parámetro en el ID de recurso del clúster. El ID del recurso no es el mismo que el ID del clúster. En su lugar, adopta el formato: cluster- seguido de 28 caracteres alfanuméricos. Se puede encontrar en Detalles del clúster en la consola de Neptune.

Clúster de destino OpenSearch

• Endpoint for OpenSearch service— (Obligatorio) Proporcione el punto final del OpenSearch servicio en suVPC.

• Number of Shards for OpenSearch Index: el valor predeterminado (5) suele ser un buen lugar para empezar.

• Number of Replicas for OpenSearch Index: el valor predeterminado (1) suele ser un buen lugar para empezar.

• Geo Location Fields for Mapping: si utiliza campos de geolocalización, enumere las claves de propiedad aquí.

Alarma

• Require to create Cloud watch Alarm— true Configúrelo en si desea crear una CloudWatch alarma para la nueva pila.

• SNS Topic ARN for Cloudwatch Alarm Notifications— El SNS tema al que ARN se deben enviar las notificaciones de CloudWatch alarma (solo es necesario si las alarmas están activadas).

• Email for Alarm Notifications: la dirección de correo electrónico a la que se deben enviar las notificaciones de alarma (solo es necesaria si las alarmas están activadas).

Como destino de la notificación de alarma, puede añadir SNS solo el correo electrónico o ambos SNS y el correo electrónico.

Ejecute la AWS CloudFormation plantilla

Ahora puede completar el proceso de aprovisionamiento de una instancia de aplicación de consumidor de flujos de Neptune de la siguiente manera:

1. En AWS CloudFormation, en la página Especificar los detalles de la pila, seleccione Siguiente.

2. En la página Opciones, seleccione Siguiente.

3. En la página de revisión, active la primera casilla de verificación para confirmar que AWS CloudFormation se crearán IAM recursos. Seleccione la segunda casilla para confirmar CAPABILITY_AUTO_EXPAND para la nueva pila.

   nota

   CAPABILITY_AUTO_EXPAND confirma explícitamente que las macros se expandirán al crear la pila, sin revisión previa. Los usuarios suelen crear un conjunto de cambios a partir de una plantilla procesada para que los cambios realizados por las macros puedan revisarse antes de crear la pila. Para obtener más información, consulte la AWS CloudFormation CreateStackAPIoperación en la AWS CloudFormation APIReferencia.

   A continuación, seleccione Crear.