Crear una conexión Vertica - AWS Glue

Crear una conexión Vertica

Requisitos previos:

  • Un bucket o una carpeta de Amazon S3 para utilizar como almacenamiento temporario al leer y escribir en la base de datos, al que hace referencia tempS3Path.

    nota

    Al utilizar Vertica en las vistas previas de los datos de los trabajos de AWS Glue, puede que los archivos temporales no se eliminen automáticamente de tempS3Path. Para garantizar la eliminación de los archivos temporales, finalice directamente la sesión de vista previa de datos al seleccionar Finalizar sesión en el panel Vista previa de datos.

    Si no puede garantizar que la sesión de vista previa de datos finalice directamente, considere configurar Amazon S3 Lifecycle para eliminar los datos antiguos. Recomendamos eliminar los datos de más de 49 horas, en función del tiempo máximo de ejecución del trabajo más un margen. Para obtener más información sobre la configuración de Amazon S3 Lifecycle, consulte Administración del ciclo de vida del almacenamiento en la documentación de Amazon S3.

  • Una política de IAM con los permisos adecuados para su ruta de Amazon S3 que pueda asociar a su puesto de trabajo de AWS Glue.

  • Si su instancia de Vertica está en una Amazon VPC, configure Amazon VPC para permitir que su trabajo de AWS Glue se comunique con la instancia de Vertica sin que el tráfico atraviese la Internet pública.

    En Amazon VPC, identifique o cree una VPC, una subred y un grupo de seguridad que AWS Glue utilizará al ejecutar el trabajo. Además, debe asegurarse de que Amazon VPC esté configurada para permitir el tráfico de red entre su instancia de Vertica y esta ubicación. Su trabajo tendrá que establecer una conexión TCP con el puerto de cliente de Vertica (el valor predeterminado es 5433). Según el diseño de la red, esto puede requerir cambios en las reglas de los grupos de seguridad, las ACL de red, las puertas de enlace de NAT y las conexiones entre pares.

Para configurar una conexión a Vertica:

  1. En AWS Secrets Manager, cree un secreto con sus credenciales de Vertica, verticaUsername y verticaPassword. Para crear un secreto en Secrets Manager, siga el tutorial disponible en Crear un secreto AWS Secrets Manager en la documentación AWS Secrets Manager. Después de crear el secreto, conserve el nombre secreto, secretName, para el siguiente paso.

    • Al seleccionar pares clave/valor, genere un par para la clave user con el valor verticaUsername.

    • Al seleccionar pares clave/valor, genere un par para la clave password con el valor verticaPassword.

  2. En la consola de AWS Glue, genere una conexión mediante los pasos que se indican en Adición de una conexión de AWS Glue. Tras crear la conexión, conserve el nombre de la conexión, connectionName, para el siguiente paso.

    • Al seleccionar un tipo de conexión, seleccione Vertica.

    • Al seleccionar Vertica Host, proporcione el nombre de host de la instalación de Vertica.

    • Al seleccionar Vertica Port, proporcione el portal a través del cual está disponible su instalación de Vertica.

    • Al seleccionar un secreto AWS, proporcione un secretName.

  3. En las siguientes situaciones, es posible que necesite una configuración adicional:

    • Para las instancias de Vertica alojadas en AWS en una VPC de Amazon

      • Proporcione la información de conexión de Amazon VPC a la conexión de AWS Glue que define sus credenciales de seguridad de Vertica. Al crear o actualizar la conexión, configure los VPC, Subred y los grupos de seguridad en Opciones de red.

Deberá realizar los siguientes pasos antes de ejecutar su trabajo de AWS Glue:

  • Otorga permisos al rol de IAM asociado al trabajo de AWS Glue para tempS3Path.

  • Otorga permiso al rol de IAM asociado al trabajo de AWS Glue para leer el secretName.