Creación de una conexión Kafka

Al crear una conexión Kafka, si se selecciona la opción Kafka en el menú desplegable, se mostrarán configuraciones adicionales que puede establecer:

• Detalles del clúster de Kafka

• Autenticación

• Cifrado

• Opciones de red

Configuración del clúster de Kafka

1. Elija la ubicación del clúster. Puede elegir entre un streaming administrado de Amazon para un clúster Apache Kafka (MSK o un clúster Apache Kafka administrado por el cliente. Para obtener más información sobre streaming administrado de Amazon para Apache Kafka, consulte Amazon managed streaming for Apache Kafka (MSK).

   nota

   Amazon Managed Streaming for Apache Kafka solo admite métodos de autenticación TLS y SASL/SCRAM-SHA-512.

   

2. Ingrese las URL de sus servidores Bootstrap de Kafka. Puede ingresar más de uno separando cada servidor por una coma. Incluya el número de puerto al final de la URL agregando :<port number>.

   Por ejemplo: b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

Seleccione un método de autenticación

AWS Glue admite el marco de autenticación simple y capa de seguridad (SASL) para la autenticación. El esquema SASL es compatible con distintos mecanismos de autenticación; AWS Glue ofrece los protocolos SCRAM (nombre de usuario y contraseña), GSSAPI (protocolo Kerberos) y PLAIN (nombre de usuario y contraseña).

Al elegir un método de autenticación en el menú desplegable, se pueden seleccionar los siguientes métodos de autenticación de clientes:

• Ninguno: sin autenticación. Esto resulta útil si crea una conexión con fines de prueba.

• SASL/SCRAM-SHA-512: elija este método de autenticación para especificar credenciales de autenticación. Existen dos opciones disponibles:

  • Utilizar AWS Secrets Manager (recomendado): si selecciona esta opción, puede almacenar sus credenciales en AWS Secrets Manager y dejar que AWS Glue acceda a la información cuando sea necesario. Especificar el secreto donde están almacenadas las credenciales de autenticación SSL o SASL.

    

  • Brinde de manera directa un usuario y una contraseña.

• SASL/GSSAPI (Kerberos): si selecciona esta opción, puede seleccionar la ubicación del archivo keytab, el archivo krb5.conf e ingresar el nombre principal y el nombre del servicio de Kerberos. Las ubicaciones de los archivos keytab y krb5.conf deben estar en una ubicación de Simple Storage Service (Amazon S3). Dado que MSK aún no admite SASL/GSSAPI, esta opción solo está disponible para clústeres Apache Kafka administrados por el cliente. Para obtener más información, consulte MIT Kerberos Documentation: Keytab (Documentación de MIT Kerberos: Keytab).

• SASL/PLAIN: seleccione este método de autenticación para especificar las credenciales de autenticación. Existen dos opciones disponibles:

  • Utilizar AWS Secrets Manager (recomendado): si selecciona esta opción, puede almacenar sus credenciales en AWS Secrets Manager y dejar que AWS Glue acceda a la información cuando sea necesario. Especificar el secreto donde están almacenadas las credenciales de autenticación SSL o SASL.

  • Brinde de manera directa un usuario y una contraseña.

• Autenticación de cliente SSL: si selecciona esta opción, puede seleccionar la ubicación del almacén de claves del cliente Kafka navegando por Simple Storage Service (Amazon S3). Opcionalmente, puede ingresar la contraseña del almacén de claves del cliente Kafka y la contraseña de clave de cliente Kafka.

Establecimiento de la configuración de cifrado

1. Si la conexión Kafka requiere una conexión SSL, active la casilla de verificación de Require SSL connection (Requerir conexión SSL). Tenga en cuenta que la conexión fallará si no puede conectarse a través de SSL. El SSL para el cifrado es opcional y puede utilizarse con cualquier método de autenticación (como SASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAIN o SSL Client Authentication).

   Si el método de autenticación se establece en SSL client authentication (Autenticación de cliente SSL), esta opción se seleccionará automáticamente y se desactivará para evitar cambios.

2. (Opcional). Elija la ubicación del certificado privado de la entidad de certificación (CA). Tenga en cuenta que la ubicación de la certificación debe estar en una ubicación de S3. Elija la opción Browse (Explorar) para elegir el archivo de un bucket de S3 conectado. La ruta debe tener el formato s3://bucket/prefix/filename.pem. Debe terminar con el nombre de archivo y la extensión .pem.

3. Puede optar por omitir la validación del certificado de una entidad de certificación (CA). Elija la casilla de verificación Skip validation of certificate from certificate authority (CA) (Omitir la validación del certificado de la entidad de certificación [CA]). Si esta casilla no está marcada, AWS Glue valida certificados para tres algoritmos:

   • SHA256withRSA

   • SHA384withRSA

   • SHA512withRSA

(Opcional) Opciones de red

A continuación, se indican pasos opcionales para configurar la VPC, subred y grupos de seguridad. Si el trabajo de AWS Glue debe ejecutarse en instancias de Amazon EC2 en una subred de nube virtual privada (VPC), debe proporcionar información adicional de configuración específica de la VPC.

1. Elija el nombre de la nube virtual privada (VPC) que contenga el origen de datos.

2. Elija una subred con su VPC.

3. Elija uno o más grupos de seguridad que permitan el acceso al almacén de datos de la subred VPC. Los grupos de seguridad están asociados a la ENI asociada a la subred. Debe elegir al menos un grupo de seguridad con una regla de entrada con autorreferencia para todos los puertos TCP.