Création d'une connexion Kafka

Lorsque vous créez une connexion Kafka, la sélection de Kafka dans le menu déroulant fait apparaitre des paramètres supplémentaires à configurer :

• Détails du cluster Kafka

• Authentification

• Chiffrement

• Options réseau

Configurer les détails du cluster Kafka

1. Choisissez l'emplacement du cluster. Vous pouvez choisir parmi un cluster Streaming géré par Amazon pour Apache Kafka (MSK) (Amazon Managed Streaming for Apache Kafka (MSK)) ou un cluster Customer managed Apache Kafka (Apache Kafka géré par le client). Pour plus d'informations sur Amazon Managed Streaming pour Apache Kafka, consultez Amazon Managed Streaming for Apache Kafka (MSK).

   Note

   Amazon Managed Streaming for Apache Kafka prend uniquement en charge les méthodes d'authentification TLS et SASL/SCRAM-SHA-512.

   

2. Entrez le URLs pour vos serveurs bootstrap Kafka. Vous pouvez en saisir plusieurs en séparant chaque serveur par une virgule. Incluez le numéro de port à la fin de l'URL en ajoutant :<port number>.

   Par exemple : b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

Sélection d’une méthode d'authentification

AWS Glue prend en charge le framework SASL (Simple Authentication and Security Layer) pour l'authentification. Le framework SASL prend en charge divers mécanismes d'authentification et AWS Glue propose les protocoles SCRAM (nom d'utilisateur et mot de passe), GSSAPI (protocole Kerberos) et PLAIN (nom d'utilisateur et mot de passe).

Lorsque vous choisissez une méthode d'authentification dans le menu déroulant, les méthodes d'authentification client suivantes peuvent être sélectionnées :

• Aucune - Aucune authentification. Cette option est utile si vous créez une connexion pour des raisons de tests.

• SASL/SCRAM-SHA-512 - Choisissez cette méthode d'authentification pour spécifier les informations d'identification d'authentification. Deux options s'offrent à vous :

  • Utiliser AWS Secrets Manager (recommandé) : si vous sélectionnez cette option, vous pouvez enregistrer vos informations d'identification dans AWS Secrets Manager et autoriser l' AWS Glue accès aux informations en cas de besoin. Spécifiez le secret qui stocke les informations d'identification d'authentification SSL ou SASL.

    

  • Entrez directement le nom d'utilisateur et le mot de passe.

• SASL/GSSAPI (Kerberos) - if you select this option, you can select the location of the keytab file, krb5.conf file and enter the Kerberos principal name and Kerberos service name. The locations for the keytab file and krb5.conf file must be in an Amazon S3 location. Since MSK does not yet support SASL/GSSAPI, cette option n'est disponible que pour les clusters Apache Kafka gérés par le client. Pour en savoir plus, consultez MIT Kerberos Documentation: Keytab (Documentation du MIT Kerberos : Keytab).

• SASL/PLAIN - Choisissez cette méthode d'authentification pour spécifier les informations d'authentification. Deux options s'offrent à vous :

  • Utiliser AWS Secrets Manager (recommandé) : si vous sélectionnez cette option, vous pouvez enregistrer vos informations d'identification dans AWS Secrets Manager et autoriser l' AWS Glue accès aux informations en cas de besoin. Spécifiez le secret qui stocke les informations d'identification d'authentification SSL ou SASL.

  • Entrez directement le nom d'utilisateur et le mot de passe.

• Authentification client SSL : si vous sélectionnez cette option, vous pouvez sélectionner l'emplacement du centre de stockage des clés client Kafka en naviguant sur Amazon S3. Vous pouvez également entrer le mot de passe du centre de stockage des clés client Kafka et le mot de passe de la clé client Kafka.

Configuration des paramètres de chiffrement

1. Si la connexion Kafka nécessite une connexion SSL, cochez la case correspondant à Require SSL connection (Connexion SSL obligatoire). Notez que la connexion échouera si elle ne parvient pas à se connecter via SSL. Le protocole SSL pour le chiffrement peut être utilisé avec n'importe quelle méthode d'authentification (SASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAINou authentification client SSL) et est facultatif.

   Si la méthode d'authentification est paramétrée sur Authentification client SSL, cette option sera sélectionnée automatiquement et sera désactivée pour éviter toute modification.

2. (Facultatif). Choisissez l'emplacement du certificat privé auprès de l'autorité de certification (CA). Notez que l'emplacement de la certification doit se trouver dans un emplacement S3. Choisissez Browse (Parcourir) pour choisir le fichier dans un compartiment S3 connecté. Le chemin doit être de la forme s3://bucket/prefix/filename.pem. Il doit se terminer par le nom du fichier et l'extension .pem.

3. Vous pouvez choisir d'ignorer la validation d'un certificat auprès d'une autorité de certification (CA). Choisissez la case à cocher Skip validation of certificate from certificate authority (CA) (Sauter l’étape de validation du certificat de l'autorité de certification (CA)). Si cette case n'est pas cochée, AWS Glue valide les certificats pour trois algorithmes :

   • SHA256withRSA

   • SHA384withRSA

   • SHA512withRSA

(Facultatif) Options réseau

Les étapes suivantes sont facultatives pour configurer des groupes de VPC, de sous-réseau et de sécurité. Si votre AWS Glue tâche doit être exécutée sur des EC2 instances Amazon dans un sous-réseau de cloud privé virtuel (VPC), vous devez fournir des informations de configuration supplémentaires spécifiques au VPC.

1. Choisissez le nom du cloud privé virtuel (VPC) qui contient votre sources de données.

2. Choisissez le sous-réseau au sein de votre VPC.

3. Choisissez un ou plusieurs groupes de sécurité qui autorisent l'accès au stockage des données dans votre sous-réseau VPC. Les groupes de sécurité sont associés à l'ENI attaché à votre sous-réseau. Vous devez choisir au moins un groupe de sécurité avec une règle entrante avec référencement automatique pour tous les ports TCP.