Criar uma conexão Kafka

Ao criar uma conexão Kafka, selecionando Kafka no menu suspenso exibirá configurações adicionais para configurar:

• Detalhes do cluster do Kafka

• Autenticação

• Criptografia

• Opções de rede

Configurar detalhes do cluster do Kafka

1. Escolha o local do cluster. Você pode escolher entre um cluster Amazon Managed Streaming for Apache Kafka (MSK) ou um cluster Customer managed Apache Kafka. Para obter mais informações sobre o streaming gerenciado da Amazon para Apache Kafka, consulte Amazon Managed Streaming for Apache Kafka (MSK).

   nota

   Amazon Managed Streaming for Apache Kafka suporta apenas métodos de autenticação TLS e SASL/SCRAM-SHA-512.

   

2. Insira os URLs para seus servidores de bootstrap Kafka. Você pode inserir mais de um separando cada servidor por uma vírgula. Inclua o número da porta no final da URL anexando :<port number>.

   Por exemplo: b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

Selecione o método de autenticação

AWS Glue suporta a framework Simple Authentication and Security Layer (SASL) para autenticação. A estrutura SASL é compatível com vários mecanismos de autenticação e o AWS Glue oferece os protocolos SCRAM (nome de usuário e senha), GSSAPI (protocolo Kerberos) e PLAIN (nome de usuário e senha).

Ao escolher um método de autenticação no menu suspenso, os seguintes métodos de autenticação de cliente podem ser selecionados:

• Nenhum - Sem autenticação. Isso é útil se você criar uma conexão para fins de teste.

• SASL/SCRAM-SHA-512: escolha esse método de autenticação para especificar as credenciais de autenticação. Existem duas opções disponíveis:

  • Usar o AWS Secrets Manager (recomendado): se você selecionar essa opção, poderá armazenar suas credenciais no AWS Secrets Manager e deixar que o AWS Glue acesse as informações quando necessário. Especifique o segredo que armazena as credenciais de autenticação SSL ou SASL.

    

  • Forneça o nome de usuário e a senha diretamente.

• SASL/GSSAPI (Kerberos) - se você selecionar essa opção, poderá selecionar o local do arquivo keytab, arquivo krb5.conf e inserir o nome principal do Kerberos e o nome do serviço Kerberos. Os locais do arquivo keytab e do arquivo krb5.conf devem estar em um local do Amazon S3. Como o MSK ainda não oferece suporte a SASL/GSSAPI, essa opção está disponível apenas para clusters Apache Kafka gerenciados pelo cliente. Para obter mais informações, consulte Documentação do MIT Kerberos: Keytab.

• SASL/PLAIN: escolha esse método de autenticação para especificar as credenciais de autenticação. Existem duas opções disponíveis:

  • Usar o AWS Secrets Manager (recomendado): se você selecionar essa opção, poderá armazenar suas credenciais no AWS Secrets Manager e deixar que o AWS Glue acesse as informações quando necessário. Especifique o segredo que armazena as credenciais de autenticação SSL ou SASL.

  • Forneça o nome de usuário e a senha diretamente.

• Autenticação de cliente SSL - se você selecionar essa opção, poderá selecionar o local do keystore do cliente Kafka navegando no Amazon S3. Opcionalmente, você pode inserir a senha do keystore do cliente Kafka e a senha da chave do cliente Kafka.

Definir as configurações de criptografia

1. Se a conexão Kafka exigir conexão SSL, marque a caixa de seleção para Exigir conexão SSL. Observe que a conexão falhará se não for possível se conectar por SSL. O SSL para criptografia pode ser usado com qualquer um dos métodos de autenticação (SASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAIN ou autenticação de cliente SSL) e é opcional.

   Se o método de autenticação estiver definido como Autenticação de cliente SSL, esta opção será selecionada automaticamente e será desativada para evitar alterações.

2. (Optional). Escolha o local do certificado privado da autoridade de certificação (CA). Observe que a localização da certificação deve estar em um local do S3. Selecione Browse (Navegar) para escolher o arquivo de um bucket S3 conectado. O caminho deve estar no formato s3://bucket/prefix/filename.pem. Deve terminar com o nome do arquivo e a extensão .pem.

3. Você pode optar por ignorar a validação do certificado de uma autoridade de certificação (CA). Escolha a caixa de seleção Ignorar a validação do certificado de uma autoridade de certificação (CA). Se esta caixa não estiver marcada, AWS Glue valida certificados para três algoritmos:

   • SHA256withRSA

   • SHA384withRSA

   • SHA512withRSA

(Opcional) Opções de rede

Veja a seguir as etapas opcionais para configurar VPC, sub-rede e grupos de segurança. Se seu trabalho AWS Glue precisar ser executado em instâncias do Amazon EC2 em uma sub-rede de nuvem privada virtual (VPC), você deverá fornecer informações adicionais de configuração específicas da VPC.

1. Escolha a VPC (nuvem privada virtual) que contém sua fonte de dados.

2. Escolha uma sub-rede com sua VPC.

3. Escolha um ou mais grupos de segurança para permitir o acesso ao datastore em sua sub-rede VPC. Grupos de segurança estão associados à ENI anexada à sua sub-rede. Você deve escolher pelo menos um grupo de segurança com uma regra de entrada de autorreferência para todas as portas TCP.