Configure um nome de domínio personalizado de ponta a ponta

Este tópico aborda a configuração do lado do cluster para nomes de domínio personalizados. A camada de rede (Network Load Balancer, DNS e certificado TLS) é um pré-requisito que você possui e é abordada em detalhes em Configurar um nome de domínio personalizado para seu cluster Amazon MSK no Big Data Blog. AWS Com a rede instalada, as etapas a seguir abrangem a configuração do lado do cluster.

Verifique a rede antes de aplicar a configuração

Quando você se inscrevecustom.advertised.listeners, seu nome de domínio personalizado substitui os endereços padrão do ouvinte substituído. Sua camada de rede deve estar instalada e verificada antes de aplicar a configuração. Se os clientes não conseguirem resolver o domínio personalizado, eles perderão a conectividade.

Etapa 1: Adicione o domínio personalizado à sua configuração do Amazon MSK

Crie ou atualize uma configuração do Amazon MSK que inclua a custom.advertised.listeners propriedade, correspondendo aos nomes de host e portas que você provisionou no Network Load Balancer. Para um cluster IAM de três corretores liderado por um Network Load Balancer com portas 9001—9003, coloque a propriedade em um arquivo.

custom.advertised.listeners=CLIENT_IAM://b-{broker_id}.example.com:9000+{broker_id}

Em seguida, crie a configuração, passando o arquivo como propriedades do servidor.

aws kafka create-configuration \
    --name "custom-domain-iam" \
    --description "Custom advertised listeners for CLIENT_IAM" \
    --server-properties fileb://custom-domain-config.txt

Use fileb:// (nãofile://) para que o AWS CLI leia o arquivo como bytes e o codifique em base64. Passar o valor em linha é frágil por causa das {broker_id} chaves. Deixe o {broker_id} literal no arquivo, pois o Amazon MSK resolve o problema por corretor no momento da aplicação. A resposta retorna a configuração Arn eLatestRevision.Revision, que você usa na próxima etapa.

Etapa 2: aplicar a configuração

Aplique a configuração ao seu cluster comUpdateClusterConfiguration, usando o console,, AWS CLI AWS CloudFormation, AWS CDK ou Terraform. Esse é o mesmo fluxo de trabalho que você já usa para alterações na configuração do broker.

aws kafka update-cluster-configuration \
    --cluster-arn your-cluster-arn \
    --configuration-info arn=configuration-arn,revision=revision \
    --current-version current-cluster-version

Use a DescribeCluster operação para encontrar a versão atual do seu cluster. As versões de cluster não são inteiros simples.

O Amazon MSK valida a configuração de forma síncrona antes que qualquer coisa seja aplicada, para que um valor malformado nunca chegue aos seus corretores. O Amazon MSK rejeita uma configuração inválida com um erro HTTP 400. Para obter exemplos de erros, consulteErros de configuração de nome de domínio personalizado. Corrija o problema relatado e reaplique.

Etapa 3: acompanhe o lançamento

aws kafka describe-cluster-operation-v2 \
    --cluster-operation-arn operation-arn

Depois que a configuração é aceita, o Amazon MSK a aplica por meio de uma reinicialização contínua. Espere até que a operação informeUPDATE_COMPLETE. Se reportarUPDATE_FAILED, um corretor não poderá aplicar a alteração. A implantação é interrompida nesse corretor, os corretores restantes mantêm a configuração anterior e você pode corrigir a configuração e reaplicá-la para se recuperar.

Etapa 4: verificar

Confirme se os clientes podem se conectar por meio do domínio personalizado listando os tópicos de um cliente que usa as configurações de autenticação do seu ouvinte.

Se você puder listar tópicos por meio do endpoint de domínio personalizado, os clientes estarão se conectando com sucesso por meio do seu domínio personalizado. Se a operação foi relatada, UPDATE_COMPLETE mas os clientes não conseguem se conectar, a configuração do cluster está correta, mas sua camada de rede provavelmente precisa de atenção. Verifique o seguinte:

• Caminho de rede: confirme se a regra de ouvinte, grupo de destino e grupo de segurança do Network Load Balancer existe para o broker e a porta que o cliente está usando e se o Network Load Balancer pode ser acessado pela rede do cliente.

• Resolução de DNS: confirme se o domínio personalizado é resolvido para seu Network Load Balancer de todas as redes em que seus clientes Apache Kafka são executados.

• Certificado: confirme se o certificado TLS do Network Load Balancer abrange o nome do host do broker resolvido (por meio do nome comum ou de um nome alternativo do assunto) e se o cliente confia na CA (raiz e intermediária para uma CA privada).

Escalabilidade e substituição de corretores

Quando você escala o cluster ou um agente é substituído durante a recuperação automática, o Amazon MSK aplica automaticamente a configuração ao novo agente. O Amazon MSK resolve {broker_id} o ID do corretor, sem a necessidade de etapas manuais no lado do cluster.

nota

Adicione o ouvinte, o grupo-alvo e o registro DNS correspondentes do Network Load Balancer para qualquer novo corretor. A camada de rede não é dimensionada automaticamente.

Remover um domínio personalizado

Para reverter para os MSK-generated endereços padrão da Amazon, remova a custom.advertised.listeners propriedade da sua configuração do Amazon MSK e aplique a configuração atualizada usando. UpdateClusterConfiguration O Amazon MSK executa uma reinicialização contínua e os corretores voltam a anunciar seus endereços originais. Certifique-se de que seus clientes possam acessar os MSK-generated endereços originais da Amazon antes de remover a configuração personalizada do domínio.