View a markdown version of this page

Criar um canal - Amazon Managed Streaming for Apache Kafka
Usar o AWS Console de GerenciamentoUsar o AWS CLI

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criar um canal

Usar o AWS Console de Gerenciamento

  1. Abra o console do Amazon MSK em https://console.aws.amazon.com/msk/home? region=us-east-1#/home/.

  2. No painel de navegação, escolha Clusters.

  3. Escolha o nome do seu cluster provisionado pelo Amazon MSK com os corretores Express.

  4. Escolha a guia Canal e, em seguida, escolha Criar canal.

  5. Na etapa de configuração da fonte:

    • Nome do canal: insira o nome do canal a ser criado.

    • Tópico: selecione um tópico existente. Crie um novo tópico se ainda não existir.

  6. Prossiga para a etapa de configuração de destino.

  7. Em Tipo de destino, selecione a entrega de dados para o S3 de uso geral.

    • Selecione o formato de registro (JSON, matriz de bytes ou string).

    • Em Configurações de destino:

      • Selecione Conta atual ou Conta cruzada. Se a opção Conta cruzada tiver sido selecionada, talvez seja necessário inserir uma ID de conta adicional.

      • Selecione ou insira um URI do bucket do S3 para o bucket de entrega.

      • Insira um prefixo de bucket do S3 opcional e um modelo de chave de saída.

      • Escolha a classe de armazenamento e o tipo de compactação (NENHUM, GZIP ou ZSTD).

    • Defina a atualização dos dados (5 a 15 minutos).

  8. Prossiga para a etapa de configuração adicional.

  9. Em Configuração de criptografia, selecione opcionalmente uma chave gerenciada pelo cliente para personalizar suas configurações de criptografia.

  10. Em Acesso ao serviço, selecione ou crie uma função do IAM com as permissões necessárias.

  11. Em Dead-letter fila, selecione Conta atual ou Conta cruzada e especifique o URI do bucket do S3 para registros não processáveis. Opcionalmente, insira um prefixo de saída de erro. Se a opção Conta cruzada tiver sido selecionada, talvez seja necessário inserir uma ID de conta adicional.

  12. (Opcional) Em Entrega de registros, selecione um grupo de CloudWatch logs da Amazon, um bucket do Amazon S3 ou um stream do Amazon Data Firehose para enviar registros para monitoramento e solução de problemas.

  13. (Opcional) Adicione tags.

  14. Prossiga para a etapa de revisão.

  15. Revise e escolha Criar canal.

O Canal entra no estado de Criação e faz a transição para Ativo quando o pipeline de entrega é totalmente provisionado.

Usar o AWS CLI

O tópico de origem está definido em TopicConfigurationList (exatamente um tópico). O destino é definido em IcebergDestinationConfiguration ou S3DestinationConfiguration (mutuamente exclusivo), e cada configuração de destino contém sua própria ServiceExecutionRoleArn configuração DataFreshnessInSeconds (300—900, padrão 600) e. DeadLetterQueueS3

Para criar um canal com um destino de bucket de uso geral do Amazon S3, use o comando a seguir.

aws kafka create-channel \
    --cluster-arn "arn:aws:kafka:us-east-1:123456789012:cluster/my-express-cluster/abc123" \
    --channel-name "orders-s3-channel" \
    --topic-configuration-list '[
        {
            "TopicArn": "arn:aws:kafka:us-east-1:123456789012:topic/my-express-cluster/abc123/orders-topic",
            "RecordConverter": { "ValueConverter": "JSON" }
        }
    ]' \
    --s3-destination-configuration '{
        "ServiceExecutionRoleArn": "arn:aws:iam::123456789012:role/MSKChannelRole",
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3": {
            "BucketArn": "arn:aws:s3:::my-dlq-bucket",
            "ErrorOutputPrefix": "dlq/"
        },
        "Storage": {
            "BucketArn": "arn:aws:s3:::my-delivery-bucket",
            "OutputPrefix": "expresslink/",
            "OutputKeyTemplate": "!{channel-id}/!{topic-name}/year=!{yyyy}/month=!{MM}/day=!{dd}/hour=!{HH}/!{topic-name}+!{partition-id}+!{kafka-offset}",
            "StorageClass": "STANDARD",
            "CompressionType": "GZIP"
        }
    }'

Para buckets de uso geral do Amazon S3, RecordConverter.ValueConverter pode ser JSONBYTE_ARRAY, ou STRING (nenhum registro de esquema é necessário). EmStorage, CompressionType pode serNONE,GZIP, ouZSTD, e StorageClass pode serSTANDARD,INTELLIGENT_TIERING, ouGLACIER_IR.

A resposta é a mesma para os dois destinos.

{
    "ChannelArn": "arn:aws:kafka:us-east-1:123456789012:channel/my-express-cluster/abc123/orders-s3-channel",
    "ClusterOperationArn": "arn:aws:kafka:us-east-1:123456789012:cluster-operation/my-express-cluster/abc123/..."
}
nota

Use o ClusterOperationArn para rastrear o status da operação assíncrona e qualquer mensagem de erro. O canal começa CREATING e passa para ACTIVE quando o provisionamento é concluído.

Referência de API — veja CreateChannel na Referência de API do Amazon MSK.