Configurações de backup e configurações avançadas

Este tópico descreve como configurar o backup e definir as configurações avançadas do fluxo de entrega do Kinesis Data Firehose.

Configurações de backup

O Kinesis Data Firehose usa o Amazon S3 para fazer backup de todos os dados ou apenas dos dados com falha que ele tenta entregar ao destino escolhido.

Importante

As configurações de backup só são compatíveis se a fonte do fluxo de entrega for o Direct PUT ou o Kinesis Data Streams.

Você pode especificar as configurações de backup do S3 para o fluxo de entrega do Kinesis Data Firehose se tiver feito uma das seguintes escolhas:

• Se você definir o Amazon S3 como destino para o fluxo de entrega do Kinesis Data Firehose e escolher especificar uma função do AWS Lambda para transformar registros de dados ou se escolher converter os formatos de registro de dados para o fluxo de entrega.

• Se você definir o Amazon Redshift como destino para o fluxo de entrega do Kinesis Data Firehose e escolher especificar uma função do AWS Lambda para transformar os registros de dados.

• Se você definir um dos seguintes serviços como destino para o fluxo de entrega do Kinesis Data Firehose: Amazon OpenSearch Service, Datadog, Dynatrace, HTTP Endpoint, LogicMonitor, MongoDB Cloud, New Relic, Splunk ou Sumo Logic.

Estas são as configurações de backup para o fluxo de entrega do Kinesis Data Firehose:

• Backup do registro de origem no Amazon S3: se o S3 ou o Amazon Redshift for o destino selecionado, essa configuração indicará se você deseja habilitar o backup dos dados da fonte ou mantê-lo desabilitado. Se qualquer outro serviço compatível (exceto o S3 ou o Amazon Redshift) estiver definido como seu destino selecionado, essa configuração indicará se você deseja fazer backup de todos os dados da fonte ou apenas dos dados com falha.

• Bucket de backup do S3: esse é o bucket do S3 em que o Kinesis Data Firehose faz backup dos dados.

• prefixo de bucket de backup do S3: esse é o prefixo em que o Kinesis Data Firehose faz backup dos dados.

• Prefixo da saída de erros do bucket de backup do S3: todos os dados com falha são copiados nesse prefixo da saída de erros do bucket do S3.

• Dicas sobre o buffer, compactação e criptografia de backup: O Kinesis Data Firehose usa o Amazon S3 para fazer backup de todos os dados ou apenas dos dados com falha que ele tenta entregar ao destino escolhido. O Kinesis Data Firehose armazena em buffer os dados recebidos antes de entregá-los (colocá-los no backup) ao Amazon S3. Você pode escolher um tamanho de buffer de 1 a 128 MBs ou um intervalo de buffer de 60 a 900 segundos. A condição que é satisfeita primeiro aciona a entrega de dados ao Amazon S3. Se você habilitar a transformação dos dados, o intervalo de buffer é aplicado desde o momento em que os dados transformados são recebidos pelo Kinesis Data Firehose até a entrega de dados ao Amazon S3. Se a entrega de dados ao destino ficar atrasada em relação à gravação de dados no fluxo de entrega, o Kinesis Data Firehose aumentará o tamanho do buffer dinamicamente para recuperar o atraso. Essa ação ajuda a garantir que todos os dados sejam entregues no destino.

• Compactações e criptografia do S3: escolha compactação de dados Snappy compatível com GZIP, Snappy, Zip ou Hadoop, ou nenhuma compactação de dados. A compactação Snappy, Zip e Snappy compatível com Hadoop não está disponível para fluxos de entrega com o Amazon Redshift como destino.

  O Kinesis Data Firehose é compatível com criptografia do lado do servidor do Amazon S3 com o AWS Key Management Service (AWS KMS) para criptografar os dados entregues no Amazon S3. Você pode escolher não criptografar os dados ou criptografá-los com uma chave da lista de chaves da AWS que você possui. Para obter mais informações, consulte Protecting Data Using Server-Side Encryption with AWS KMS-Managed Keys (SSE-KMS).

Configurações avançadas

Estas são as configurações avançadas do fluxo de entrega do Kinesis Data Firehose:

• A criptografia do lado do servidor: o Kinesis Data Firehose é compatível com a criptografia do lado do servidor do Amazon S3 com o AWS Key Management Service (AWS KMS) para criptografar os dados entregues no Amazon S3. Para obter mais informações, consulte Protecting Data Using Server-Side Encryption with AWS KMS-Managed Keys (SSE-KMS).

• Registro em log de erros: o Kinesis Data Firehose registra em log os erros relacionados a processamento e entrega. Além disso, quando a transformação de dados está habilitada, pode registrar invocações do Lambda e enviar os erros de entrega de dados para o CloudWatch Logs. Para obter mais informações, consulte Monitorar o Kinesis Data Firehose usando o CloudWatch Logs.

  Importante

  Embora opcional, é extremamente recomendável habilitar o registro em log dos erros do Kinesis Data Firehose durante a criação do fluxo de entrega. Essa prática garante que você possa acessar os detalhes do erro em caso de falhas no processamento de registros ou na entrega.

• O Kinesis Data Firehose usa os perfis do IAM para todas as permissões de que o fluxo de entrega precisa. Você pode escolher criar um novo perfil quando as permissões necessárias são atribuídas automaticamente ou escolher um perfil existente criado para o Kinesis Data Firehose. O perfil é usado para conceder ao Kinesis Data Firehose acesso a vários serviços, incluindo o bucket do S3, a chave do AWS KMS (se a criptografia de dados estiver habilitada) e a função do Lambda (se a transformação de dados estiver habilitada). O console talvez crie um perfil com espaços reservados. Para obter mais informações, consulte O que é IAM?.

• Tags: você pode adicionar tags para organizar os recursos da AWS, monitorar custos e controlar acesso.

Depois que você definir as configurações avançadas e as configurações de backup, revise suas opções e escolha Criar fluxo de entrega.

O novo fluxo de entrega do Kinesis Data Firehose passa alguns segundos no estado Criando antes de ficar disponível. Depois que o fluxo de entrega do Kinesis Data Firehose entra no estado Ativo, você pode iniciar o envio de dados do produtor para ele.