Gravar no Kinesis Data Firehose usando o Kinesis Data Streams - Amazon Kinesis Data Firehose

Gravar no Kinesis Data Firehose usando o Kinesis Data Streams

Você pode configurar o Amazon Kinesis Data Streams para enviar informações para um fluxo de entrega do Kinesis Data Firehose.

Importante

Se você usar a Kinesis Producer Library (KPL) para gravar dados em um fluxo de dados do Kinesis, poderá usar agregação para combinar os registros gravados no fluxo de dados do Kinesis. Se depois você usar esse fluxo de dados como fonte do fluxo de entrega do Kinesis Data Firehose, ele desagregará os registros antes de entregá-los ao destino. Se você configurar o fluxo de entrega para transformar os dados, o Kinesis Data Firehose desagregará os registros antes de entregá-los ao AWS Lambda. Para obter mais informações, consulte Desenvolver produtores usando a Kinesis Producer Library da Amazon e Agregação.

  1. Faça login no AWS Management Console e abra o console do Kinesis Data Firehose em https://console.aws.amazon.com/firehose/.

  2. Escolha Create Delivery Stream. Na página Name and source (Nome e origem), forneça valores para os seguintes campos:

    Delivery stream name

    O nome do fluxo de entrega do Kinesis Data Firehose.

    Origem

    Escolha Fluxo do Kinesis para configurar um fluxo de entrega do Kinesis Data Firehose que usa um fluxo de dados do Kinesis como fonte de dados. Você então poderá usar o Kinesis Data Firehose para ler dados com facilidade de um fluxo de dados existente e carregá-lo nos destinos.

    Para usar um streaming de dados do Kinesis como fonte, escolha um fluxo existente na lista Fluxo do Kinesis ou escolha Criar novo para criar um novo fluxo de dados do Kinesis. Após criar um novo ´fluxo, selecione Atualizar para atualizar a lista Fluxo do Kinesis. Se você tiver um grande número de fluxos, filtre a lista com a opção Filter by name.

    nota

    Quando um fluxo de dados do Kinesis é configurado como a fonte de um fluxo de entrega do Kinesis Data Firehose, as operações PutRecord e PutRecordBatch do Kinesis Data Firehose são desabilitadas. Para adicionar dados ao fluxo de entrega do Kinesis Data Firehose nesse caso, use as operações PutRecord e PutRecords do Kinesis Data Streams.

    O Kinesis Data Firehose começa a ler os dados a partir da posição LATEST do fluxo do Kinesis. Para obter mais informações sobre as posições do Kinesis Data Streams, consulte GetShardIterator. O Kinesis Data Firehose chama a operação GetRecords do Kinesis Data Streams uma vez por segundo para cada fragmento.

    Mais de um fluxo de entrega do Kinesis Data Firehose podem ler o mesmo fluxo do Kinesis. Outras aplicações do Kinesis (consumidores) também podem ler o mesmo fluxo. Cada chamada de qualquer fluxo de entrega do Kinesis Data Firehose ou de outra aplicação consumidora conta para o total do limite do controle de utilização do fragmento. Para evitar a limitação, planeje seus aplicativos cuidadosamente. Para obter mais informações sobre os limites do Kinesis Data Streams, consulte Limites do Amazon Kinesis Data Streams.

  3. Escolha Next para avançar até a página Transformação de registros e conversão de formatos.