Defina as configurações de origem para o Amazon Kinesis Data Streams

Defina as configurações de origem do Amazon Kinesis Data Streams para enviar informações para um stream do Firehose da seguinte forma.

Importante

Se você usa a Kinesis Producer Library (KPL) para gravar dados em um stream de dados do Kinesis, você pode usar a agregação para combinar os registros que você grava nesse stream de dados do Kinesis. Se você então usar esse stream de dados como fonte para seu stream do Firehose, o Amazon Data Firehose desagregará os registros antes de entregá-los ao destino. Se você configurar seu stream do Firehose para transformar os dados, o Amazon Data Firehose desagregará os registros antes de entregá-los para AWS Lambda. Para obter mais informações, consulte Desenvolvimento de produtores do Amazon Kinesis Data Streams usando a biblioteca e agregação do Kinesis Producer.

Nas configurações de origem, escolha um stream existente na lista de streams de dados do Kinesis ou insira um stream de dados ARN no formato. arn:aws:kinesis:[Region]:[AccountId]:stream/[StreamName]

Se você não tiver um stream de dados existente, escolha Create para criar um novo a partir do console do Amazon Kinesis. Talvez você precise de uma IAM função que tenha a permissão necessária no stream do Kinesis. Para obter mais informações, consulte Conceda ao Firehose acesso a um destino do Amazon S3. Depois de criar um novo stream, escolha o ícone de atualização para atualizar a lista de streams do Kinesis. Se você tiver um grande número de fluxos, filtre a lista com a opção Filter by name.

nota

Quando você configura um stream de dados do Kinesis como origem de um stream do Firehose, o Amazon Data PutRecord Firehose e as operações são desativados. PutRecordBatch Para adicionar dados ao seu stream do Firehose nesse caso, use o Kinesis Data Streams and operations. PutRecord PutRecords

O Amazon Data Firehose começa a ler dados da LATEST posição do seu stream do Kinesis. Para obter mais informações sobre as posições do Kinesis Data Streams, consulte. GetShardIterator

O Amazon Data Firehose chama a operação do Kinesis Data GetRecordsStreams uma vez por segundo para cada fragmento. No entanto, quando o backup completo está ativado, o Firehose chama a operação do Kinesis Data GetRecords Streams duas vezes por segundo para cada fragmento, um para o destino de entrega principal e outro para o backup completo.

Mais de um stream do Firehose pode ser lido do mesmo stream do Kinesis. Outras aplicações do Kinesis (consumidores) também podem ler o mesmo fluxo. Cada chamada de qualquer stream do Firehose ou de outro aplicativo de consumo é contabilizada no limite geral de limitação do fragmento. Para evitar a limitação, planeje seus aplicativos cuidadosamente. Para obter mais informações sobre os limites do Kinesis Data Streams, consulte Limites do Amazon Kinesis Data Streams.

Vá para a próxima etapa para configurar a transformação do registro e a conversão do formato.