Crie um fluxo de dados

Na primeira etapa do Tutorial: Processe dados de estoque em tempo real usando KPL e KCL 1.x, você cria o streaming que usará em etapas subsequentes.

Para criar um fluxo

1. Faça login no AWS Management Console e abra o console do Kinesis em https://console.aws.amazon.com /kinesis.

2. Selecione Data Streams (Fluxos de dados) no painel de navegação.

3. Na barra de navegação, expanda o seletor de região e escolha uma região.

4. Escolha Create Kinesis stream (Criar streaming do Kinesis).

5. Insira um nome para seu streaming (por exemplo, StockTradeStream).

6. Insira 1 o número de fragmentos, mas mantenha Estimar o número de fragmentos que você precisará reduzir.

7. Escolha Create Kinesis stream (Criar streaming do Kinesis).

Na página de lista Fluxos do Kinesis, o status do fluxo é CREATING enquanto ele está sendo criado. Quando o stream fica pronto para uso, o status é alterado para ACTIVE. Escolha o nome do fluxo. Na página exibida, a guia Details (Detalhes) exibe um resumo da configuração do streaming. A seção Monitoring (Monitoramento) exibe informações de monitoramento do streaming.

Informações adicionais sobre fragmentos

Ao começar a usar o Kinesis Data Streams fora deste tutorial, você poderá precisar planejar o processo de criação de fluxos mais cuidadosamente. Você deve se planejar para a demanda máxima esperada ao provisionar estilhaços. Usando este cenário como exemplo, o tráfego de negociações da bolsa de valores dos EUA atinge o pico durante o dia (fuso horário do leste dos EUA) e, a partir desse horário, é preciso tirar amostras das estimativas de demanda. Em seguida, você tem a opção de provisionar para a máxima demanda esperada ou expandir e reduzir o stream em resposta às variações de demanda.

Um estilhaço é uma unidade de capacidade de throughput. Na página Criar fluxo do Kinesis, expanda Estime o número de fragmentos necessários. Digite o tamanho médio do registro, o máximo de registros gravados por segundo e o número de aplicativos de consumo usando as seguintes diretrizes:

Tamanho médio do registro

Uma estimativa do tamanho médio calculado dos registros. Se você não sabe esse valor, use o tamanho de registro máximo estimado.

Máximo de registros gravados

Considere o número de entidades que fornecem dados e o número aproximado de registros por segundo produzidos por cada uma. Por exemplo, se você recebe dados de negociações de ações provenientes de 20 servidores mercantis, com cada um gerando 250 negociações por segundo, o número total de transações (registros) por segundo é 5.000 por segundo.

Número de aplicativos de consumo

Número de aplicativos que fazem leitura do stream de forma independente para processar o stream de outro modo e produzir saída diferente. Cada aplicativo pode ter várias instâncias em execução em máquinas diferentes (ou seja, execução em um cluster) para dar conta de um streaming de alto volume.

Se o número estimado de estilhaços mostrado exceder o limite atual de estilhaços, poderá ser necessário enviar uma solicitação para aumentar esse limite para poder criar um streaming com esse número de estilhaços. Para solicitar um aumento do limite de fragmentos, use o formulário de limites do Kinesis Data Streams. Para obter mais informações sobre fluxos e fragmentos, consulte Crie e gerencie streams de dados do Kinesis.

Próximas etapas

Crie uma IAM política e um usuário