Conceitos do Amazon Kinesis Agent para Microsoft Windows

Compreender os principais conceitos do Amazon Kinesis Agent para Microsoft Windows (Agente do Kinesis para Windows) pode facilitar a coleta e o streaming de dados em frotas de desktops e servidores para o restante do pipeline de dados para processamento.

Este diagrama de um pipeline de dados ilustra os seguintes componentes e processos:

Servidores e áreas de trabalho têm artefatos como arquivos de log, eventos e métricas coletados por um ou mais agentes do Kinesis para Windowssources. Os dados podem ser transformados, por exemplo, de um formato de texto de arquivo simples em um objeto.

Os dados (em formato de objeto ou texto) podem então fluir para um ou mais agentes do Kinesis para WindowsPipes. Um pipe conecta uma origem a um agente Kinesis para Windowssink. O pipe também pode filtrar dados desnecessários.

Um coletor também pode transformar dados analisados em objetos em JSON ou XML. O coletor envia os dados para um serviço específico da AWS, como Kinesis Data Streams, Kinesis Data Firehose ou Amazon CloudWatch.

Usando vários pipes, uma única origem pode enviar os mesmos dados para vários coletores (por exemplo, consulte os pipes F e G no diagrama). Usando vários pipes, origens diferentes podem fazer streaming de dados para um único coletor (por exemplo, consulte os pipes A, B e C no diagrama). Também é possível usar vários pipes para fazer streaming de dados de vários coletores para várias origens. Origens, coletores e pipes têm tipos e pode haver mais de uma origem, coletor ou pipe do mesmo tipo.

Para obter exemplos de arquivos de configuração que declaram origens, coletores e pipes, consulte Exemplos de configuração do Kinesis Agent para Windows.

Pipelines de dados

AData Pipelineé usado para reunir, processar, visualizar e possivelmente gerar alarmes para aplicativos e serviços. O Kinesis Agent para Windows se encaixa em pipelines de dados no início, onde logs, eventos e métricas são coletados de frotas de computadores desktop ou servidores. O Kinesis Agent para Windows transmite os dados coletados para os vários serviços da AWS que formam o restante do pipeline de dados. Um pipeline de dados tem uma finalidade, como visualizar a integridade de um serviço em tempo real para ajudar os engenheiros a operar esse serviço com mais eficiência. Um pipeline de dados de integridade do serviço pode realizar qualquer uma das seguintes ações:

• Alertar os engenheiros para problemas antes que eles afetem a experiência dos clientes dos serviços.

• Ajudar os engenheiros a gerenciar com eficiência o custo do serviço mostrando as tendências de uso de recursos. Essas tendências permitem que eles ajustem os níveis de recursos adequadamente ou até mesmo implementem cenários de escalabilidade automática.

• Fornecer informações sobre a causa raiz de problemas que são relatados por clientes do serviço. Isso acelera a resolução desses problemas e reduz os custos de suporte.

Para obter um exemplo passo a passo de como criar um pipeline de dados usando o Kinesis Agent para Windows, consulteTutorial: Transmitir arquivos de log JSON para o Amazon S3 usando o Kinesis Agent para Windows.

Sources

Um agente Kinesis para Windowssourcereúne logs, eventos ou métricas. Uma origem reúne um tipo de dados de um produtor desses dados com base no tipo de origem. Por exemplo, o tipo DirectorySource reúne os arquivos de log de diretórios específicos no sistema de arquivos. Se os dados ainda não estiverem estruturados (como com alguns tipos de arquivos de log), uma origem poderá ser útil ao analisar a representação textual em um formato estruturado. Cada origem corresponde a umDeclaração de origemno Kinesis Agent para Windowsappsettings.jsonArquivo de configuração. A declaração de origem fornece detalhes essenciais para configurar a origem para ajustá-la com base nos requisitos de coleta de dados específicos. Os tipos de detalhes que podem ser configurados variam de acordo com o tipo de origem. Por exemplo, o tipo de origem DirectorySource requer a especificação do diretório onde os arquivos de log estão localizados.

Para obter mais detalhes sobre tipos e declarações de origem, consulte Declarações de origem.

Sinks

Um agente Kinesis para Windowssinkleva os dados coletados por uma fonte do Kinesis Agent para Windows e transmite esses dados para um dos vários serviços da AWS possíveis que formam o restante do pipeline de dados. Cada coletor corresponde a umDeclaração de coletorno Kinesis Agent para Windowsappsettings.jsonArquivo de configuração. A declaração de coletor fornece detalhes essenciais para configurar o coletor para ajustá-lo com base nos requisitos de streaming de dados específicos. Os tipos de detalhes que podem ser configurados variam de acordo com o tipo de coletor. Por exemplo, alguns tipos de coletores permitem que uma declaração de coletor especifique um Format de serialização para os dados fornecidos a eles. Quando essa opção é especificada na declaração de coletor, a serialização dos dados coletados ocorre antes do streaming dos dados para o serviço da AWS que está associado ao coletor.

Para obter mais informações sobre tipos e declarações de coletor, consulte Declarações de coletor.

Pipes

Um agente Kinesis para WindowsPipesconecta a saída de uma origem do Kinesis Agent para Windows à entrada de um coletor Kinesis Agent para Windows. Ele também pode transformar os dados à medida que eles percorrem o pipe. Cada pipe corresponde a uma declaração de pipe no Kinesis Agent para Windowsappsettings.jsonArquivo de configuração. A declaração de pipe fornece detalhes essenciais para configurar o coletor, como a origem e o coletor para o pipe.

Para obter mais informações sobre tipos e declarações de pipe, consulte Declarações de pipe.