Configurar o agente do Kinesis para enviar dados - Amazon Data Firehose
Pré-requisitos

Configurar o agente do Kinesis para enviar dados

O agente do Amazon Kinesis é uma aplicação de software Java autônoma que serve como uma implementação de referência para mostrar como é possível coletar e enviar dados para o Firehose. O agente monitora continuamente um conjunto de arquivos e envia novos dados ao seu fluxo do Firehose. O agente mostra como é possível manipular a alternância de arquivos, os pontos de verificação e as novas tentativas após falhas. Ele mostra como é possível entregar seus dados de maneira confiável, imediata e simples. Ele também mostra como é possível emitir métricas do CloudWatch para aprimorar o monitoramento e a solução de problemas no processo de streaming. Para saber mais, acesse awslabs/amazon-kinesis-agent.

Por padrão, os registros são analisados em cada arquivo com base no caractere de nova linha ('\n'). No entanto, o agente também pode ser configurado para analisar registros de várias linhas (consulte Especificação das definições de configuração do agente).

É possível instalar o agente em ambientes de servidor baseados no Linux, como servidores web, servidores de log e servidores de banco de dados. Após instalar o agente, configure-o especificando os arquivos a serem monitorados e o fluxo do Firehose para os dados. Depois que o agente é configurado, ele coleta dados dos arquivos de forma durável e os envia confiavelmente ao fluxo do Firehose.

Pré-requisitos

Antes começar a usar o agente do Kinesis, certifique-se de atender aos pré-requisitos a seguir.

  • O sistema operacional deve ser o Amazon Linux, ou o Red Hat Enterprise Linux versão 7 ou posterior.

  • O agente versão 2.0.0 ou posterior é executado usando o JRE versão 1.8 ou posterior. O agente versão1.1x é executado usando o JRE versão 1.7 ou posterior.

  • Se você estiver usando o Amazon EC2; para executar o agente, inicie a instância do EC2.

  • O perfil do IAM ou as credenciais da AWS que você especificar deverão ter permissão para executar a operação PutRecordBatch do Amazon Data Firehose para o agente enviar dados ao seu fluxo do Firehose. Se você habilitar o monitoramento do CloudWatch para o agente, também será necessária ter permissão para realizar a operação PutMetricData do CloudWatch. Para obter mais informações, consulte Controle de acesso com o Amazon Data Firehose, Monitoramento da integridade do Kinesis Agent e Autenticação e controle de acesso para o Amazon CloudWatch.