Etapa 1: Configurar os Serviços da AWS

Siga estas etapas para preparar seu ambiente para streaming de dados de log para o Amazon Simple Storage Service (Amazon S3) usando o Amazon Kinesis Agent para Microsoft Windows. Para obter mais informações e pré-requisitos, consulte Tutorial: Transmitir arquivos de log JSON para o Amazon S3 usando o Kinesis Agent para Windows.

Use o AWS Management Console para configurar o AWS Identity and Access Management (IAM), o Amazon S3, o Kinesis Data Firehose e o Amazon Elastic Compute Cloud (Amazon EC2) para se preparar para streaming de dados de log de uma instância do EC2 para o Amazon S3.

Configurar políticas e funções do IAM

Crie a seguinte política, que autoriza o Kinesis Agent para Windows a fazer streaming de registros para um fluxo de entrega específico do Kinesis Data Firehose:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecord",
                "firehose:PutRecordBatch"
            ],
            "Resource": "arn:aws:firehose:region:account-id:deliverystream/log-delivery-stream"
        }
    ]
}
  

SubstituirregionCom o nome da região da AWS onde o fluxo de entrega do Kinesis Data Firehose será criado (us-east-1, por exemplo). Substitua account-id pelo ID da conta de 12 dígitos da AWS na qual o fluxo de entrega será criado.

Na barra de navegação, selecioneSuporte parae, em seguida,Support Center. Seu número (ID) de conta de 12 dígitos da conectada no momento aparece noSupport CenterPainel de navegação.

Crie a política usando procedimento a seguir. fornece um nome para a política log-delivery-stream-access-policy.

Para criar uma política usando o editor de políticas JSON

1. Faça login no Console de Gerenciamento da AWS e abra o console do IAM em https://console.aws.amazon.com/iam/.

2. No painel de navegação no lado esquerdo, selecione Policies (Políticas).

   Se essa for a primeira vez que escolhe Políticas, a página Bem-vindo às políticas gerenciadas será exibida. Escolha Get Started.

3. Na parte superior da página, escolha Create policy (Criar política).

4. Selecione a guia JSON.

5. Insira um documento de política JSON. Para obter detalhes sobre a linguagem de políticas do IAM, consulteReferência de políticas JSON do InoGuia do usuário do IAM.

6. Ao concluir, selecione Revisar política. O Validador de política indica se há qualquer erro de sintaxe.

   nota

   Você pode alternar entre as guias Editor visual e JSON sempre que quiser. No entanto, se você fizer alterações ou escolherReview policynoEditor visual, o IAM poderá reestruturar sua política de forma a otimizá-la para o editor visual. Para obter mais informações, consulteReestruturação da políticanoGuia do usuário do IAM.

7. Na página Review policy (Revisar política), digite um Name (Nome) e uma Description (Descrição) (opcional) para a política que você está criando. Revise o Resumo da política para ver as permissões que são concedidas pela política. Em seguida, escolha Criar política para salvar seu trabalho.

Para criar a função que concede ao Kinesis Data Firehose ao acesso a um bucket do S3

1. Usando o procedimento anterior, crie uma política denominada firehose-s3-access-policy que é definida usando o seguinte JSON:

   
   {
       "Version": "2012-10-17",  
       "Statement":
       [    
           {      
               "Effect": "Allow",      
               "Action": [        
                   "s3:AbortMultipartUpload",        
                   "s3:GetBucketLocation",        
                   "s3:GetObject",        
                   "s3:ListBucket",        
                   "s3:ListBucketMultipartUploads",        
                   "s3:PutObject"
               ],      
               "Resource": [        
                   "arn:aws:s3:::bucket-name",
                   "arn:aws:s3:::bucket-name/*"		    
               ]    
           },
           {
              "Effect": "Allow",
              "Action": [
                  "logs:PutLogEvents"
              ],
              "Resource": [
                  "arn:aws:logs:region:account-id:log-group:firehose-error-log-group:log-stream:firehose-error-log-stream"
              ]
           }
       ]
   }     
       

   Substitua bucket-name por um único nome de bucket onde os logs serão armazenados. SubstituirregionCom a região da AWS em que o grupo de logs do CloudWatch Logs e o stream de logs serão criados. Eles servem para registrar todos os erros que ocorrerem durante o streaming dos dados para o Amazon S3 via Kinesis Data Firehose. Substitua account-id pelo ID da conta de 12 dígitos na qual o grupo de logs e o stream de logs serão criados.

   

2. No painel de navegação do console do IAM, selecione Roles e, em seguida, Create role.

3. Selecione oServiço da AWSTipo de função do e depois escolha oKinesisserviçoServiço do

4. SelecioneKinesis Data FirehosePara o caso de uso e depois escolhaPróximo: Permissões

5. Na caixa de pesquisa, digitefirehose-s3-access-policy, escolha essa política e depois escolhaPróximo: Review (Revisar).

6. Na caixa Role name (Nome da função), digite firehose-s3-access-role.

7. Selecione Create role.

Para criar a função a ser associada ao perfil de instância do EC2 que executará o Kinesis Agent para Windows

1. No painel de navegação do console do IAM, selecione Roles e, em seguida, Create role.

2. Selecione oServiço da AWSTipo de função do e depois escolhaEC2.

3. SelecionePróximo: Permissões

4. Na caixa de pesquisa, insira log-delivery-stream-access-policy.

5. Escolha a política e depoisPróximo: Review (Revisar).

6. Na caixa Role name (Nome da função), digite kinesis-agent-instance-role.

7. Selecione Create role.

Crie o bucket do Amazon S3

Crie o bucket do S3 em que o Kinesis Data Firehose faz streaming dos logs.

Para criar o bucket do S3 para armazenamento de logs

1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. Selecione Create bucket (Criar bucket).

3. Na caixa Bucket name (Nome do bucket), insira o nome do bucket do S3 exclusivo que você escolheu em Configurar políticas e funções do IAM.

4. Escolha a região onde o bucket deve ser criado. Normalmente é a mesma região onde você pretende criar o fluxo de entrega do Kinesis Data Firehose e a instância do Amazon EC2.

5. Escolha Create (Criar).

Criar o fluxo de entrega do Kinesis Data Firehose

Crie o fluxo de entrega do Kinesis Data Firehose que armazenará registros dos quais foi feito streaming no Amazon S3.

Para criar o fluxo de entrega do Kinesis Data Firehose

1. Abra o console Kinesis Data Firehose emhttps://console.aws.amazon.com/firehose/.

2. Escolha Create Delivery Stream.

3. Na caixa Delivery stream name (Nome do fluxo de entrega), digite log-delivery-stream.

4. Para a Source (Origem), escolha Direct PUT or other sources (Direct PUT ou outras origens).

   

5. Escolha Next (Próximo).

6. Escolha Next (Próximo) novamente.

7. Para o destino, escolhaAmazon S3.

8. Para o S3 bucket (Bucket do S3), escolha o nome do bucket criado em Crie o bucket do Amazon S3.

   

9. Escolha Next (Próximo).

10. Na caixa Buffer interval (intervalo de buffer), digite 60.

11. Em IAM role (Função do IAM), selecione Create new or choose (Criar novo ou escolher).

12. Em IAM role (Função do IAM), escolha firehose-s3-access-role.

13. Selecione Permitir.

    

14. Escolha Next (Próximo).

15. Escolha Create delivery stream (Criar fluxo de entrega).

Criar a instância do Amazon EC2 para executar o Kinesis Agent para Windows

Crie a instância do EC2 que usa o Kinesis Agent para Windows para fazer streaming de registros de log por meio do Kinesis Data Firehose.

Para criar a instância do EC2

1. Abra o console do Amazon EC2 em https://console.aws.amazon.com/ec2/.

2. Siga as instruções em Conceitos básicos das instâncias do Windows do Amazon EC2, usando as seguintes etapas adicionais:

   • Para a IAM role (Função do IAM) para a instância, escolha kinesis-agent-instance-role.

   • Se você ainda não tiver uma nuvem privada virtual (VPC) pública, conectada à Internet, siga as instruções emConfiguração com o Amazon EC2noGuia do usuário do Amazon EC2 para instâncias do Windows.

   • Crie ou use um grupo de segurança que restrinja o acesso apenas à instância de seu computador ou apenas aos computadores de sua organização. Para obter mais informações, consulteConfiguração com o Amazon EC2noGuia do usuário do Amazon EC2 para instâncias do Windows.

   • Se você especificar um par de chaves existente, certifique-se de ter acesso à chave privada do par de chaves. Ou crie um novo par de chaves e salve a chave privada em um lugar seguro.

   • Antes de continuar, aguarde até que a instância esteja em execução e tenha concluído as duas verificações de integridade.

   • Sua instância requer um endereço IP público. Se um ainda não tiver sido alocado, siga as instruções emEndereços Elastic IPnoGuia do usuário do Amazon EC2 para instâncias do Windows.

Próximas etapas

Etapa 2: Instalar, configurar e executar o Kinesis Agent para Windows