Construindo a AWS infraestrutura

Há muitos Serviços da AWS que você pode usar para criar a infraestrutura de rastreamento da web. A seção Arquitetura deste guia inclui uma solução proposta. Recomendamos que você considere usar o seguinte Serviços da AWS para criar a infraestrutura de suporte para seu rastreador da Web:

• Use a Amazon Virtual Private Cloud (Amazon VPC) para criar a VPC e as sub-redes.

• Inicie o processo de rastreamento usando o Amazon Scheduler. EventBridge

• Gerencie os trabalhos do rastreador da web usando trabalhos e filas de AWS Batchtrabalhos.

• Use uma das soluções a seguir para executar as tarefas do rastreador da web:

  • Contêineres do Amazon Elastic Container Service (Amazon ECS) em AWS Fargate

  • Instâncias do Amazon Elastic Compute Cloud (Amazon EC2)

    nota

    Se seu aplicativo puder lidar com interrupções, considere usar Amazon EC2 Spot Instances por meio do Spot Fleet. Frotas de instâncias spot podem ajudar você a economizar significativamente nos custos de computação.

  • AWS Lambda funções

• Armazene os dados recuperados e os arquivos brutos em um bucket do Amazon Simple Storage Service (Amazon S3).