Construire l' AWS infrastructure

Il en existe plusieurs Services AWS que vous pouvez utiliser pour créer l'infrastructure d'exploration Web. La section Architecture de ce guide inclut une solution proposée. Nous vous recommandons d'envisager d'utiliser ce qui suit Services AWS pour créer l'infrastructure de support pour votre robot d'exploration Web :

• Utilisez Amazon Virtual Private Cloud (Amazon VPC) pour créer le VPC et les sous-réseaux.

• Lancez le processus d'exploration à l'aide d'Amazon EventBridge Scheduler.

• Gérez les tâches du robot d'exploration Web à l'aide des AWS Batch tâches et des files d'attente de tâches.

• Utilisez l'une des solutions suivantes pour exécuter les tâches du robot d'exploration Web :

  • Conteneurs Amazon Elastic Container Service (Amazon ECS) sur AWS Fargate

  • Instances Amazon Elastic Compute Cloud (Amazon EC2)

    Note

    Si votre application peut gérer les interruptions, pensez à utiliser des instances Amazon EC2 Spot via Spot Fleet. Les flottes d'instances Spot peuvent vous aider à réaliser des économies importantes sur les coûts de calcul.

  • AWS Lambda fonctions

• Stockez les données récupérées et les fichiers bruts dans un compartiment Amazon Simple Storage Service (Amazon S3).