Costruire l'infrastruttura AWS

Ce ne sono molti Servizi AWS che puoi usare per creare l'infrastruttura di scansione web. La sezione Architettura di questa guida include una soluzione proposta. Ti consigliamo di prendere in considerazione l'utilizzo di quanto segue Servizi AWS per creare l'infrastruttura di supporto per il tuo web crawler:

• Usa Amazon Virtual Private Cloud (Amazon VPC) per creare il VPC e le sottoreti.

• Avvia il processo di scansione utilizzando Amazon Scheduler. EventBridge

• Gestisci i lavori del web crawler utilizzando i lavori e le code di lavoro. AWS Batch

• Utilizzate una delle seguenti soluzioni per eseguire i processi del web crawler:

  • Contenitori Amazon Elastic Container Service (Amazon ECS) su AWS Fargate

  • Istanze Amazon Elastic Compute Cloud (Amazon EC2)

    Nota

    Se la tua applicazione è in grado di gestire le interruzioni, prendi in considerazione l'utilizzo di Amazon EC2 Spot Instances tramite Spot Fleet. Le flotte di istanze Spot possono aiutarti a risparmiare in modo significativo sui costi di elaborazione.

  • AWS Lambda funzioni

• Archivia i dati recuperati e i file raw in un bucket Amazon Simple Storage Service (Amazon S3).