AWS インフラストラクチャの構築

ウェブクロールインフラストラクチャを構築するために AWS のサービス 使用できるものは多数あります。このガイドのアーキテクチャセクションには、提案されたソリューションが 1 つ含まれています。ウェブクローラーのサポートインフラストラクチャを構築する AWS のサービス には、以下を使用することを検討することをお勧めします。

• Amazon Virtual Private Cloud (Amazon VPC) を使用して VPC とサブネットを作成します。

• Amazon EventBridge スケジューラを使用してクローリングプロセスを開始します。

• AWS Batch ジョブとジョブキューを使用して、ウェブクローラージョブを管理します。

• 次のいずれかのソリューションを使用して、ウェブクローラージョブを実行します。

  • の Amazon Elastic Container Service (Amazon ECS) コンテナ AWS Fargate

  • Amazon Elastic Compute Cloud (Amazon EC2) インスタンス

    注記

    アプリケーションで中断を処理できる場合は、スポットフリート経由で Amazon EC2 スポットインスタンスを使用することを検討してください。スポットインスタンスのフリートは、コンピューティングコストを大幅に削減するのに役立ちます。

  • AWS Lambda 関数

• 取得したデータと raw ファイルを Amazon Simple Storage Service (Amazon S3) バケットに保存します。