搭建 AWS 基础架构

你可以用很多 AWS 服务 方法来构建 Web 爬网基础架构。本指南的 “架构” 部分包括一个建议的解决方案。我们建议您考虑使用以下内容 AWS 服务 为网络爬虫构建支持基础架构：

• 使用亚马逊虚拟私有云（亚马逊 VPC）创建 VPC 和子网。

• 使用 Amazon EventBridge 计划程序启动抓取过程。

• 使用作业和作业队列管理 Web 爬虫 AWS Batch作业。

• 使用以下解决方案之一来运行 Web 爬网程序作业：

  • 亚马逊弹性容器服务 (Amazon ECS) Container Service 容器开启 AWS Fargate

  • 亚马逊弹性计算云 (Amazon EC2) 实例

    注意

    如果您的应用程序可以处理中断，请考虑通过竞价型队列使用 Amazon EC2 竞价型实例。竞价型实例队列可以帮助您显著节省计算成本。

  • AWS Lambda 函数

• 将检索到的数据和原始文件存储在亚马逊简单存储服务 (Amazon S3) 存储桶中。