Membangun AWS infrastruktur

Ada banyak Layanan AWS yang dapat Anda gunakan untuk membangun infrastruktur web crawling. Bagian Arsitektur dari panduan ini mencakup satu solusi yang diusulkan. Kami menyarankan Anda mempertimbangkan untuk menggunakan yang berikut ini Layanan AWS untuk membangun infrastruktur pendukung untuk crawler web Anda:

• Gunakan Amazon Virtual Private Cloud (Amazon VPC) untuk membuat VPC dan subnet.

• Memulai proses crawling dengan menggunakan Amazon EventBridge Scheduler.

• Kelola pekerjaan crawler web dengan menggunakan AWS Batch pekerjaan dan antrian pekerjaan.

• Gunakan salah satu solusi berikut untuk menjalankan pekerjaan crawler web:

  • Kontainer Amazon Elastic Container Service (Amazon ECS) aktif AWS Fargate

  • Instans Amazon Elastic Compute Cloud (Amazon EC2)

    catatan

    Jika aplikasi Anda dapat menangani gangguan, pertimbangkan untuk menggunakan Instans EC2 Spot Amazon melalui Armada Spot. Armada Instans Spot dapat membantu Anda menghemat biaya komputasi secara signifikan.

  • AWS Lambda fungsi

• Simpan data yang diambil dan file mentah dalam bucket Amazon Simple Storage Service (Amazon S3).