Membangun sistem perayapan web yang dapat diskalakan untuk data ESG AWS

Vijit Vashishtha dan Mansi Doshi, Amazon Web Services

Januari 2025 (sejarah dokumen)

Faktor lingkungan, sosial, dan tata kelola (ESG) merupakan pertimbangan penting bagi investor ketika mengevaluasi investasi potensial:

• Lingkungan - Berfokus pada dampak perusahaan terhadap alam. Ini mencakup faktor-faktor seperti emisi karbon, manajemen sumber daya, dan efisiensi energi.

• Sosial — Memeriksa bagaimana perusahaan mengelola hubungan dengan karyawan, pemasok, pelanggan, dan komunitas. Ini mencakup aspek-aspek seperti praktik ketenagakerjaan, keragaman, dan keterlibatan masyarakat.

• Tata Kelola — Melihat kepemimpinan perusahaan, kontrol internal, dan hak pemegang saham. Ini termasuk komposisi dewan, kompensasi eksekutif, dan etika bisnis.

Perusahaan dengan praktik ESG yang kuat semakin dipandang sebagai posisi yang lebih baik untuk keberlanjutan dan profitabilitas jangka panjang. Ada permintaan investor yang meningkat untuk informasi ESG. Perusahaan yang dapat menunjukkan kredensi keberlanjutan mereka melalui data ESG yang andal dan berguna memiliki posisi yang lebih baik untuk menarik modal dan tetap kompetitif. Perusahaan mempublikasikan data ESG melalui berbagai sumber, seperti berita, artikel, dan laporan tahunan. Karena informasi ini tersebar, perayap web dapat membantu Anda mengumpulkan data ini secara efisien.

Panduan komprehensif ini menunjukkan cara menggunakan Amazon Elastic Compute Cloud (Amazon) AWS Fargate, dan Amazon Simple Storage Service (Amazon S3 EC2) Simple Storage Service (Amazon S3) untuk membangun pipeline pengumpulan data yang tangguh, terukur, dan bertanggung jawab. AWS Batch Ini membahas hal berikut:

• Merancang sistem crawling yang dapat diskalakan dengan menggunakan yang berikut ini: Layanan AWS

  • Fargate atau Amazon EC2 untuk menjalankan aplikasi crawler

  • AWS Batch untuk mengatur pekerjaan perayapan skala besar secara efisien

  • Amazon S3 untuk penyimpanan data yang aman dan tahan lama

• Menerapkan praktik terbaik untuk merangkak etis, termasuk:

  • Menghormati robots.txt dan kebijakan situs web

  • Mengelola pembatasan tarif untuk menghindari situs target yang berlebihan

  • Memastikan privasi data dan penggunaan informasi yang dikumpulkan secara bertanggung jawab

• Mengembangkan Pythoncrawler berbasis yang dioptimalkan untuk infrastruktur AWS

• Mengoptimalkan kinerja crawler sambil mempertahankan standar etika

Audiens yang dituju

Panduan ini ditujukan untuk insinyur data dan arsitek cloud yang ingin mengumpulkan data up-to-date ESG dalam jumlah besar secara efisien dari situs web publik. Hal ini sangat relevan untuk proyek-proyek yang melibatkan analisis pasar, penilaian keuangan berkelanjutan, atau penelitian keuangan.

Hasil bisnis yang ditargetkan

Berikut ini adalah alasan umum perusahaan menggunakan data ESG:

• Manajemen risiko — Data ESG membantu Anda mengidentifikasi dan mengurangi potensi risiko yang terkait dengan masalah lingkungan, sosial, dan tata kelola.

• Daya tarik investor — Banyak investor sekarang mempertimbangkan faktor ESG ketika membuat keputusan investasi. Mereka memandang praktik ESG yang kuat sebagai indikator keberlanjutan dan profitabilitas jangka panjang.

• Manajemen reputasi — Kinerja ESG yang baik dapat meningkatkan reputasi perusahaan di antara pelanggan, karyawan, dan masyarakat umum.

• Kepatuhan terhadap peraturan — Ketika peraturan terkait ESG meningkat, mengadopsi praktik ESG membantu perusahaan tetap berada di depan persyaratan kepatuhan.

• Inovasi dan efisiensi — Berfokus pada faktor ESG dapat mendorong inovasi dalam produk, layanan, dan operasi. Ini mengarah pada peningkatan efisiensi dan penghematan biaya.

• Keunggulan kompetitif — Kinerja ESG yang kuat dapat membedakan perusahaan dari pesaingnya dan membuka peluang pasar baru.

• Keterlibatan pemangku kepentingan — Praktik ESG membantu perusahaan terlibat dengan lebih baik dan memenuhi harapan berbagai pemangku kepentingan, termasuk karyawan, pelanggan, dan komunitas lokal.