Création d'un système d'exploration Web évolutif pour les données ESG sur AWS

Vijit Vashishtha et Mansi Doshi, Amazon Web Services

Janvier 2025 (historique du document)

Les facteurs environnementaux, sociaux et de gouvernance (ESG) sont essentiels pour les investisseurs lorsqu'ils évaluent des investissements potentiels :

• Environnement : met l'accent sur l'impact d'une entreprise sur le monde naturel. Cela inclut des facteurs tels que les émissions de carbone, la gestion des ressources et l'efficacité énergétique.

• Social — Examine comment une entreprise gère ses relations avec ses employés, ses fournisseurs, ses clients et ses communautés. Il couvre des aspects tels que les pratiques de travail, la diversité et l'engagement communautaire.

• Gouvernance — Examine le leadership, les contrôles internes et les droits des actionnaires d'une entreprise. Il comprend la composition du conseil d'administration, la rémunération des dirigeants et l'éthique des affaires.

Les entreprises qui appliquent de solides pratiques ESG sont de plus en plus considérées comme les mieux placées en termes de durabilité et de rentabilité à long terme. Les investisseurs sont de plus en plus demandeurs d'informations ESG. Les entreprises qui peuvent démontrer leurs références en matière de développement durable grâce à des données ESG fiables et utiles sont mieux placées pour attirer des capitaux et rester compétitives. Les entreprises publient des données ESG par le biais de diverses sources, telles que des actualités, des articles et des rapports annuels. Ces informations étant éparpillées, un robot d'exploration Web peut vous aider à les collecter efficacement.

Ce guide complet explique comment utiliser AWS FargateAmazon Elastic Compute Cloud (Amazon EC2) et Amazon Simple Storage Service (Amazon S3) pour créer un pipeline de collecte de données robuste, évolutif et responsable. AWS Batch Il aborde les points suivants :

• Conception d'un système d'exploration évolutif en utilisant les éléments suivants : Services AWS

  • Fargate ou EC2 Amazon pour avoir exécuté l'application de crawler

  • AWS Batch pour orchestrer efficacement des tâches d'exploration à grande échelle

  • Amazon S3 pour un stockage de données sécurisé et durable

• Mettre en œuvre les meilleures pratiques en matière d'exploration éthique, notamment :

  • Respect du fichier robots.txt et des politiques du site Web

  • Gérer la limitation du débit pour éviter de surcharger les sites cibles

  • Garantir la confidentialité des données et l'utilisation responsable des informations collectées

• Élaboration d'un Pythoncrawler basé sur un robot optimisé pour l'infrastructure AWS

• Optimisation des performances des robots d'exploration tout en respectant les normes éthiques

Public visé

Ce guide est destiné aux ingénieurs de données et aux architectes du cloud qui souhaitent collecter efficacement de grandes quantités de données up-to-date ESG à partir de sites Web publics. Il est particulièrement pertinent pour les projets qui impliquent une analyse de marché, une évaluation financière durable ou une recherche financière.

Résultats commerciaux ciblés

Les raisons pour lesquelles les entreprises utilisent fréquemment les données ESG sont les suivantes :

• Gestion des risques — Les données ESG vous aident à identifier et à atténuer les risques potentiels liés aux problèmes environnementaux, sociaux et de gouvernance.

• Attraction des investisseurs — De nombreux investisseurs tiennent désormais compte des facteurs ESG lorsqu'ils prennent des décisions d'investissement. Ils considèrent les bonnes pratiques ESG comme des indicateurs de durabilité et de rentabilité à long terme.

• Gestion de la réputation — Une bonne performance ESG peut améliorer la réputation d'une entreprise auprès de ses clients, de ses employés et du grand public.

• Conformité réglementaire — À mesure que les réglementations liées à l'ESG se multiplient, l'adoption de pratiques ESG aide les entreprises à garder une longueur d'avance sur les exigences de conformité.

• Innovation et efficacité — Se concentrer sur les facteurs ESG peut stimuler l'innovation dans les produits, les services et les opérations. Cela permet d'améliorer l'efficacité et de réaliser des économies.

• Avantage concurrentiel — Une solide performance ESG peut différencier une entreprise de ses concurrents et ouvrir de nouvelles opportunités de marché.

• Engagement des parties prenantes — Les pratiques ESG aident les entreprises à mieux s'engager et à répondre aux attentes des différentes parties prenantes, notamment les employés, les clients et les communautés locales.