Aufbau eines skalierbaren Web-Crawling-Systems für ESG-Daten zu AWS

Vijit Vashishtha und Mansi Doshi, Amazon Web Services

Januar 2025 (Geschichte der Dokumente)

Umwelt-, Sozial- und Unternehmensführungsfaktoren (ESG) sind wichtige Überlegungen für Anleger bei der Bewertung potenzieller Anlagen:

• Umwelt — Konzentriert sich auf die Auswirkungen eines Unternehmens auf die Natur. Es umfasst Faktoren wie CO2-Emissionen, Ressourcenmanagement und Energieeffizienz.

• Soziales — Untersucht, wie ein Unternehmen die Beziehungen zu Mitarbeitern, Lieferanten, Kunden und Gemeinschaften verwaltet. Es deckt Aspekte wie Arbeitspraktiken, Vielfalt und gesellschaftliches Engagement ab.

• Unternehmensführung — Befasst sich mit der Führung, den internen Kontrollen und den Aktionärsrechten eines Unternehmens. Dazu gehören die Zusammensetzung des Verwaltungsrats, die Vergütung von Führungskräften und die Geschäftsethik.

Unternehmen mit soliden ESG-Praktiken werden zunehmend als besser positioniert angesehen, wenn es um langfristige Nachhaltigkeit und Rentabilität geht. Die Nachfrage der Anleger nach ESG-Informationen wächst. Unternehmen, die ihre Nachhaltigkeitsbilanz anhand zuverlässiger, nützlicher ESG-Daten nachweisen können, sind besser positioniert, um Kapital anzuziehen und wettbewerbsfähig zu bleiben. Unternehmen veröffentlichen ESG-Daten über verschiedene Quellen wie Nachrichten, Artikel und Jahresberichte. Da diese Informationen verstreut sind, kann Ihnen ein Webcrawler dabei helfen, diese Daten effizient zu sammeln.

Dieser umfassende Leitfaden zeigt AWS Fargate, wie Sie Amazon Elastic Compute Cloud (Amazon EC2) und Amazon Simple Storage Service (Amazon S3) verwenden, AWS Batchum eine robuste, skalierbare und verantwortungsvolle Datenerfassungspipeline aufzubauen. Es behandelt die folgenden Themen:

• Aufbau eines skalierbaren Crawling-Systems mithilfe der folgenden Komponenten: AWS-Services

  • Fargate oder Amazon EC2 für die Ausführung der Crawler-Anwendung

  • AWS Batch für die effiziente Orchestrierung umfangreicher Crawling-Jobs

  • Amazon S3 für sichere und dauerhafte Datenspeicherung

• Implementierung von Best Practices für ethisches Crawling, darunter:

  • Einhaltung der Richtlinien von robots.txt und der Website

  • Verwaltung der Ratenbegrenzung, um eine Überlastung der Zielseiten zu vermeiden

  • Gewährleistung des Datenschutzes und verantwortungsvoller Umgang mit den gesammelten Informationen

• Entwicklung eines Pythonbasierter Crawler, der für AWS die Infrastruktur optimiert ist

• Optimierung der Crawler-Leistung bei gleichzeitiger Einhaltung ethischer Standards

Zielgruppe

Dieser Leitfaden richtet sich an Dateningenieure und Cloud-Architekten, die effizient große Mengen an up-to-date ESG-Daten von öffentlichen Websites sammeln möchten. Er ist besonders relevant für Projekte, die Marktanalysen, nachhaltige Finanzanalysen oder Finanzanalysen beinhalten.

Gezielte Geschäftsergebnisse

Die folgenden Gründe sprechen häufig dafür, dass Unternehmen ESG-Daten verwenden:

• Risikomanagement — ESG-Daten helfen Ihnen dabei, potenzielle Risiken im Zusammenhang mit Umwelt-, Sozial- und Unternehmensführungsfragen zu identifizieren und zu mindern.

• Anziehung von Anlegern — Viele Anleger berücksichtigen heute ESG-Faktoren, wenn sie Anlageentscheidungen treffen. Sie betrachten starke ESG-Praktiken als Indikatoren für langfristige Nachhaltigkeit und Rentabilität.

• Reputationsmanagement — Eine gute ESG-Leistung kann den Ruf eines Unternehmens bei Kunden, Mitarbeitern und der Öffentlichkeit verbessern.

• Einhaltung gesetzlicher Vorschriften — Angesichts der zunehmenden ESG-Vorschriften hilft die Einführung von ESG-Praktiken Unternehmen, den Compliance-Anforderungen immer einen Schritt voraus zu sein.

• Innovation und Effizienz — Die Konzentration auf ESG-Faktoren kann Innovationen bei Produkten, Dienstleistungen und Abläufen vorantreiben. Dies führt zu verbesserter Effizienz und Kosteneinsparungen.

• Wettbewerbsvorteil — Eine starke ESG-Leistung kann ein Unternehmen von seinen Mitbewerbern abheben und neue Marktchancen eröffnen.

• Einbindung von Stakeholdern — ESG-Praktiken helfen Unternehmen dabei, besser mit verschiedenen Interessengruppen wie Mitarbeitern, Kunden und lokalen Gemeinschaften in Kontakt zu treten und deren Erwartungen zu erfüllen.