Creazione di un sistema di scansione web scalabile per i dati ESG su AWS

Vijit Vashishtha e Mansi Doshi, Amazon Web Services

Gennaio 2025 (storia del documento)

I fattori ambientali, sociali e di governance (ESG) sono considerazioni fondamentali per gli investitori nella valutazione dei potenziali investimenti:

• Ambientale: si concentra sull'impatto di un'azienda sul mondo naturale. Include fattori come le emissioni di carbonio, la gestione delle risorse e l'efficienza energetica.

• Sociale: esamina come un'azienda gestisce le relazioni con dipendenti, fornitori, clienti e comunità. Copre aspetti come le pratiche di lavoro, la diversità e il coinvolgimento della comunità.

• Governance: esamina la leadership, i controlli interni e i diritti degli azionisti di un'azienda. Include la composizione del consiglio di amministrazione, la retribuzione dei dirigenti e l'etica aziendale.

Le aziende con solide pratiche ESG sono sempre più considerate in una posizione migliore per la sostenibilità e la redditività a lungo termine. Vi è una crescente domanda da parte degli investitori di informazioni ESG. Le aziende in grado di dimostrare le proprie credenziali di sostenibilità attraverso dati ESG affidabili e utili si trovano in una posizione migliore per attrarre capitali e rimanere competitive. Le aziende pubblicano i dati ESG attraverso varie fonti, come notizie, articoli e rapporti annuali. Poiché queste informazioni sono sparse, un web crawler può aiutarti a raccogliere questi dati in modo efficiente.

Questa guida completa dimostra come utilizzare AWS FargateAmazon Elastic Compute Cloud (Amazon EC2) e Amazon Simple Storage Service (Amazon S3) per creare una pipeline di raccolta dati solida, scalabile e responsabile. AWS Batch Descrive quanto segue:

• Progettazione di un sistema di scansione scalabile utilizzando quanto segue: Servizi AWS

  • Fargate o Amazon EC2 per l'esecuzione dell'applicazione crawler

  • AWS Batch per orchestrare in modo efficiente lavori di scansione su larga scala

  • Amazon S3 per uno storage di dati sicuro e duraturo

• Implementazione delle migliori pratiche per la scansione etica, tra cui:

  • Rispetto del file robots.txt e delle politiche del sito Web

  • Gestione della limitazione della velocità per evitare di sovraccaricare i siti target

  • Garantire la privacy dei dati e l'uso responsabile delle informazioni raccolte

• Sviluppare un Pythonun crawler basato su un crawler ottimizzato per l'infrastruttura AWS

• Ottimizzazione delle prestazioni del crawler mantenendo al contempo gli standard etici

Destinatari principali

Questa guida è destinata agli ingegneri dei dati e agli architetti del cloud che desiderano raccogliere in modo efficiente grandi quantità di dati up-to-date ESG da siti Web pubblici. È particolarmente rilevante per i progetti che coinvolgono analisi di mercato, valutazioni finanziarie sostenibili o ricerche finanziarie.

Obiettivi aziendali specifici

I motivi più comuni per cui le aziende utilizzano i dati ESG sono i seguenti:

• Gestione del rischio: i dati ESG aiutano a identificare e mitigare i potenziali rischi legati a questioni ambientali, sociali e di governance.

• Attrazione degli investitori: molti investitori ora considerano i fattori ESG quando prendono decisioni di investimento. Considerano le solide pratiche ESG come indicatori di sostenibilità e redditività a lungo termine.

• Gestione della reputazione: una buona performance ESG può migliorare la reputazione di un'azienda tra clienti, dipendenti e pubblico in generale.

• Conformità normativa: con l'aumento delle normative relative ai fattori ESG, l'adozione di pratiche ESG aiuta le aziende a stare al passo con i requisiti di conformità.

• Innovazione ed efficienza: concentrarsi sui fattori ESG può favorire l'innovazione nei prodotti, nei servizi e nelle operazioni. Ciò porta a una maggiore efficienza e a risparmi sui costi.

• Vantaggio competitivo: una forte performance ESG può differenziare un'azienda dai suoi concorrenti e aprire nuove opportunità di mercato.

• Coinvolgimento degli stakeholder: le pratiche ESG aiutano le aziende a interagire meglio e a soddisfare le aspettative dei vari stakeholder, tra cui dipendenti, clienti e comunità locali.