Construindo um sistema escalável de rastreamento da web para dados do ESG em AWS

Vijit Vashishtha e Mansi Doshi, da Amazon Web Services

Janeiro de 2025 (histórico do documento)

Fatores ambientais, sociais e de governança (ESG) são considerações críticas para os investidores ao avaliar possíveis investimentos:

• Ambiental — Concentra-se no impacto de uma empresa no mundo natural. Inclui fatores como emissões de carbono, gerenciamento de recursos e eficiência energética.

• Social — examina como uma empresa gerencia relacionamentos com funcionários, fornecedores, clientes e comunidades. Abrange aspectos como práticas trabalhistas, diversidade e envolvimento da comunidade.

• Governança — analisa a liderança, os controles internos e os direitos dos acionistas de uma empresa. Inclui composição do conselho, remuneração de executivos e ética nos negócios.

As empresas com práticas robustas de ESG são cada vez mais vistas como melhor posicionadas para sustentabilidade e lucratividade a longo prazo. Há uma demanda crescente dos investidores por informações ESG. As empresas que conseguem demonstrar suas credenciais de sustentabilidade por meio de dados ESG confiáveis e úteis estão melhor posicionadas para atrair capital e permanecer competitivas. As empresas publicam dados ESG por meio de várias fontes, como notícias, artigos e relatórios anuais. Como essas informações estão dispersas, um rastreador da Web pode ajudá-lo a coletar esses dados com eficiência.

Este guia abrangente demonstra como usar AWS Fargateo Amazon Elastic Compute Cloud (Amazon EC2) e o Amazon Simple Storage Service (Amazon S3) para criar um pipeline de coleta de dados robusto, escalável e responsável. AWS Batch Ele discute o seguinte:

• Arquitetando um sistema de rastreamento escalável usando o seguinte: Serviços da AWS

  • Fargate ou Amazon EC2 para executar o aplicativo de rastreamento

  • AWS Batch para orquestrar com eficiência trabalhos de rastreamento em grande escala

  • Amazon S3 para armazenamento de dados seguro e durável

• Implementando as melhores práticas de rastreamento ético, incluindo:

  • Respeitando o robots.txt e as políticas do site

  • Gerenciando a limitação de taxa para evitar sobrecarregar os sites de destino

  • Garantir a privacidade dos dados e o uso responsável das informações coletadas

• Desenvolvendo um Pythonrastreador baseado que é otimizado para infraestrutura AWS

• Otimizando o desempenho do rastreador enquanto mantém os padrões éticos

Público-alvo

Este guia é destinado a engenheiros de dados e arquitetos de nuvem que desejam coletar com eficiência grandes quantidades de dados up-to-date ESG de sites públicos. É particularmente relevante para projetos que envolvem análise de mercado, avaliação financeira sustentável ou pesquisa financeira.

Resultados de negócios desejados

A seguir estão os motivos comuns pelos quais as empresas usam dados ESG:

• Gerenciamento de riscos — os dados do ESG ajudam você a identificar e mitigar riscos potenciais relacionados a questões ambientais, sociais e de governança.

• Atração de investidores — Muitos investidores agora consideram os fatores ESG ao tomar decisões de investimento. Eles veem as fortes práticas de ESG como indicadores de sustentabilidade e lucratividade a longo prazo.

• Gerenciamento de reputação — Um bom desempenho de ESG pode melhorar a reputação de uma empresa entre clientes, funcionários e o público em geral.

• Conformidade regulatória — À medida que as regulamentações relacionadas ao ESG aumentam, a adoção de práticas de ESG ajuda as empresas a se manterem à frente dos requisitos de conformidade.

• Inovação e eficiência — O foco nos fatores ESG pode impulsionar a inovação em produtos, serviços e operações. Isso leva a uma maior eficiência e economia de custos.

• Vantagem competitiva — O forte desempenho do ESG pode diferenciar uma empresa de seus concorrentes e abrir novas oportunidades de mercado.

• Engajamento das partes interessadas — As práticas de ESG ajudam as empresas a se engajar melhor e atender às expectativas de várias partes interessadas, incluindo funcionários, clientes e comunidades locais.