에서 ESG 데이터를 위한 확장 가능한 웹 크롤링 시스템 구축 AWS

Vijit Vashishtha 및 Mansi Doshi, Amazon Web Services

2025년 1월(문서 기록)

잠재적 투자를 평가할 때 ESG(환경, 사회 및 거버넌스) 요인은 투자자에게 중요한 고려 사항입니다.

• 환경 "" - 회사가 자연 환경에 미치는 영향에 중점을 둡니다. 여기에는 탄소 배출량, 리소스 관리 및 에너지 효율성과 같은 요소가 포함됩니다.

• 소셜 "" - 회사가 직원, 공급업체, 고객 및 커뮤니티와의 관계를 관리하는 방법을 검사합니다. 여기에는 노동 관행, 다양성 및 커뮤니티 참여와 같은 측면이 포함됩니다.

• 거버넌스 "" - 회사의 리더십, 내부 통제 및 주주 권리를 살펴봅니다. 여기에는 이사회 구성, 경영진 보상 및 비즈니스 원칙이 포함됩니다.

ESG 관행이 탄탄한 기업은 장기적인 지속 가능성과 수익성을 위한 더 나은 입지로 점점 더 인정받고 있습니다. ESG 정보에 대한 투자자 수요가 증가하고 있습니다. 안정적이고 유용한 ESG 데이터를 통해 지속 가능성 자격 증명을 입증할 수 있는 기업은 자본을 유치하고 경쟁력을 유지할 수 있는 더 나은 위치에 있습니다. 기업은 뉴스, 기사 및 연간 보고서와 같은 다양한 소스를 통해 ESG 데이터를 게시합니다. 이 정보는 분산되어 있으므로 웹 크롤러를 사용하면이 데이터를 효율적으로 수집하는 데 도움이 될 수 있습니다.

이 포괄적인 가이드는 AWS Fargate, Amazon Elastic Compute Cloud(Amazon EC2), AWS Batch및 Amazon Simple Storage Service(Amazon S3)를 사용하여 강력하고 확장 가능하며 책임감 있는 데이터 수집 파이프라인을 구축하는 방법을 보여줍니다. 다음 사항에 대해 설명합니다.

• 다음를 사용하여 확장 가능한 크롤링 시스템 설계 AWS 서비스:

  • 크롤러 애플리케이션을 실행하기 위한 Fargate 또는 Amazon EC2

  • AWS Batch 대규모 크롤링 작업을 효율적으로 오케스트레이션하기 위한

  • 안전하고 내구성 있는 데이터 스토리지를 위한 Amazon S3

• 다음을 포함한 윤리적 크롤링 모범 사례 구현:

  • robots.txt 및 웹 사이트 정책 준수

  • 압도적인 대상 사이트를 방지하기 위한 속도 제한 관리

  • 데이터 개인 정보 보호 및 수집된 정보의 책임 있는 사용 보장

• 인프라에 AWS 최적화된 Python기반 크롤러 개발

• 윤리적 표준을 유지하면서 크롤러 성능 최적화

수강 대상

이 가이드는 퍼블릭 웹 사이트에서 대량의 up-to-date ESG 데이터를 효율적으로 수집하려는 데이터 엔지니어 및 클라우드 아키텍트를 대상으로 합니다. 특히 시장 분석, 지속 가능한 재무 평가 또는 재무 조사와 관련된 프로젝트와 관련이 있습니다.

목표 비즈니스 성과

다음은 기업이 ESG 데이터를 사용하는 일반적인 이유입니다.

• 위험 관리 - ESG 데이터는 환경, 사회 및 거버넌스 문제와 관련된 잠재적 위험을 식별하고 완화하는 데 도움이 됩니다.

• 투자자 유치 - 이제 많은 투자자가 투자 결정을 내릴 때 ESG 요소를 고려합니다. 이들은 강력한 ESG 관행을 장기적인 지속 가능성 및 수익성의 지표로 간주합니다.

• 평판 관리 - ESG 성능이 우수하면 고객, 직원 및 일반 대중 간의 평판을 높일 수 있습니다.

• 규정 준수 - ESG 관련 규정이 증가함에 따라 ESG 관행을 채택하면 기업이 규정 준수 요구 사항보다 앞서는 데 도움이 됩니다.

• 혁신 및 효율성 - ESG 요인에 집중하면 제품, 서비스 및 운영에서 혁신을 주도할 수 있습니다. 이로 인해 효율성이 향상되고 비용이 절감됩니다.

• 경쟁 우위 - 강력한 ESG 성능은 회사를 경쟁자와 차별화하고 새로운 시장 기회를 창출할 수 있습니다.

• 이해관계자 참여 - ESG 관행은 기업이 직원, 고객, 현지 커뮤니티를 포함한 다양한 이해관계자의 기대치에 더 잘 참여하고 충족하는 데 도움이 됩니다.