AWS 인프라 구축

웹 AWS 서비스 크롤링 인프라를 구축하는 데 사용할 수 있는 많은 것이 있습니다. 이 가이드의 아키텍처 섹션에는 제안된 솔루션 하나가 포함되어 있습니다. 웹 크롤러에 대한 지원 인프라를 구축 AWS 서비스 하려면 다음을 사용하는 것이 좋습니다.

• Amazon Virtual Private Cloud(VPC)를 사용하여 VPC와 서브넷을 생성합니다.

• Amazon EventBridge 스케줄러를 사용하여 크롤링 프로세스를 시작합니다.

• AWS Batch 작업 및 작업 대기열을 사용하여 웹 크롤러 작업을 관리합니다.

• 다음 솔루션 중 하나를 사용하여 웹 크롤러 작업을 실행합니다.

  • 의 Amazon Elastic Container Service(Amazon ECS) 컨테이너 AWS Fargate

  • Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스

    참고

    애플리케이션이 중단을 처리할 수 있는 경우 스팟 플릿을 통해 Amazon EC2 스팟 인스턴스를 사용하는 것이 좋습니다. https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-spot-instances.html 스팟 인스턴스 플릿은 컴퓨팅 비용을 크게 절감하는 데 도움이 될 수 있습니다.

  • AWS Lambda 함수

• 검색된 데이터와 원시 파일을 Amazon Simple Storage Service(Amazon S3) 버킷에 저장합니다.