Amazon 판매 파트너 데이터를 위한 데이터 수집 파이프라인 구축

이 섹션에서는 Amazon Selling PartnerAPI(SP-API)에서 의 데이터 레이크로 Amazon 공급업체 및 판매자 데이터를 수집하는 전략을 제공합니다 AWS 계정. 이 데이터 파이프라인 아키텍처는 민첩성을 위해 설계되었습니다. 계정에서 데이터를 사용할 수 있게 되면 분석 및 생성형 AI 기능을 구현하여 이 데이터에서 고급 비즈니스 인사이트를 얻을 수 있습니다. 이 데이터는 모든 마켓플레이스에서 비즈니스, 인벤토리 세부 정보 및 분석을 대규모로 이해하는 데 도움이 됩니다.

다음 아키텍처 다이어그램은 SP-API의 데이터를 의 데이터 레이크로 수집하기 위해 AWS Step Functions 워크플로에서 AWS Lambda 함수를 사용하는 방법을 보여줍니다 AWS 계정. 데이터는 Amazon Simple Storage Service(Amazon S3)와 의 기능인 파라미터 스토어 에 저장됩니다 AWS Systems Manager.

아키텍처 다이어그램에는 다음 구성 요소가 포함되어 있습니다.

1. Step Functions는 SP-와 통합하기 위한 워크플로를 중앙에서 관리하는 서버리스 오케스트레이션 서비스로 사용됩니다API.

2. Selling Partner API for Reports(보고서 API)는 보고서 워크플로를 자동화하기 위한 알림을 지원합니다. 이를 위해 SP 알림API Lambda 함수를 사용하여 애플리케이션을 REPORT_PROCESSING_FINISHED 알림 유형에 구독합니다.

3. SP-에 전화를 걸려면 인증 Lambda 함수를 API사용하여 Amazon(LWA) 액세스 토큰으로 로그인합니다.

4. 인증 함수의 LWA 액세스 토큰은 보고서 생성자 Lambda 함수로 전달됩니다. 이 함수는 LWA 액세스 토큰과 Parameter Store에 저장된 리전 엔드포인트, 마켓플레이스 IDs및 보고서 구성 데이터를 사용하여 SPAPI를 createReport 호출합니다.

5. SP-API가 보고서를 생성합니다. 완료되면 REPORT_PROCESSING_FINISHED 알림 이벤트가 Amazon Simple Queue Service(AmazonSQS) 대기열로 전송되어 보고서 처리가 CANCELLED, DONE또는 인 경우 정보를 제공합니다FATAL. 이렇게 하면 알림 처리 Lambda 함수가 트리거되어 이벤트를 처리합니다. 알림 이벤트의 상태가 인 경우 reportDocumentId DONE가 포함됩니다.

6. 알림 이벤트는 Step Functions 워크플로의 데이터 처리 Lambda 함수로 전달됩니다. 이 함수는 reportDocumentId를 사용하여 SP-에 getReportDocument 전화를 겁니다API. SP-API는 보고서 문서 내용이 압축된 경우 보고서 문서의 위치와 사용된 압축 알고리즘에 URL 대해 미리 서명된 를 반환합니다.

7. 이 응답은 보고서 문서를 다운로드하고 압축을 해제하며(해당하는 경우) 보고서 문서를 Amazon S3에 저장하는 Storage Lambda 함수로 전달됩니다.

8. AWS Key Management Service (AWS KMS)는 암호화 키를 중앙에서 관리하는 데 사용되며, 에서 보안 암호를 암호화하는 데 사용할 수 있습니다AWS Secrets Manager. 데이터는 Amazon S3 및 Parameter Store에 저장됩니다.

9. SP 요청은API 토큰 버킷 알고리즘을 사용하여 제한됩니다. 따라서 속도 제한에는 API 클라이언트를 사용하는 것이 좋습니다.

10. AWS CloudTrail 및 Amazon CloudWatch은 에서 모니터링 및 로깅하는 데 사용됩니다 AWS 서비스. 이러한 로그는 추적성을 제공합니다.