Construindo o pipeline de ingestão de dados para os dados do seu parceiro de vendas da Amazon - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Construindo o pipeline de ingestão de dados para os dados do seu parceiro de vendas da Amazon

Esta seção fornece uma estratégia para ingerir dados de fornecedores e vendedores da Amazon do Amazon Selling Partner API (SP-API) em um data lake em seu. Conta da AWS Essa arquitetura de pipeline de dados foi projetada para oferecer agilidade. Depois que os dados estiverem disponíveis em sua conta, você poderá implementar recursos de análise e IA generativa para obter informações comerciais avançadas a partir desses dados. Esses dados ajudam você a entender sua empresa, os detalhes do inventário e as análises em grande escala em todos os mercados.

O diagrama de arquitetura a seguir mostra como você usa AWS Lambdafunções em um AWS Step Functionsfluxo de trabalho para ingerir dados do SP- API em um data lake em seu Conta da AWS. Os dados são armazenados no Amazon Simple Storage Service (Amazon S3) e no Parameter Store, que é uma capacidade do. AWS Systems Manager

Arquitetura sem servidor que ingere dados do SP API e os armazena em um data lake.

O diagrama de arquitetura inclui os seguintes componentes:

  1. O Step Functions é usado como um serviço de orquestração sem servidor para gerenciar centralmente o fluxo de trabalho para integração com o SP-. API

  2. O parceiro de vendas API de relatórios (relatóriosAPI) oferece suporte a notificações para automatizar os fluxos de trabalho de relatórios. Para isso, você usa uma função Lambda de APInotificação SP para inscrever o aplicativo no tipo de REPORT_PROCESSING_FINISHED notificação.

  3. Para fazer chamadas para o SP-API, você usa uma função Lambda de Autenticação para obter um token de acesso Login with Amazon (LWA).

  4. O token de LWA acesso da função de autenticação é passado para a função Lambda do criador de relatórios. Essa função faz uma createReport chamada para o SP- API usando o token de LWA acesso e os dados regionais de configurações de endpointsIDs, marketplace e relatórios armazenados no Parameter Store.

  5. O SP- API gera o relatório. Após a conclusão, um evento de REPORT_PROCESSING_FINISHED notificação é enviado para uma fila do Amazon Simple Queue Service (AmazonSQS), que fornece informações sobre quando o processamento do relatório é CANCELLEDDONE, ou. FATAL Isso aciona uma função Lambda de processamento de notificações para processar o evento. Se o evento de notificação tiver um status deDONE, um reportDocumentId será incluído.

  6. O evento de notificação é passado para uma função Lambda de processamento de dados no fluxo de trabalho Step Functions. Essa função usa o reportDocumentId para fazer uma getReportDocument chamada para o SP-API. O SP- API retorna um pré-assinado URL para a localização do documento do relatório e o algoritmo de compactação usado, se o conteúdo do documento do relatório tiver sido compactado.

  7. Essa resposta é passada para uma função do Storage Lambda, que baixa o documento do relatório, o descompacta (se aplicável) e armazena o documento do relatório no Amazon S3.

  8. AWS Key Management Service (AWS KMS) é usado para gerenciar centralmente as chaves de criptografia, que podem ser usadas para criptografar os segredos em. AWS Secrets Manager Os dados são armazenados no Amazon S3 e no Parameter Store.

  9. As API solicitações SP- são limitadas usando o algoritmo de token bucket. Portanto, um API cliente é recomendado para limitar a taxa.

  10. AWS CloudTraile a Amazon CloudWatch são usados para monitorar e registrar em todo o Serviços da AWS. Esses registros fornecem rastreabilidade.