Estas são as limitações do conector do Pipedrive:
-
O Pipedrive oferece suporte ao particionamento baseado em campos para apenas uma entidade (Atividades).
-
O Pipedrive oferece suporte ao particionamento baseado em registros para as entidades Atividades, Ofertas, Observações, Pessoas, Organizações e Produtos.
-
Na entidade Ofertas, o campo de status como filtro retornará todos os registros se um valor de filtro inválido for usado.
-
Na entidade Ofertas, não há suporte para a ordenação com vários campos.
-
Para obter dados de performance, utilizamos uma conta local da AWS. No entanto, devido à limitação de atualizar o token de acesso localmente, o trabalho do AWS Glue para processar 1 GB de dados está falhando. Consequentemente, otimizamos o teste de performance com 179 MB de dados, e os resultados acima são baseados nessa otimização. Ainda assim, observamos que, com um número cada vez maior de partições, o endpoint SaaS está levando mais tempo, em comparação ao processamento com uma única partição. Consultamos a equipe de suporte do Pipedrive sobre esse comportamento e eles nos informaram que o Pipedrive está silenciosamente limitando as solicitações e atrasando a resposta. Portanto, executar o trabalho do AWS Glue com grandes conjuntos de dados ou chamar o mesmo endpoint de API várias vezes pode resultar em um problema de tempo limite devido à implementação da API do Pipedrive. Porém, os tempos de resposta do conector e do shim estão diminuindo conforme o esperado com o aumento do número de partições.
