Leitura de entidades da Salesforce

Pré-requisito

Um sObject do Salesforce que você gostaria de ler. Você precisará do nome do objeto, como Account ou Case ouOpportunity.

Exemplo:

salesforce_read = glueContext.create_dynamic_frame.from_options(
    connection_type="salesforce",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "Account",
        "API_VERSION": "v60.0"
    }

Consultas de particionamento

Você pode fornecer as opções adicionais do SparkPARTITION_FIELD,LOWER_BOUND,UPPER_BOUND, e NUM_PARTITIONS se quiser utilizar a simultaneidade no Spark. Com esses parâmetros, a consulta original seria dividida em NUM_PARTITIONS várias subconsultas que podem ser executadas pelas tarefas do Spark simultaneamente.

• PARTITION_FIELD: o nome do campo a ser usado para particionar a consulta.

• LOWER_BOUND: um valor limite inferior inclusivo do campo de partição escolhido.

  Para o campo de timestamp, aceitamos o formato de timestamp do Spark usado nas consultas SQL do Spark.

  Exemplos de valores válidos:

  "TIMESTAMP \"1707256978123\"" 
  "TIMESTAMP ’2024-02-06 22:02:58.123 UTC'"
  "TIMESTAMP \"2018-08-08 00:00:00 Pacific/Tahiti\" 
  "TIMESTAMP \"2018-08-08 00:00:00\"" 
  "TIMESTAMP \"-123456789\" Pacific/Tahiti" 
  "TIMESTAMP \"1702600882\""

• UPPER_BOUND: um valor limite superior exclusivo do campo de partição escolhido.

• NUM_PARTITIONS: o número de partições.

Exemplo:

salesforce_read = glueContext.create_dynamic_frame.from_options(
    connection_type="salesforce",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "Account",
        "API_VERSION": "v60.0",
        "PARTITION_FIELD": "SystemModstamp"
        "LOWER_BOUND": "TIMESTAMP '2021-01-01 00:00:00 Pacific/Tahiti'"
        "UPPER_BOUND": "TIMESTAMP '2023-01-10 00:00:00 Pacific/Tahiti'"
        "NUM_PARTITIONS": "10"
    }