Execuções de trabalhos

O Jobs Runs API descreve os tipos de dados API relacionados a iniciar, interromper ou visualizar execuções de trabalhos e redefinir marcadores de trabalhos, em AWS Glue. O histórico de execução de trabalhos pode ser acessado por 90 dias para seu fluxo de trabalho e execução de trabalhos.

Tipos de dados

• JobRun estrutura

• Estrutura Predecessor

• JobBookmarkEntry estrutura

• BatchStopJobRunSuccessfulSubmission estrutura

• BatchStopJobRunError estrutura

• NotificationProperty estrutura

JobRun estrutura

Contém informações sobre uma execução de trabalho.

Campos

• Id— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O ID dessa execução de trabalho.

• Attempt – Número (íntegro).

  O número de tentativas para execução deste trabalho.

• PreviousRunId— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O ID da execução anterior deste trabalho. Por exemplo, o JobRunId especificado na ação StartJobRun.

• TriggerName— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome do gatilho que iniciou esta execução de trabalho.

• JobName— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da definição de trabalho que está sendo usada nesta execução.

• JobMode— UTF -8 string (valores válidos: SCRIPT="" | VISUAL="" |NOTEBOOK="").

  Um modo que descreve como um trabalho foi criado. Os valores válidos são:

  • SCRIPT- O trabalho foi criado usando o AWS Glue Editor de scripts de estúdio.

  • VISUAL- O trabalho foi criado usando o AWS Glue Editor visual do Studio.

  • NOTEBOOK: o trabalho foi criado usando um caderno de sessões interativas.

  Quando o campo JobMode está ausente ou é nulo, SCRIPT é atribuído como o valor padrão.

• JobRunQueuingEnabled – Booleano.

  Especifica se o enfileiramento da execução de trabalhos está habilitado para a execução do trabalho.

  Um valor "verdadeiro" significa que o enfileiramento da execução de trabalhos está habilitado para as execuções do trabalho. Se o valor for "falso" ou não estiver preenchido, a execução do trabalho não será considerada para enfileiramento.

• StartedOn – Timestamp.

  A data e a hora em que a execução deste trabalho foi iniciada.

• LastModifiedOn – Timestamp.

  A hora em que a execução desse trabalho foi modificada.

• CompletedOn – Timestamp.

  A data e a hora em que a execução desse trabalho foi concluída.

• JobRunState— UTF -8 string (valores válidos: STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | | FAILED | TIMEOUT | ERROR WAITING |EXPIRED).

  O estado atual da execução do trabalho. Para obter mais informações sobre os status de trabalhos que foram encerrados de forma anormal, consulte AWS Glue Status de execução do trabalho.

• Arguments – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF -8.

  Cada valor é uma string UTF -8.

  Os argumentos de trabalho associados a esta execução. Para essa execução de tarefa, eles substituem os argumentos padrão definidos na própria definição de tarefa.

  Você pode especificar aqui argumentos que seu próprio script de execução de tarefas consome, bem como argumentos que AWS Glue ele mesmo consome.

  Os argumentos do trabalho podem ser registrados em log. Não transmita segredos em texto simples como argumentos. Recupere segredos de um AWS Glue Conexão, AWS Secrets Manager ou outro mecanismo de gerenciamento secreto, se você pretende mantê-los dentro do Job.

  Para obter informações sobre como especificar e consumir seus próprios argumentos de Job, consulte o Calling AWS Glue APIsno tópico Python no guia do desenvolvedor.

  Para obter informações sobre os argumentos que você pode fornecer a esse campo ao configurar trabalhos do Spark, consulte os Parâmetros especiais usados por AWS Gluetópico no guia do desenvolvedor.

  Para obter informações sobre os argumentos que você pode fornecer a esse campo ao configurar trabalhos do Ray, consulte o tópico Using job parameters in Ray jobs no guia do desenvolvedor.

• ErrorMessage— UTF -8 cordas.

  Uma mensagem de erro associada à execução deste trabalho.

• PredecessorRuns – Uma matriz de objetos Predecessor.

  Uma lista de predecessores para a execução deste trabalho.

• AllocatedCapacity – Número (íntegro).

  Este campo está obsoleto. Use MaxCapacity em vez disso.

  O número de AWS Glue unidades de processamento de dados (DPUs) alocadas para isso JobRun. De 2 a 100 DPUs podem ser alocados; o padrão é 10. DPUA é uma medida relativa da capacidade de processamento que consiste em 4% vCPUs da capacidade computacional e 16 GB de memória. Para obter mais informações, consulte o .AWS Glue página de preços.

• ExecutionTime – Número (íntegro).

  A quantidade de tempo (em segundos) em que o trabalho executado consumiu recursos.

• Timeout – Número (inteiro), pelo menos 1.

  O tempo limite de JobRun em minutos. Este é o tempo máximo durante o qual uma execução de trabalho pode consumir recursos antes de ser encerrada e entrar no status TIMEOUT. Esse valor substitui o valor de tempo limite definido no trabalho principal.

  Os trabalhos de streaming devem ter valores de tempo limite inferiores a 7 dias ou 10.080 minutos. Quando o valor for deixado em branco, o trabalho será reiniciado após 7 dias, caso você não tenha configurado uma janela de manutenção. Se você tiver uma janela de manutenção de configuração, ela será reiniciada durante a janela de manutenção após 7 dias.

• MaxCapacity – Número (duplo).

  Para trabalhos do Glue versão 1.0 ou anterior, usando o tipo de trabalhador padrão, o número de AWS Glue unidades de processamento de dados (DPUs) que podem ser alocadas quando esse trabalho é executado. DPUA é uma medida relativa da capacidade de processamento que consiste em 4% vCPUs da capacidade computacional e 16 GB de memória. Para obter mais informações, consulte o .AWS Glue página de preços.

  Para trabalhos do Glue versão 2.0+, você não pode especificar uma Maximum capacity. Em vez disso, você deve especificar um Worker type e o Number of workers.

  Não defina MaxCapacity se estiver usando WorkerType e NumberOfWorkers.

  O valor que pode ser alocado MaxCapacity depende de você estar executando um trabalho de shell do Python, um trabalho do Apache Spark ou um trabalho de streaming do Apache ETL Spark: ETL

  • Ao especificar um trabalho de shell do Python (JobCommand.Name="pythonshell”), você pode alocar 0,0625 ou 1. DPU O padrão é 0,0625DPU.

  • Quando você especifica uma tarefa do Apache Spark (JobCommand.Name="glueetl”) ou uma ETL tarefa de streaming do Apache Spark (JobCommand.Name="gluestreaming”), você pode ETL alocar de 2 a 100. DPUs O padrão é 10DPUs. Esse tipo de trabalho não pode ter uma DPU alocação fracionária.

• WorkerType— UTF -8 string (valores válidos: Standard="" | G.1X="" | G.2X="" | | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  O tipo de operador predefinido que é alocado quando um trabalho é executado. Aceita um valor de G.1X, G.2X, G.4X, G.8X ou G.025X para trabalhos do Spark. Aceita o valor Z.2X para trabalhos do Ray.

  • Para o tipo de G.1X trabalhador, cada trabalhador mapeia para 1 DPU (vCPUs4.16 GB de memória) com 84 GB de disco (aproximadamente 34 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos.

  • Para o tipo de G.2X trabalhador, cada trabalhador mapeia para 2 DPU (8vCPUs, 32 GB de memória) com 128 GB de disco (aproximadamente 77 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos.

  • Para o tipo de G.4X trabalhador, cada trabalhador mapeia para 4 DPU (16vCPUs, 64 GB de memória) com disco de 256 GB (aproximadamente 235 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de trabalhador está disponível somente para AWS Glue ETLtrabalhos do Spark versão 3.0 ou posterior nos seguintes AWS Regiões: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Irlanda) e Europa (Estocolmo).

  • Para o tipo de G.8X trabalhador, cada trabalhador é mapeado para 8 DPU (vCPUs32.128 GB de memória) com disco de 512 GB (aproximadamente 487 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de trabalhador está disponível somente para AWS Glue ETLtrabalhos do Spark da versão 3.0 ou posterior, no mesmo AWS Regiões suportadas pelo tipo de G.4X trabalhador.

  • Para o tipo de G.025X trabalhador, cada trabalhador mapeia para 0,25 DPU (vCPUs2,4 GB de memória) com 84 GB de disco (aproximadamente 34 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para trabalhos de streaming de baixo volume. Esse tipo de trabalhador está disponível somente para AWS Glue trabalhos de streaming da versão 3.0.

  • Para o tipo de Z.2X trabalhador, cada trabalhador mapeia para 2 M- DPU (vCPUs8.64 GB de memória) com 128 GB de disco (aproximadamente 120 GB livres) e fornece até 8 trabalhadores Ray com base no autoescalador.

• NumberOfWorkers – Número (íntegro).

  O número de operadores de determinado workerType que são alocados quando um trabalho é executado.

• SecurityConfiguration— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da estrutura de SecurityConfiguration a ser usada com a execução desse trabalho.

• LogGroupName— UTF -8 cordas.

  O nome do grupo de registros para registro seguro que pode ser criptografado no lado do servidor na Amazon usando CloudWatch AWS KMS. Esse nome pode ser. Nesse caso/aws-glue/jobs/, a criptografia padrão éNONE. Se você adicionar o nome de uma função e o nome de SecurityConfiguration (em outras palavras, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), essa configuração de segurança será usada para criptografar o grupo de logs.

• NotificationProperty – Um objeto NotificationProperty.

  Especifica propriedades de configuração de uma notificação de execução de trabalho.

• GlueVersion— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Custom string pattern #20

  Nas tarefas do Spark, GlueVersion determina as versões do Apache Spark e do Python que AWS Glue disponível em um emprego. A versão do Python indica a versão compatível com trabalhos do tipo Spark.

  Os trabalhos de Ray devem definir GlueVersion como 4.0 ou mais. Porém, as versões do Ray, do Python e das bibliotecas adicionais disponíveis no seu trabalho do Ray são determinadas pelo parâmetro Runtime do comando Job.

  Para obter mais informações sobre os disponíveis AWS Glue versões e as versões correspondentes do Spark e do Python, consulte a versão Glue no guia do desenvolvedor.

  Os trabalhos criados sem especificar uma versão do Glue usam como padrão o Glue 0.9.

• DPUSeconds – Número (duplo).

  Esse campo pode ser definido para execuções de tarefas com classe de execução FLEX ou quando o Auto Scaling está ativado e representa o tempo total de execução de cada executor durante o ciclo de vida de uma execução de tarefa em segundos, multiplicado por um DPU fator (1 paraG.1X, 2 para ou 0,25 para G.2X trabalhadores). G.025X Esse valor pode ser diferente de executionEngineRuntime * MaxCapacity, como no caso de trabalhos do Auto Scaling, pois o número de executores em execução em um determinado momento pode ser menor que MaxCapacity. Portanto, é possível que o valor de DPUSeconds seja menor que executionEngineRuntime * MaxCapacity.

• ExecutionClass— UTF -8 string, com no máximo 16 bytes de comprimento (valores válidos: FLEX="" |STANDARD="").

  Indica se o trabalho é executado com uma classe de execução padrão ou flexível. A classe de execução padrão é ideal para workloads sensíveis ao tempo que exigem a inicialização rápida de trabalhos e recursos dedicados.

  A classe de execução flexível é adequada para trabalhos insensíveis ao tempo, cujos horários de início e conclusão podem variar.

  Somente trabalhos com AWS Glue a versão 3.0 e superior e o tipo de comando glueetl poderão ser definidos como ExecutionClassFLEX. A classe de execução flexível está disponível para trabalhos do Spark.

• MaintenanceWindow— UTF -8 string, correspondendo a. Custom string pattern #30

  Esse campo especifica um dia da semana e uma hora para uma janela de manutenção para trabalhos de streaming. AWS Glue realiza periodicamente atividades de manutenção. Durante essas janelas de manutenção, AWS Glue precisará reiniciar seus trabalhos de streaming.

  AWS Glue reiniciará o trabalho dentro de 3 horas da janela de manutenção especificada. Por exemplo, se você configurar a janela de manutenção para segunda-feira às 10hGMT, seus trabalhos serão reiniciados entre 10h e 13hGMT. GMT

• ProfileName— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome de um AWS Glue perfil de uso associado à execução do trabalho.

• StateDetail— seqüência de caracteres UTF -8, não mais que 400000 bytes.

  Esse campo contém detalhes referentes ao estado da execução de um trabalho. O campo é anulável.

  Por exemplo, quando a execução de um trabalho está em um WAITING estado como resultado da fila de execução de um trabalho, o campo tem o motivo pelo qual a execução do trabalho está nesse estado.

Estrutura Predecessor

Uma execução de trabalho usada no predicado de um gatilho condicional que a acionou.

Campos

• JobName— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da definição de trabalho usada pela execução do trabalho antecessor.

• RunId— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O ID da execução de trabalho predecessor.

JobBookmarkEntry estrutura

Define um ponto em que um trabalho pode retomar o processamento.

Campos

• JobName— UTF -8 cordas.

  O nome do trabalho em questão.

• Version – Número (íntegro).

  A versão do trabalho.

• Run – Número (íntegro).

  O número do ID de execução.

• Attempt – Número (íntegro).

  O número do ID de tentativa.

• PreviousRunId— UTF -8 cordas.

  O identificador de execução exclusivo associado à execução do trabalho anterior.

• RunId— UTF -8 cordas.

  O número do ID de execução.

• JobBookmark— UTF -8 cordas.

  O próprio marcador.

BatchStopJobRunSuccessfulSubmission estrutura

Registra uma solicitação bem-sucedido para interromper um JobRun especificado.

Campos

• JobName— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da definição de trabalho usada na execução do trabalho que foi interrompida.

• JobRunId— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O JobRunId da execução de trabalho que foi interrompida.

BatchStopJobRunError estrutura

Registra um erro que ocorreu ao tentar interromper uma execução de trabalho especificada.

Campos

• JobName— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da definição de trabalho usada na execução do trabalho em questão.

• JobRunId— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O JobRunId da execução do trabalho em questão.

• ErrorDetail – Um objeto ErrorDetail.

  Especifica detalhes sobre o erro encontrado.

NotificationProperty estrutura

Especifica propriedades de configuração de uma notificação.

Campos

• NotifyDelayAfter – Número (inteiro), pelo menos 1.

  Depois que a execução de um trabalho for iniciada, o número de minutos a esperar antes de enviar uma notificação de atraso de execução de trabalho.

Operações

• StartJobRun ação (Python: start_job_run)

• BatchStopJobRun ação (Python: batch_stop_job_run)

• GetJobRun ação (Python: get_job_run)

• GetJobRuns ação (Python: get_job_runs)

• GetJobBookmark ação (Python: get_job_bookmark)

• GetJobBookmarks ação (Python: get_job_bookmarks)

• ResetJobBookmark ação (Python: reset_job_bookmark)

StartJobRun ação (Python: start_job_run)

Inicia uma execução de trabalho usando uma definição de trabalho.

Solicitação

• JobName— Obrigatório: UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da definição de trabalho que será usada.

• JobRunQueuingEnabled – Booleano.

  Especifica se o enfileiramento da execução de trabalhos está habilitado para a execução do trabalho.

  Um valor "verdadeiro" significa que o enfileiramento da execução de trabalhos está habilitado para as execuções do trabalho. Se o valor for "falso" ou não estiver preenchido, a execução do trabalho não será considerada para enfileiramento.

• JobRunId— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O ID de um JobRun anterior para tentar novamente.

• Arguments – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF -8.

  Cada valor é uma string UTF -8.

  Os argumentos de trabalho associados a esta execução. Para essa execução de tarefa, eles substituem os argumentos padrão definidos na própria definição de tarefa.

  Você pode especificar aqui argumentos que seu próprio script de execução de tarefas consome, bem como argumentos que AWS Glue ele mesmo consome.

  Os argumentos do trabalho podem ser registrados em log. Não transmita segredos em texto simples como argumentos. Recupere segredos de um AWS Glue Conexão, AWS Secrets Manager ou outro mecanismo de gerenciamento secreto, se você pretende mantê-los dentro do Job.

  Para obter informações sobre como especificar e consumir seus próprios argumentos de Job, consulte o Calling AWS Glue APIsno tópico Python no guia do desenvolvedor.

  Para obter informações sobre os argumentos que você pode fornecer a esse campo ao configurar trabalhos do Spark, consulte os Parâmetros especiais usados por AWS Gluetópico no guia do desenvolvedor.

  Para obter informações sobre os argumentos que você pode fornecer a esse campo ao configurar trabalhos do Ray, consulte o tópico Using job parameters in Ray jobs no guia do desenvolvedor.

• AllocatedCapacity – Número (íntegro).

  Este campo está obsoleto. Use MaxCapacity em vez disso.

  O número de AWS Glue unidades de processamento de dados (DPUs) para alocar para isso JobRun. Você pode alocar no mínimo 2DPUs; o padrão é 10. DPUA é uma medida relativa da capacidade de processamento que consiste em 4% vCPUs da capacidade computacional e 16 GB de memória. Para obter mais informações, consulte o .AWS Glue página de preços.

• Timeout – Número (inteiro), pelo menos 1.

  O tempo limite de JobRun em minutos. Este é o tempo máximo durante o qual uma execução de trabalho pode consumir recursos antes de ser encerrada e entrar no status TIMEOUT. Esse valor substitui o valor de tempo limite definido no trabalho principal.

  Os trabalhos de streaming devem ter valores de tempo limite inferiores a 7 dias ou 10.080 minutos. Quando o valor for deixado em branco, o trabalho será reiniciado após 7 dias, caso você não tenha configurado uma janela de manutenção. Se você tiver uma janela de manutenção de configuração, ela será reiniciada durante a janela de manutenção após 7 dias.

• MaxCapacity – Número (duplo).

  Para trabalhos do Glue versão 1.0 ou anterior, usando o tipo de trabalhador padrão, o número de AWS Glue unidades de processamento de dados (DPUs) que podem ser alocadas quando esse trabalho é executado. DPUA é uma medida relativa da capacidade de processamento que consiste em 4% vCPUs da capacidade computacional e 16 GB de memória. Para obter mais informações, consulte o .AWS Glue página de preços.

  Para trabalhos do Glue versão 2.0+, você não pode especificar uma Maximum capacity. Em vez disso, você deve especificar um Worker type e o Number of workers.

  Não defina MaxCapacity se estiver usando WorkerType e NumberOfWorkers.

  O valor que pode ser alocado MaxCapacity depende de você estar executando um trabalho de shell do Python, um trabalho do Apache Spark ou um trabalho de streaming do Apache ETL Spark: ETL

  • Ao especificar um trabalho de shell do Python (JobCommand.Name="pythonshell”), você pode alocar 0,0625 ou 1. DPU O padrão é 0,0625DPU.

  • Quando você especifica uma tarefa do Apache Spark (JobCommand.Name="glueetl”) ou uma ETL tarefa de streaming do Apache Spark (JobCommand.Name="gluestreaming”), você pode ETL alocar de 2 a 100. DPUs O padrão é 10DPUs. Esse tipo de trabalho não pode ter uma DPU alocação fracionária.

• SecurityConfiguration— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da estrutura de SecurityConfiguration a ser usada com a execução desse trabalho.

• NotificationProperty – Um objeto NotificationProperty.

  Especifica propriedades de configuração de uma notificação de execução de trabalho.

• WorkerType— UTF -8 string (valores válidos: Standard="" | G.1X="" | G.2X="" | | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  O tipo de operador predefinido que é alocado quando um trabalho é executado. Aceita um valor de G.1X, G.2X, G.4X, G.8X ou G.025X para trabalhos do Spark. Aceita o valor Z.2X para trabalhos do Ray.

  • Para o tipo de G.1X trabalhador, cada trabalhador mapeia para 1 DPU (vCPUs4.16 GB de memória) com 84 GB de disco (aproximadamente 34 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos.

  • Para o tipo de G.2X trabalhador, cada trabalhador mapeia para 2 DPU (8vCPUs, 32 GB de memória) com 128 GB de disco (aproximadamente 77 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos.

  • Para o tipo de G.4X trabalhador, cada trabalhador mapeia para 4 DPU (16vCPUs, 64 GB de memória) com disco de 256 GB (aproximadamente 235 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de trabalhador está disponível somente para AWS Glue ETLtrabalhos do Spark versão 3.0 ou posterior nos seguintes AWS Regiões: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Irlanda) e Europa (Estocolmo).

  • Para o tipo de G.8X trabalhador, cada trabalhador é mapeado para 8 DPU (vCPUs32.128 GB de memória) com disco de 512 GB (aproximadamente 487 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de trabalhador está disponível somente para AWS Glue ETLtrabalhos do Spark da versão 3.0 ou posterior, no mesmo AWS Regiões suportadas pelo tipo de G.4X trabalhador.

  • Para o tipo de G.025X trabalhador, cada trabalhador mapeia para 0,25 DPU (vCPUs2,4 GB de memória) com 84 GB de disco (aproximadamente 34 GB livres) e fornece 1 executor por trabalhador. Recomendamos esse tipo de operador para trabalhos de streaming de baixo volume. Esse tipo de trabalhador está disponível somente para AWS Glue trabalhos de streaming da versão 3.0.

  • Para o tipo de Z.2X trabalhador, cada trabalhador mapeia para 2 M- DPU (vCPUs8.64 GB de memória) com 128 GB de disco (aproximadamente 120 GB livres) e fornece até 8 trabalhadores Ray com base no autoescalador.

• NumberOfWorkers – Número (íntegro).

  O número de operadores de determinado workerType que são alocados quando um trabalho é executado.

• ExecutionClass— UTF -8 string, com no máximo 16 bytes de comprimento (valores válidos: FLEX="" |STANDARD="").

  Indica se o trabalho é executado com uma classe de execução padrão ou flexível. A classe de execução padrão é ideal para workloads sensíveis ao tempo que exigem a inicialização rápida de trabalhos e recursos dedicados.

  A classe de execução flexível é adequada para trabalhos insensíveis ao tempo, cujos horários de início e conclusão podem variar.

  Somente trabalhos com AWS Glue a versão 3.0 e superior e o tipo de comando glueetl poderão ser definidos como ExecutionClassFLEX. A classe de execução flexível está disponível para trabalhos do Spark.

• ProfileName— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome de um AWS Glue perfil de uso associado à execução do trabalho.

Resposta

• JobRunId— UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O ID atribuído a esta execução de trabalho.

Erros

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• ResourceNumberLimitExceededException

• ConcurrentRunsExceededException

BatchStopJobRun ação (Python: batch_stop_job_run)

Interrompe uma ou mais execuções de trabalho para uma definição de trabalho determinada.

Solicitação

• JobName— Obrigatório: UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da definição de trabalho para a qual as execuções de trabalho são interrompidas.

• JobRunIds— Obrigatório: uma matriz de UTF -8 strings, não menos que 1 ou mais que 25 strings.

  Uma lista dos JobRunIds que devem ser interrompidos para essa definição de trabalho.

Resposta

• SuccessfulSubmissions – Uma matriz de objetos BatchStopJobRunSuccessfulSubmission.

  Uma lista dos JobRuns que foram enviados com sucesso para serem interrompidos.

• Errors – Uma matriz de objetos BatchStopJobRunError.

  Uma lista dos erros que foram encontrados durante a tentativa de interrupção de JobRuns, incluindo o JobRunId para o qual cada erro foi encontrado e os detalhes do erro.

Erros

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

GetJobRun ação (Python: get_job_run)

Recupera os metadados para uma execução de trabalho específica. O histórico de execução de trabalhos pode ser acessado por 90 dias para seu fluxo de trabalho e execução de trabalhos.

Solicitação

• JobName— Obrigatório: UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  Nome da definição de trabalho em execução.

• RunId— Obrigatório: UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O ID da execução de trabalho.

• PredecessorsIncluded – Booleano.

  True, se uma lista de execuções antecessoras for retornada.

Resposta

• JobRun – Um objeto JobRun.

  Os metadados solicitados da execução de trabalho.

Erros

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

GetJobRuns ação (Python: get_job_runs)

Recupera os metadados para todas as execuções de uma determinada definição de trabalho.

GetJobRunsretorna a execução da tarefa em ordem cronológica, com as tarefas mais recentes retornadas primeiro.

Solicitação

• JobName— Obrigatório: UTF -8 string, não menos que 1 ou mais de 255 bytes de comprimento, correspondendo a. Single-line string pattern

  O nome da definição de trabalho para a qual todas as execuções de trabalho são recuperadas.

• NextToken— UTF -8 cordas.

  Um token de continuação, se esta for uma chamada de continuação.

• MaxResults: número (inteiro) não inferior a 1 nem superior a 200.

  O tamanho máximo da resposta.

Resposta

• JobRuns – Uma matriz de objetos JobRun.

  Uma lista de objetos de metadados de execução de trabalho.

• NextToken— UTF -8 cordas.

  Um token de continuação, se todas as execuções de trabalho solicitadas não tiverem sido retornadas.

Erros

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

GetJobBookmark ação (Python: get_job_bookmark)

Retorna informações sobre uma entrada de marcador de trabalho.

Para obter mais informações sobre como habilitar e usar marcadores de trabalho, consulte:

• Rastrear dados processados usando marcadores de trabalho

• Parâmetros de trabalho usados por AWS Glue

• Estrutura de trabalhos

Solicitação

• JobName— Obrigatório: UTF -8 string.

  O nome do trabalho em questão.

• Version – Número (íntegro).

  A versão do trabalho.

• RunId— UTF -8 cordas.

  O identificador de execução exclusivo associado à execução desse trabalho.

Resposta

• JobBookmarkEntry – Um objeto JobBookmarkEntry.

  Uma estrutura que define um ponto em que um trabalho pode retomar o processamento.

Erros

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• ValidationException

GetJobBookmarks ação (Python: get_job_bookmarks)

Retorna informações sobre as entradas de marcador de trabalho. A ordem da lista é em números de versão decrescentes.

Para obter mais informações sobre como habilitar e usar marcadores de trabalho, consulte:

• Rastrear dados processados usando marcadores de trabalho

• Parâmetros de trabalho usados por AWS Glue

• Estrutura de trabalhos

Solicitação

• JobName— Obrigatório: UTF -8 string.

  O nome do trabalho em questão.

• MaxResults – Número (íntegro).

  O tamanho máximo da resposta.

• NextToken – Número (íntegro).

  Um token de continuação, se esta for uma chamada de continuação.

Resposta

• JobBookmarkEntries – Uma matriz de objetos JobBookmarkEntry.

  Uma lista de entradas de marcador de trabalho que define um ponto em que um trabalho pode retomar o processamento.

• NextToken – Número (íntegro).

  Um token de continuação, que terá um valor de 1 se todas as entradas forem retornadas ou > 1 se nem todas as execuções solicitadas forem retornadas.

Erros

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

ResetJobBookmark ação (Python: reset_job_bookmark)

Redefine uma entrada de marcador.

Para obter mais informações sobre como habilitar e usar marcadores de trabalho, consulte:

• Rastrear dados processados usando marcadores de trabalho

• Parâmetros de trabalho usados por AWS Glue

• Estrutura de trabalhos

Solicitação

• JobName— Obrigatório: UTF -8 string.

  O nome do trabalho em questão.

• RunId— UTF -8 cordas.

  O identificador de execução exclusivo associado à execução desse trabalho.

Resposta

• JobBookmarkEntry – Um objeto JobBookmarkEntry.

  A redefinição da entrada de marcador.

Erros

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException