Sessões API interativas

A API de sessões interativas descreve aAWS Glue API relacionada ao usoAWS Glue sessões interativas para criar e testar scripts de extração, transformação e carregamento (ETL) para integração de dados.

Tipos de dados

• Estrutura Session

• Estrutura SessionCommand

• Estrutura Statement

• Estrutura StatementOutput

• Estrutura StatementOutputData

• Estrutura ConnectionsList

Estrutura Session

O período em que um ambiente do runtime remoto do Spark está sendo executado.

Campos

• Id: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da sessão.

• CreatedOn – Timestamp.

  A data e a hora em que a sessão foi criada.

• Status – String UTF-8 (valores válidos: PROVISIONING | READY | FAILED | TIMEOUT | STOPPING | STOPPED).

  O status da sessão.

• ErrorMessage: string de descrição com no máximo 2.048 bytes de comprimento e correspondente a URI address multi-line string pattern.

  A mensagem de erro exibida durante a sessão.

• Description: string de descrição com no máximo 2.048 bytes de comprimento e correspondente a URI address multi-line string pattern.

  A descrição da sessão.

• Role – String UTF-8, superior a 20 e inferior a 2048 bytes de comprimento, correspondente a Custom string pattern #30.

  O nome ou nome de recurso da Amazon (ARN) da função do IAM associada à sessão.

• Command: um objeto SessionCommand.

  O comando Object.Consulte SessionCommand.

• DefaultArguments – Uma matriz de mapas de pares de valores-chave, não mais de 75 pares.

  Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes, correspondente a Custom string pattern #31.

  Cada valor é uma string UTF-8, com comprimento não superior a 4096 bytes, correspondente a URI address multi-line string pattern.

  Um array de mapa dos pares de valor-chave. O máximo é de 75 pares.

• Connections: um objeto ConnectionsList.

  O número de conexões usadas para a sessão.

• Progress – Número (duplo).

  O andamento da execução do código da sessão.

• MaxCapacity – Número (duplo).

  O número de unidades de processamento de dados (DPUs) do AWS Glue que poderão ser alocadas quando o trabalho for executado. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória.

• SecurityConfiguration: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O nome da estrutura SecurityConfiguration a ser usada com a sessão.

• GlueVersion: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Custom string pattern #47.

  A versão AWS Glue determina as versões do Apache Spark e do Python compatíveis com o AWS Glue. O GlueVersion deve ser maior que 2.0.

• DataAccessId - String UTF-8, não menos do que 1 ou superior a 36 bytes de comprimento.

  O ID de acesso a dados da sessão.

• PartitionId - String UTF-8, não menos do que 1 ou superior a 36 bytes de comprimento.

  O ID da partição da sessão.

• NumberOfWorkers – Número (íntegro).

  O número de operadores de determinado WorkerType para usar na sessão.

• WorkerType – String UTF-8 (valores válidos: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  O tipo de operador predefinido que é alocado quando uma sessão é executada. Aceita um valor de G.1X, G.2X, G.4X ou G.8X para sessões do Spark. Aceita o valor Z.2X para sessões do Ray.

• CompletedOn – Timestamp.

  A data e a hora em que a execução desse trabalho foi concluída.

• ExecutionTime – Número (duplo).

  O tempo total durante o qual a sessão foi executada.

• DPUSeconds – Número (duplo).

  As DPUs consumidas pela sessão (fórmula: ExecutionTime * MaxCapacity).

• IdleTimeout – Número (íntegro).

  O número de minutos de natividade até esgotar o tempo limite da sessão.

• ProfileName: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O nome de um perfil de uso do AWS Glue associado à sessão.

Estrutura SessionCommand

O SessionCommand que executa esse trabalho.

Campos

• Name: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  Especifica o nome do SessionCommand. Pode ser “glueetl” ou “glueestreaming”.

• PythonVersion: string UTF-8 correspondente a Custom string pattern #48.

  Especifica a versão usada do Python. A versão do Python indica a versão compatível com trabalhos do tipo Spark.

Estrutura Statement

A declaração ou solicitação para que uma ação específica ocorra em uma sessão.

Campos

• Id – Número (íntegro).

  O ID da instrução.

• Code: string UTF-8.

  O código de execução da instrução.

• State – String UTF-8 (valores válidos: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

  O estado enquanto a solicitação é acionada.

• Output: um objeto StatementOutput.

  A saída em JSON.

• Progress – Número (duplo).

  O progresso da execução do código.

• StartedOn – Número (extenso).

  A hora e a data unix em que a definição de trabalho foi iniciada.

• CompletedOn – Número (extenso).

  A hora e a data unix em que a definição de trabalho foi concluída.

Estrutura StatementOutput

O resultado da execução de código no formato JSON.

Campos

• Data: um objeto StatementOutputData.

  O resultado da execução de código.

• ExecutionCount – Número (íntegro).

  A contagem de execução da saída.

• Status – String UTF-8 (valores válidos: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

  O status da saída do código de execução.

• ErrorName: string UTF-8.

  O nome do erro na saída.

• ErrorValue: string UTF-8.

  O valor de erro da saída.

• Traceback – Uma matriz de strings UTF-8.

  O traceback da saída.

Estrutura StatementOutputData

O resultado da execução de código no formato JSON.

Campos

• TextPlain: string UTF-8.

  O resultado da execução do código no formato de texto.

Estrutura ConnectionsList

Especifica as conexões usadas por um trabalho.

Campos

• Connections – Uma matriz de strings UTF-8.

  Uma lista das conexões usadas pelo trabalho.

Operações

• Ação CreateSession (Python: create_session)

• Ação StopSession (Python: stop_session)

• Ação DeleteSession (Python: delete_session)

• Ação GetSession (Python: get_session)

• Ação ListSessions (Python: list_sessions)

• Ação RunStatement (Python: run_statement)

• Ação CancelStatement (Python: cancel_statement)

• Ação GetStatement (Python: get_statement)

• Ação ListStatations (Python: list_statements)

Ação CreateSession (Python: create_session)

Cria uma nova sessão..

Solicitação

Solicitação para criar uma nova sessão.

• Id: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da solicitação de sessão.

• Description: string de descrição com no máximo 2.048 bytes de comprimento e correspondente a URI address multi-line string pattern.

  A descrição da sessão.

• Role – Obrigatório: string UTF-8, não inferior a 20 ou superior a 2048 bytes de comprimento, correspondendo a Custom string pattern #30.

  O ARN da função do &IAM

• Command – Obrigatório: um objeto SessionCommand.

  O SessionCommand que executa esse trabalho.

• Timeout – Número (inteiro), pelo menos 1.

  O número de minutos até esgotar o tempo limite da sessão. O padrão para trabalhos de ETL do Spark é 48 horas (2.880 minutos), a duração máxima da sessão para esse tipo de trabalho. Consulte a documentação para outros tipos de trabalho.

• IdleTimeout – Número (inteiro), pelo menos 1.

  O número de minutos de natividade até esgotar o tempo limite da sessão. O padrão para trabalhos de ETL do Spark é o valor do tempo limite. Consulte a documentação para outros tipos de trabalho.

• DefaultArguments – Uma matriz de mapas de pares de valores-chave, não mais de 75 pares.

  Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes, correspondente a Custom string pattern #31.

  Cada valor é uma string UTF-8, com comprimento não superior a 4096 bytes, correspondente a URI address multi-line string pattern.

  Um array de mapa dos pares de valor-chave. O máximo é de 75 pares.

• Connections: um objeto ConnectionsList.

  O número de conexões usadas para a sessão.

• MaxCapacity – Número (duplo).

  O número de unidades de processamento de dados (DPUs) do AWS Glue que poderão ser alocadas quando o trabalho for executado. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória.

• NumberOfWorkers – Número (íntegro).

  O número de operadores de determinado WorkerType para usar na sessão.

• WorkerType – String UTF-8 (valores válidos: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  O tipo de operador predefinido que é alocado quando um trabalho é executado. Aceita um valor de G.1X, G.2X, G.4X ou G.8X para trabalhos do Spark. Aceita o valor Z.2X para cadernos do Ray.

  • Para o tipo de operador G.1X, cada operador é mapeado em 1 DPU (4 vCPU, 16 GB de memória) com 94 GB de disco e fornece 1 executor por operador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos.

  • Para o tipo de operador G.2X, cada operador é mapeado em 2 DPU (8 vCPU, 32 GB de memória) com 138 GB de disco e fornece 1 executor por operador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos.

  • Para o tipo de operador G.4X, cada operador é mapeado em 4 DPU (16 vCPU, 64 GB de memória) com 256 GB de disco e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de operador está disponível somente para trabalhos de ETL do Spark no AWS Glue versão 3.0 ou posterior nas seguintes regiões da AWS: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Irlanda) e Europa (Estocolmo).

  • Para o tipo de operador G.8X, cada operador é mapeado em 8 DPU (32 vCPU, 128 GB de memória) com 512 GB de disco e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de operador está disponível somente para trabalhos de ETL do Spark no AWS Glue versão 3.0 ou posterior, nas mesmas regiões da AWS compatíveis com o tipo de operador G.4X.

  • Para o tipo de operador Z.2X, cada operador é mapeado em 2 M-DPU (8 vCPUs, 64 GB de memória) com 128 GB de disco e fornece até 8 operadores do Ray baseados no autoscaler.

• SecurityConfiguration: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O nome da estrutura SecurityConfiguration a ser usada com a sessão.

• GlueVersion: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Custom string pattern #47.

  A versão AWS Glue determina as versões do Apache Spark e do Python compatíveis com o AWS Glue. O GlueVersion deve ser maior que 2.0.

• DataAccessId - String UTF-8, não menos do que 1 ou superior a 36 bytes de comprimento.

  O ID de acesso a dados da sessão.

• PartitionId - String UTF-8, não menos do que 1 ou superior a 36 bytes de comprimento.

  O ID da partição da sessão.

• Tags: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.

  Cada chave é uma string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento.

  Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.

  O mapa dos pares de valores-chave (tags) pertencentes à sessão.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  A origem da solicitação.

• ProfileName: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O nome de um perfil de uso do AWS Glue associado à sessão.

Resposta

• Session: um objeto Sessão.

  Retorna o objeto de sessão na resposta.

Erros

• AccessDeniedException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• AlreadyExistsException

• ResourceNumberLimitExceededException

Ação StopSession (Python: stop_session)

Interrompa a sessão.

Solicitação

• Id: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da sessão a ser interrompida.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  A origem da solicitação.

Resposta

• Id: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  Retorna o ID da sessão interrompida.

Erros

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

Ação DeleteSession (Python: delete_session)

Exclui a sessão.

Solicitação

• Id: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da sessão a ser excluído.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  O nome da origem da solicitação de sessão de exclusão.

Resposta

• Id: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  Retorna o ID da sessão excluída.

Erros

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

Ação GetSession (Python: get_session)

Recupera a sessão.

Solicitação

• Id: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da sessão.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  A origem da solicitação.

Resposta

• Session: um objeto Sessão.

  O objeto de sessão é retornado na resposta.

Erros

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Ação ListSessions (Python: list_sessions)

Recupere uma lista de sessões.

Solicitação

• NextToken: string UTF-8, não superior a 400.000 bytes de comprimento.

  O token para o próximo conjunto de resultados ou nulo se não houver mais resultados.

• MaxResults – Número (inteiro), superior a 1 ou mais que 1000.

  O número máximo de resultados.

• Tags: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.

  Cada chave é uma string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento.

  Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.

  Tags pertencentes à sessão.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  A origem da solicitação.

Resposta

• Ids – Uma matriz de strings UTF-8.

  Retorna o ID da sessão.

• Sessions: um array de objetos Sessão.

  Retorna o objeto de sessão.

• NextToken: string UTF-8, não superior a 400.000 bytes de comprimento.

  O token para o próximo conjunto de resultados ou nulo se não houver mais resultados.

Erros

• AccessDeniedException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Ação RunStatement (Python: run_statement)

Executa a instrução.

Solicitação

• SessionId: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da sessão da instrução a ser executado.

• Code: Obrigatório: string UTF-8, não superior a 68000 bytes de comprimento.

  O código da instrução a ser executado.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  A origem da solicitação.

Resposta

• Id – Número (íntegro).

  Retorna o ID da instrução que foi executada.

Erros

• EntityNotFoundException

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

• IllegalSessionStateException

Ação CancelStatement (Python: cancel_statement)

Cancela a instrução.

Solicitação

• SessionId: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da sessão da instrução a ser cancelado.

• Id: obrigatório: número (inteiro).

  O ID da instrução a ser cancelado.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  A origem da solicitação para cancelar a instrução.

Resposta

• Nenhum parâmetro de resposta.

Erros

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

Ação GetStatement (Python: get_statement)

Recupera a instrução.

Solicitação

• SessionId: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da sessão da instrução.

• Id: obrigatório: número (inteiro).

  O ID da instrução.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  A origem da solicitação.

Resposta

• Statement: um objeto Statement.

  Recupera a instrução.

Erros

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

Ação ListStatations (Python: list_statements)

Lista as instruções para a sessão.

Solicitação

• SessionId: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.

  O ID da sessão das instruções.

• RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.

  A origem da solicitação para listar instruções.

• NextToken: string UTF-8, não superior a 400.000 bytes de comprimento.

  Um token de continuação, se esta for uma chamada de continuação.

Resposta

• Statements: um array de objetos Statement.

  Retorna a lista de instruções.

• NextToken: string UTF-8, não superior a 400.000 bytes de comprimento.

  Um token de continuação, se nem todas as instruções ainda tiverem sido retornadas.

Erros

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException