A API de sessões interativas descreve aAWS Glue API relacionada ao usoAWS Glue sessões interativas para criar e testar scripts de extração, transformação e carregamento (ETL) para integração de dados.
Tipos de dados
Estrutura Session
O período em que um ambiente do runtime remoto do Spark está sendo executado.
Campos
-
Id: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da sessão.
-
CreatedOn– Timestamp.A data e a hora em que a sessão foi criada.
-
Status– String UTF-8 (valores válidos:PROVISIONING|READY|FAILED|TIMEOUT|STOPPING|STOPPED).O status da sessão.
-
ErrorMessage: string de descrição com no máximo 2.048 bytes de comprimento e correspondente a URI address multi-line string pattern.A mensagem de erro exibida durante a sessão.
-
Description: string de descrição com no máximo 2.048 bytes de comprimento e correspondente a URI address multi-line string pattern.A descrição da sessão.
-
Role– String UTF-8, superior a 20 e inferior a 2048 bytes de comprimento, correspondente a Custom string pattern #30.O nome ou nome de recurso da Amazon (ARN) da função do IAM associada à sessão.
-
Command: um objeto SessionCommand.O comando Object.Consulte SessionCommand.
-
DefaultArguments– Uma matriz de mapas de pares de valores-chave, não mais de 75 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes, correspondente a Custom string pattern #31.
Cada valor é uma string UTF-8, com comprimento não superior a 4096 bytes, correspondente a URI address multi-line string pattern.
Um array de mapa dos pares de valor-chave. O máximo é de 75 pares.
-
Connections: um objeto ConnectionsList.O número de conexões usadas para a sessão.
-
Progress– Número (duplo).O andamento da execução do código da sessão.
-
MaxCapacity– Número (duplo).O número de unidades de processamento de dados (DPUs) do AWS Glue que poderão ser alocadas quando o trabalho for executado. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória.
-
SecurityConfiguration: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O nome da estrutura SecurityConfiguration a ser usada com a sessão.
-
GlueVersion: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Custom string pattern #47.A versão AWS Glue determina as versões do Apache Spark e do Python compatíveis com o AWS Glue. O GlueVersion deve ser maior que 2.0.
-
DataAccessId- String UTF-8, não menos do que 1 ou superior a 36 bytes de comprimento.O ID de acesso a dados da sessão.
-
PartitionId- String UTF-8, não menos do que 1 ou superior a 36 bytes de comprimento.O ID da partição da sessão.
-
NumberOfWorkers– Número (íntegro).O número de operadores de determinado
WorkerTypepara usar na sessão. -
WorkerType– String UTF-8 (valores válidos:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").O tipo de operador predefinido que é alocado quando uma sessão é executada. Aceita um valor de
G.1X,G.2X,G.4XouG.8Xpara sessões do Spark. Aceita o valorZ.2Xpara sessões do Ray. -
CompletedOn– Timestamp.A data e a hora em que a execução desse trabalho foi concluída.
-
ExecutionTime– Número (duplo).O tempo total durante o qual a sessão foi executada.
-
DPUSeconds– Número (duplo).As DPUs consumidas pela sessão (fórmula: ExecutionTime * MaxCapacity).
-
IdleTimeout– Número (íntegro).O número de minutos de natividade até esgotar o tempo limite da sessão.
-
ProfileName: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O nome de um perfil de uso do AWS Glue associado à sessão.
Estrutura SessionCommand
O SessionCommand que executa esse trabalho.
Campos
-
Name: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.Especifica o nome do SessionCommand. Pode ser “glueetl” ou “glueestreaming”.
-
PythonVersion: string UTF-8 correspondente a Custom string pattern #48.Especifica a versão usada do Python. A versão do Python indica a versão compatível com trabalhos do tipo Spark.
Estrutura Statement
A declaração ou solicitação para que uma ação específica ocorra em uma sessão.
Campos
-
Id– Número (íntegro).O ID da instrução.
-
Code: string UTF-8.O código de execução da instrução.
-
State– String UTF-8 (valores válidos:WAITING|RUNNING|AVAILABLE|CANCELLING|CANCELLED|ERROR).O estado enquanto a solicitação é acionada.
-
Output: um objeto StatementOutput.A saída em JSON.
-
Progress– Número (duplo).O progresso da execução do código.
-
StartedOn– Número (extenso).A hora e a data unix em que a definição de trabalho foi iniciada.
-
CompletedOn– Número (extenso).A hora e a data unix em que a definição de trabalho foi concluída.
Estrutura StatementOutput
O resultado da execução de código no formato JSON.
Campos
-
Data: um objeto StatementOutputData.O resultado da execução de código.
-
ExecutionCount– Número (íntegro).A contagem de execução da saída.
-
Status– String UTF-8 (valores válidos:WAITING|RUNNING|AVAILABLE|CANCELLING|CANCELLED|ERROR).O status da saída do código de execução.
-
ErrorName: string UTF-8.O nome do erro na saída.
-
ErrorValue: string UTF-8.O valor de erro da saída.
-
Traceback– Uma matriz de strings UTF-8.O traceback da saída.
Estrutura StatementOutputData
O resultado da execução de código no formato JSON.
Campos
-
TextPlain: string UTF-8.O resultado da execução do código no formato de texto.
Estrutura ConnectionsList
Especifica as conexões usadas por um trabalho.
Campos
-
Connections– Uma matriz de strings UTF-8.Uma lista das conexões usadas pelo trabalho.
Operações
Ação CreateSession (Python: create_session)
Cria uma nova sessão..
Solicitação
Solicitação para criar uma nova sessão.
-
Id: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da solicitação de sessão.
-
Description: string de descrição com no máximo 2.048 bytes de comprimento e correspondente a URI address multi-line string pattern.A descrição da sessão.
-
Role– Obrigatório: string UTF-8, não inferior a 20 ou superior a 2048 bytes de comprimento, correspondendo a Custom string pattern #30.O ARN da função do &IAM
-
Command– Obrigatório: um objeto SessionCommand.O
SessionCommandque executa esse trabalho. -
Timeout– Número (inteiro), pelo menos 1.O número de minutos até esgotar o tempo limite da sessão. O padrão para trabalhos de ETL do Spark é 48 horas (2.880 minutos), a duração máxima da sessão para esse tipo de trabalho. Consulte a documentação para outros tipos de trabalho.
-
IdleTimeout– Número (inteiro), pelo menos 1.O número de minutos de natividade até esgotar o tempo limite da sessão. O padrão para trabalhos de ETL do Spark é o valor do tempo limite. Consulte a documentação para outros tipos de trabalho.
-
DefaultArguments– Uma matriz de mapas de pares de valores-chave, não mais de 75 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes, correspondente a Custom string pattern #31.
Cada valor é uma string UTF-8, com comprimento não superior a 4096 bytes, correspondente a URI address multi-line string pattern.
Um array de mapa dos pares de valor-chave. O máximo é de 75 pares.
-
Connections: um objeto ConnectionsList.O número de conexões usadas para a sessão.
-
MaxCapacity– Número (duplo).O número de unidades de processamento de dados (DPUs) do AWS Glue que poderão ser alocadas quando o trabalho for executado. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória.
-
NumberOfWorkers– Número (íntegro).O número de operadores de determinado
WorkerTypepara usar na sessão. -
WorkerType– String UTF-8 (valores válidos:Standard=""|G.1X=""|G.2X=""|G.025X=""|G.4X=""|G.8X=""|Z.2X="").O tipo de operador predefinido que é alocado quando um trabalho é executado. Aceita um valor de G.1X, G.2X, G.4X ou G.8X para trabalhos do Spark. Aceita o valor Z.2X para cadernos do Ray.
-
Para o tipo de operador
G.1X, cada operador é mapeado em 1 DPU (4 vCPU, 16 GB de memória) com 94 GB de disco e fornece 1 executor por operador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos. -
Para o tipo de operador
G.2X, cada operador é mapeado em 2 DPU (8 vCPU, 32 GB de memória) com 138 GB de disco e fornece 1 executor por operador. Recomendamos esse tipo de operador para workloads, como transformações de dados, uniões e consultas, para oferecer uma maneira escalável e econômica de executar a maioria dos trabalhos. -
Para o tipo de operador
G.4X, cada operador é mapeado em 4 DPU (16 vCPU, 64 GB de memória) com 256 GB de disco e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de operador está disponível somente para trabalhos de ETL do Spark no AWS Glue versão 3.0 ou posterior nas seguintes regiões da AWS: Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Canadá (Central), Europa (Frankfurt), Europa (Irlanda) e Europa (Estocolmo). -
Para o tipo de operador
G.8X, cada operador é mapeado em 8 DPU (32 vCPU, 128 GB de memória) com 512 GB de disco e fornece 1 executor por operador. Recomendamos esse tipo de operador para trabalhos cujas workloads contêm as transformações, agregações, uniões e consultas mais exigentes. Esse tipo de operador está disponível somente para trabalhos de ETL do Spark no AWS Glue versão 3.0 ou posterior, nas mesmas regiões da AWS compatíveis com o tipo de operadorG.4X. -
Para o tipo de operador
Z.2X, cada operador é mapeado em 2 M-DPU (8 vCPUs, 64 GB de memória) com 128 GB de disco e fornece até 8 operadores do Ray baseados no autoscaler.
-
-
SecurityConfiguration: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O nome da estrutura SecurityConfiguration a ser usada com a sessão.
-
GlueVersion: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Custom string pattern #47.A versão AWS Glue determina as versões do Apache Spark e do Python compatíveis com o AWS Glue. O GlueVersion deve ser maior que 2.0.
-
DataAccessId- String UTF-8, não menos do que 1 ou superior a 36 bytes de comprimento.O ID de acesso a dados da sessão.
-
PartitionId- String UTF-8, não menos do que 1 ou superior a 36 bytes de comprimento.O ID da partição da sessão.
-
Tags: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.Cada chave é uma string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
O mapa dos pares de valores-chave (tags) pertencentes à sessão.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.A origem da solicitação.
-
ProfileName: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O nome de um perfil de uso do AWS Glue associado à sessão.
Resposta
-
Session: um objeto Sessão.Retorna o objeto de sessão na resposta.
Erros
AccessDeniedExceptionIdempotentParameterMismatchExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationExceptionAlreadyExistsExceptionResourceNumberLimitExceededException
Ação StopSession (Python: stop_session)
Interrompa a sessão.
Solicitação
-
Id: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da sessão a ser interrompida.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.A origem da solicitação.
Resposta
-
Id: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.Retorna o ID da sessão interrompida.
Erros
AccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateExceptionConcurrentModificationException
Ação DeleteSession (Python: delete_session)
Exclui a sessão.
Solicitação
-
Id: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da sessão a ser excluído.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.O nome da origem da solicitação de sessão de exclusão.
Resposta
-
Id: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.Retorna o ID da sessão excluída.
Erros
AccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateExceptionConcurrentModificationException
Ação GetSession (Python: get_session)
Recupera a sessão.
Solicitação
-
Id: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da sessão.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.A origem da solicitação.
Resposta
-
Session: um objeto Sessão.O objeto de sessão é retornado na resposta.
Erros
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputException
Ação ListSessions (Python: list_sessions)
Recupere uma lista de sessões.
Solicitação
-
NextToken: string UTF-8, não superior a 400.000 bytes de comprimento.O token para o próximo conjunto de resultados ou nulo se não houver mais resultados.
-
MaxResults– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados.
-
Tags: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.Cada chave é uma string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
Tags pertencentes à sessão.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.A origem da solicitação.
Resposta
-
Ids– Uma matriz de strings UTF-8.Retorna o ID da sessão.
-
Sessions: um array de objetos Sessão.Retorna o objeto de sessão.
-
NextToken: string UTF-8, não superior a 400.000 bytes de comprimento.O token para o próximo conjunto de resultados ou nulo se não houver mais resultados.
Erros
AccessDeniedExceptionInvalidInputExceptionInternalServiceExceptionOperationTimeoutException
Ação RunStatement (Python: run_statement)
Executa a instrução.
Solicitação
-
SessionId: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da sessão da instrução a ser executado.
-
Code: Obrigatório: string UTF-8, não superior a 68000 bytes de comprimento.O código da instrução a ser executado.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.A origem da solicitação.
Resposta
-
Id– Número (íntegro).Retorna o ID da instrução que foi executada.
Erros
EntityNotFoundExceptionAccessDeniedExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionValidationExceptionResourceNumberLimitExceededExceptionIllegalSessionStateException
Ação CancelStatement (Python: cancel_statement)
Cancela a instrução.
Solicitação
-
SessionId: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da sessão da instrução a ser cancelado.
-
Id: obrigatório: número (inteiro).O ID da instrução a ser cancelado.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.A origem da solicitação para cancelar a instrução.
Resposta
Nenhum parâmetro de resposta.
Erros
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
Ação GetStatement (Python: get_statement)
Recupera a instrução.
Solicitação
-
SessionId: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da sessão da instrução.
-
Id: obrigatório: número (inteiro).O ID da instrução.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.A origem da solicitação.
Resposta
-
Statement: um objeto Statement.Recupera a instrução.
Erros
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
Ação ListStatations (Python: list_statements)
Lista as instruções para a sessão.
Solicitação
-
SessionId: obrigatório: string UTF-8 com no mínimo 1 e no máximo 255 bytes de comprimento e correspondente a Single-line string pattern.O ID da sessão das instruções.
-
RequestOrigin: string UTF-8 com no mínimo 1 e no máximo 128 bytes de comprimento e correspondente a Custom string pattern #31.A origem da solicitação para listar instruções.
-
NextToken: string UTF-8, não superior a 400.000 bytes de comprimento.Um token de continuação, se esta for uma chamada de continuação.
Resposta
-
Statements: um array de objetos Statement.Retorna a lista de instruções.
-
NextToken: string UTF-8, não superior a 400.000 bytes de comprimento.Um token de continuação, se nem todas as instruções ainda tiverem sido retornadas.
Erros
AccessDeniedExceptionEntityNotFoundExceptionInternalServiceExceptionOperationTimeoutExceptionInvalidInputExceptionIllegalSessionStateException
