Séances interactives API

L'API des sessions interactives décrit l' AWS Glue API liée à l'utilisation de sessions AWS Glue interactives pour créer et tester des scripts d'extraction, de transformation et de chargement (ETL) pour l'intégration de données.

Types de données

• Structure de séance

• SessionCommand structure

• Structure de la déclaration

• StatementOutput structure

• StatementOutputData structure

• ConnectionsList structure

Structure de séance

Période pendant laquelle un environnement d'exécution Spark distant est en cours d'exécution.

Champs

• Id – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de la séance.

• CreatedOn – Horodatage.

  Date et heure de création de la séance.

• Status – Chaîne UTF-8 (valeurs valides : PROVISIONING | READY | FAILED | TIMEOUT | STOPPING | STOPPED).

  Statut d'une séance.

• ErrorMessage – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Le message d'erreur affiché pendant la séance.

• Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Description de la séance.

• Role – chaîne UTF-8, d'une longueur comprise entre 20 et 2048 octets, correspondant au Custom string pattern #26.

  Nom ou Amazon Resource Name (ARN) du rôle IAM associé à la séance.

• Command – Un objet SessionCommand.

  L'objet de commande. Voir. SessionCommand

• DefaultArguments – Tableau de mappage de paires valeur-clé, avec 75 paires au maximum.

  Chaque clé est une chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Chaque valeur est une chaîne UTF-8, d'une longueur ne dépassant pas 4096 octets, correspondant au URI address multi-line string pattern.

  Tableau de mappage de paires valeur-clé. Le maximum est de 75 paires.

• Connections – Un objet ConnectionsList.

  Nombre de connexions utilisées pour la séance.

• Progress – Nombre (double).

  La progression de l'exécution du code de la séance.

• MaxCapacity – Nombre (double).

  Le nombre d'unités de traitement des AWS Glue données (DPU) qui peuvent être allouées lors de l'exécution de la tâche. Une DPU est une mesure relative de la puissance de traitement consistant en 4 vCPU de capacité de calcul et 16 Go de mémoire.

• SecurityConfiguration – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la SecurityConfiguration structure à utiliser avec la session.

• GlueVersion – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Custom string pattern #20.

  La AWS Glue version détermine les versions d'Apache Spark et de Python prises AWS Glue en charge. Le GlueVersion doit être supérieur à 2,0.

• DataAccessId – Chaîne UTF-8, d'une longueur comprise entre 1 et 36 octets.

  ID d'accès aux données de la séance.

• PartitionId – Chaîne UTF-8, d'une longueur comprise entre 1 et 36 octets.

  L'ID de partition de la séance.

• NumberOfWorkers – Nombre (entier).

  Nombre d'utilisateurs d'une WorkerType définie pour la séance.

• WorkerType – Chaîne UTF-8 (valeurs valides: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Type de travail prédéfini qui est alloué lorsqu'une session est exécutée. Accepte une valeur de G.1X, G.2X, G.4X ou G.8X pour les sessions Spark. Accepte la valeur Z.2X pour les sessions Ray.

• CompletedOn – Horodatage.

  La date et heure à laquelle cette session s'est terminée.

• ExecutionTime – Nombre (double).

  La durée totale de la session.

• DPUSeconds – Nombre (double).

  Les DPU consommés par la session (formule : ExecutionTime * MaxCapacity).

• IdleTimeout – Nombre (entier).

  Le nombre de minutes d'inactivité avant l'expiration de la session.

• ProfileName – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom d'un profil AWS Glue d'utilisation associé à la session.

SessionCommand structure

La commande SessionCommand qui exécute cette tâche.

Champs

• Name – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Spécifie le nom du SessionCommand. Il peut s'agir de « gluetel » ou de « gluestreaming ».

• PythonVersion – Chaîne UTF-8, correspondant au Custom string pattern #21.

  Spécifie la version de Python utilisée. La version de Python indique la version prise en charge pour les tâches de type Spark.

Structure de la déclaration

La déclaration ou la demande pour qu'une action particulière se produise dans une séance.

Champs

• Id – Nombre (entier).

  ID de la déclaration.

• Code – Chaîne UTF-8.

  Code d'exécution de la déclaration.

• State – Chaîne UTF-8 (valeurs valides: WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | | ).

  État pendant que la demande est exécutée.

• Output – Un objet StatementOutput.

  Le résultat en JSON.

• Progress – Nombre (double).

  La progression de l'exécution du code.

• StartedOn – Nombre (long).

  Date et heure Unix de démarrage de la définition de tâche.

• CompletedOn – Nombre (long).

  Date et heure Unix auxquelles la définition de tâche a été terminée.

StatementOutput structure

Résultat de l'exécution de code au format JSON.

Champs

• Data – Un objet StatementOutputData.

  Résultat de l'exécution de code.

• ExecutionCount – Nombre (entier).

  Nombre d'exécution du résultat.

• Status – Chaîne UTF-8 (valeurs valides : WAITING | RUNNING | AVAILABLE | CANCELLING | CANCELLED | ERROR).

  Statut du résultat de l'exécution de code.

• ErrorName – Chaîne UTF-8.

  Nom de l'erreur dans le résultat.

• ErrorValue – Chaîne UTF-8.

  Valeur de l'erreur du résultat.

• Traceback – Tableau de chaînes UTF-8.

  Le retraçage du résultat.

StatementOutputData structure

Résultat de l'exécution de code au format JSON.

Champs

• TextPlain – Chaîne UTF-8.

  Résultat de l'exécution de code au format texte.

ConnectionsList structure

Spécifie les connexions utilisées par une tâche.

Champs

• Connections – Tableau de chaînes UTF-8.

  Liste de connexions utilisées par la tâche.

Opérations

• CreateSession action (Python : créer_session)

• StopSession action (Python : stop_session)

• DeleteSession action (Python : supprimer_session)

• GetSession action (Python : get_session)

• ListSessions action (Python : list_sessions)

• RunStatement action (Python : run_statement)

• CancelStatement action (Python : annuler_statement)

• GetStatement action (Python : get_statement)

• ListStatements action (Python : list_statements)

CreateSession action (Python : créer_session)

Crée une nouvelle séance.

Demande

Demande de création d'une nouvelle séance.

• Id – Obligatoire : Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de la séance demandée

• Description – Chaîne de description, d'une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Description de la séance.

• Role – Obligatoire : chaîne UTF-8, d'une longueur comprise entre 20 et 2048 octets, correspondant au Custom string pattern #26.

  Un ARN de rôle IAM

• Command – Obligatoire : un objet SessionCommand.

  La commande SessionCommand qui exécute cette tâche.

• Timeout – Nombre (entier), au moins égal à 1.

  Nombre de minutes avant l'expiration de la séance. La valeur par défaut pour les tâches ETL Spark est de 48 heures (2 880 minutes), soit la durée de vie maximale des séances pour ce type de tâche. Consultez la documentation pour les autres types de tâches.

• IdleTimeout – Nombre (entier), au moins égal à 1.

  Nombre de minutes d'inactivité avant l'expiration de la séance. La valeur par défaut pour les tâches ETL Spark est la valeur du délai d'expiration. Consultez la documentation pour les autres types de tâches.

• DefaultArguments – Tableau de mappage de paires valeur-clé, avec 75 paires au maximum.

  Chaque clé est une chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Chaque valeur est une chaîne UTF-8, d'une longueur ne dépassant pas 4096 octets, correspondant au URI address multi-line string pattern.

  Tableau de mappage de paires valeur-clé. Le maximum est de 75 paires.

• Connections – Un objet ConnectionsList.

  Nombre de connexions à utiliser pour la séance.

• MaxCapacity – Nombre (double).

  Le nombre d'unités de traitement des AWS Glue données (DPU) qui peuvent être allouées lors de l'exécution de la tâche. Une DPU est une mesure relative de la puissance de traitement consistant en 4 vCPU de capacité de calcul et 16 Go de mémoire.

• NumberOfWorkers – Nombre (entier).

  Nombre d'utilisateurs d'une WorkerType définie pour la séance.

• WorkerType – Chaîne UTF-8 (valeurs valides: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Type de travail prédéfini qui est alloué lorsqu'une tâche est exécutée. Accepte une valeur de G.1X, G.2X, G.4X ou G.8X pour les tâches Spark. Accepte la valeur Z.2X pour les blocs-notes Ray.

  • Pour le type de travailleur G.1X, chaque travailleur mappe vers 1 DPU (4 vCPU, 16 Go de mémoire) avec 84 Go de disque (environ 34 Go disponibles), et fournit 1 exécuteur par travailleur. Nous recommandons ce type de travailleur pour les charges de travail telles que les transformations de données, les jointures et les requêtes, afin de proposer un moyen évolutif et rentable d'exécuter la plupart des tâches.

  • Pour le type de travailleur G.2X, chaque travailleur mappe vers 2 DPU (8 vCPU, 32 Go de mémoire) avec 128 Go de disque (environ 77 Go disponibles), et fournit 1 exécuteur par travailleur. Nous recommandons ce type de travailleur pour les charges de travail telles que les transformations de données, les jointures et les requêtes, afin de proposer un moyen évolutif et rentable d'exécuter la plupart des tâches.

  • Pour le type de travailleur G.4X, chaque travailleur mappe vers 4 DPU (16 vCPU, 64 Go de mémoire) avec 256 Go de disque (environ 235 Go disponibles), et fournit 1 exécuteur par travailleur. Nous recommandons ce type de travailleur pour les tâches dont les charges de travail contiennent les transformations, les agrégations, les jointures et les requêtes les plus exigeantes. Ce type de travailleur est disponible uniquement pour les tâches Spark ETL AWS Glue version 3.0 ou ultérieure dans les AWS régions suivantes : USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Oregon), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Canada (Centre), Europe (Francfort), Europe (Irlande) et Europe (Stockholm).

  • Pour le type de travailleur G.8X, chaque travailleur mappe vers 8 DPU (32 vCPU, 128 Go de mémoire) avec 512 Go de disque (environ 487 Go disponibles), et fournit 1 exécuteur par travailleur. Nous recommandons ce type de travailleur pour les tâches dont les charges de travail contiennent les transformations, les agrégations, les jointures et les requêtes les plus exigeantes. Ce type de travailleur n'est disponible que pour les tâches Spark ETL de AWS Glue version 3.0 ou ultérieure, dans les mêmes AWS régions que celles prises en charge pour le type de G.4X travailleur.

  • Pour le type de travailleur Z.2X, chaque travailleur mappe vers 2 M-DPU (8 vCPU, 64 Go de mémoire) avec 128 Go de disque (environ 120 Go disponibles), et fournit jusqu'à 8 travailleurs Ray en fonction de la scalabilité automatique.

• SecurityConfiguration – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Le nom de la SecurityConfiguration structure à utiliser avec la session

• GlueVersion – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Custom string pattern #20.

  La AWS Glue version détermine les versions d'Apache Spark et de Python prises AWS Glue en charge. Le GlueVersion doit être supérieur à 2,0.

• DataAccessId – Chaîne UTF-8, d'une longueur comprise entre 1 et 36 octets.

  ID d'accès aux données de la séance.

• PartitionId – Chaîne UTF-8, d'une longueur comprise entre 1 et 36 octets.

  ID de partition de la séance.

• Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets.

  Chaque valeur est une chaîne UTF-8, d'une longueur maximale de 256 octets.

  Carte des paires de valeurs clés (balises) appartenant à la séance.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Origine de la demande.

• ProfileName – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom d'un profil AWS Glue d'utilisation associé à la session.

Réponse

• Session – Un objet Session.

  Retourne l'objet de séance dans la réponse.

Erreurs

• AccessDeniedException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• AlreadyExistsException

• ResourceNumberLimitExceededException

StopSession action (Python : stop_session)

Arrête la séance.

Demande

• Id – Obligatoire : Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID de la séance à arrêter.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Origine de la demande.

Réponse

• Id – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Retourne l'ID de la séance arrêtée.

Erreurs

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

DeleteSession action (Python : supprimer_session)

Supprime la séance.

Demande

• Id – Obligatoire : Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID de la séance à supprimer.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Nom de l'origine de la demande de suppression de séance.

Réponse

• Id – Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Renvoie l'ID de la séance supprimée.

Erreurs

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

GetSession action (Python : get_session)

Récupère la séance.

Demande

• Id – Obligatoire : Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de la séance.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Origine de la demande.

Réponse

• Session – Un objet Session.

  L'objet récupéré est renvoyé dans la réponse.

Erreurs

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

ListSessions action (Python : list_sessions)

Extrait une liste de séances.

Demande

• NextToken – Chaîne UTF-8, d'une longueur maximale de 400 000 octets.

  Jeton pour l'ensemble de résultats suivant, ou null s'il n'y a pas de résultats supplémentaires.

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  Nombre maximal de résultats.

• Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets.

  Chaque valeur est une chaîne UTF-8, d'une longueur maximale de 256 octets.

  Balises appartenant à la séance.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Origine de la demande.

Réponse

• Ids – Tableau de chaînes UTF-8.

  Retourne l'ID de la séance

• Sessions – Un tableau d'objets Session.

  Retourne l'objet de la séance.

• NextToken – Chaîne UTF-8, d'une longueur maximale de 400 000 octets.

  Jeton pour l'ensemble de résultats suivant, ou null s'il n'y a pas de résultats supplémentaires.

Erreurs

• AccessDeniedException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

RunStatement action (Python : run_statement)

Exécute la déclaration.

Demande

• SessionId – Obligatoire : Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID de séance de la déclaration à exécuter.

• Code – Obligatoire : Chaîne UTF-8, d'une longueur ne dépassant pas 68000 octets.

  Code de la déclaration à exécuter.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Origine de la demande.

Réponse

• Id – Nombre (entier).

  Renvoie l'ID de la déclaration exécutée.

Erreurs

• EntityNotFoundException

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

• IllegalSessionStateException

CancelStatement action (Python : annuler_statement)

Annule la déclaration.

Demande

• SessionId – Obligatoire : Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID de séance de la déclaration à annuler.

• Id – Obligatoire : nombre (entier).

  ID de la déclaration à annuler.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Origine de la demande d'annuler la déclaration.

Réponse

• Paramètres d'absence de réponse.

Erreurs

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

GetStatement action (Python : get_statement)

Récupère la déclaration.

Demande

• SessionId – Obligatoire : Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID de séance de la déclaration.

• Id – Obligatoire : nombre (entier).

  L'ID de la déclaration.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Origine de la demande.

Réponse

• Statement – Un objet Instruction.

  Renvoie la déclaration.

Erreurs

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

ListStatements action (Python : list_statements)

Répertorie les déclarations de la séance.

Demande

• SessionId – Obligatoire : Chaîne UTF-8, d'une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID de séance des déclarations.

• RequestOrigin – chaîne UTF-8, d'une longueur comprise entre 1 et 128 octets, correspondant au Custom string pattern #27.

  Origine de la demande de liste des déclarations.

• NextToken – Chaîne UTF-8, d'une longueur maximale de 400 000 octets.

  Jeton de continuation, s'il s'agit d'un appel de continuation.

Réponse

• Statements – Un tableau d'objets Instruction.

  Renvoie la liste des déclarations.

• NextToken – Chaîne UTF-8, d'une longueur maximale de 400 000 octets.

  Jeton de continuation, si toutes les déclarations n'ont pas encore été retournées.

Erreurs

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException