Prérequis pour l’élaboration des plans

Pour développer des plans, vous devez être familiarisé avec l'utilisation de AWS Glue et l'écriture de scripts pour les tâches ETL Apache Spark ou les tâches shell Python. Vous devez également effectuer les tâches de configuration suivantes.

• Téléchargez quatre bibliothèques AWS Python à utiliser dans vos scripts de structure de modèle.

• Configurer les kits SDK AWS.

• Configurez le AWS CLI.

Télécharger les bibliothèques Python

Télécharger les bibliothèques suivantes à partir de GitHub et les installer dans votre projet :

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/base_resource.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/workflow.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/crawler.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/job.py

Configurer le kit Java SDK AWS

Pour le kit Java SDK AWS, vous devez ajouter un jar qui inclut l'API pour les modèles.

1. Si vous ne l'avez pas déjà fait, configurez le kit SDK AWS pour Java.

   • Pour Java 1.x, suivez les instructions de la rubrique Configuration de AWS SDK for Java dans le Guide du développeur AWS SDK for Java.

   • Pour Java 2.x, suivez les instructions de la rubrique Configuration de AWS SDK for Java 2.x dans le Guide du développeur AWS SDK for Java 2.x.

2. Télécharger le fichier jar client qui a accès aux API pour les modèles.

   • Pour Java 1.x : s3://awsglue-custom-blueprints-preview-artifacts/awsglue-java-sdk-preview/AWSGlueJavaClient-1.11.x.jar

   • Pour Java 2.x : s3://awsglue-custom-blueprints-preview-artifacts/awsglue-java-sdk-v2-preview/AwsJavaSdk-Glue-2.0.jar

3. Ajouter le jar client au début du classpath Java pour remplacer le client AWS Glue fourni par le kit Java SDK AWS.

   export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH

4. (Facultatif) Testez le SDK avec l'application Java suivante. L'application doit afficher une liste vide.

   Remplacez accessKey et secretKey par vos informations d'identification et remplacez us-east-1 par votre région.

   import com.amazonaws.auth.AWSCredentials;
   import com.amazonaws.auth.AWSCredentialsProvider;
   import com.amazonaws.auth.AWSStaticCredentialsProvider;
   import com.amazonaws.auth.BasicAWSCredentials;
   import com.amazonaws.services.glue.AWSGlue;
   import com.amazonaws.services.glue.AWSGlueClientBuilder;
   import com.amazonaws.services.glue.model.ListBlueprintsRequest;
   
   public class App{
       public static void main(String[] args) {
           AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey");
           AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials);
           AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider)
                   .withRegion("us-east-1").build();
           ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2);
           System.out.println(glue.listBlueprints(request));
       }
   }
   

Configurer le kit SDK Python AWS

Les étapes suivantes supposent que la version 2.7 ou ultérieure de Python, ou la version 3.6 ou ultérieure, est installée sur votre ordinateur.

1. Téléchargez le fichier Wheel boto3 suivant. Si vous êtes invité à ouvrir ou à enregistrer le fichier, enregistrez-le. s3://awsglue-custom-blueprints-preview-artifacts/aws-python-sdk-preview/boto3-1.17.31-py2.py3-none-any.whl

2. Télécharger le fichier Wheel botocore suivant : s3://awsglue-custom-blueprints-preview-artifacts/aws-python-sdk-preview/botocore-1.20.31-py2.py3-none-any.whl

3. Vérifiez votre version Python.

   python --version

4. Selon votre version Python, saisissez les commandes suivantes (pour Linux) :

   • Pour Python 2.7 ou supérieur.

     python3 -m pip install --user virtualenv
     source env/bin/activate

   • Pour Python 3.6 ou supérieur.

     python3 -m venv python-sdk-test
     source python-sdk-test/bin/activate

5. Installez le fichier Wheel botocore.

   python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl

6. Installez le fichier Wheel boto3.

   python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl

7. Configurez vos informations d'identification et région par défaut dans les fichiers ~/.aws/credentials et ~/.aws/config suivants. Pour plus d'informations, veuillez consulter la rubrique Configuration de l'AWS CLI dans le Guide de l'utilisateur de l'AWS Command Line Interface.

8. Testez votre configuration (facultatif). Les commandes suivantes doivent renvoyer une liste vide.

   Remplacez us-east-1 par votre région.

   $ python
   >>> import boto3
   >>> glue = boto3.client('glue', 'us-east-1')
   >>> glue.list_blueprints()
   

Configuration de la prévisualisation AWS CLI

1. Si vous ne l'avez pas déjà fait, installez et/ou mettez à jour l'outil de ligne de commande AWS Command Line Interface (AWS CLI) sur votre ordinateur. La façon la plus simple de procéder est d'utiliser pip, l'utilitaire d'installation de Python :

   pip install awscli --upgrade --user

   Vous pouvez trouver des instructions d'installation complètes pour l'installation de AWS CLI ici : Installation de AWS Command Line Interface.

2. Téléchargez le AWS CLI fichier Wheel à partir de : 3://awsglue-custom-blueprints-preview-artifacts/awscli-preview-build/awscli-1.19.31-py2.py3-none-any.whl

3. Installez le fichier Wheel AWS CLI.

   python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl

4. Exécutez la commande aws configure. Configurer vos informations d'identification AWS (y compris la clé d'accès et la clé secrète) et la région AWS. Vous pouvez trouver des informations sur la configuration de l'AWS CLI ici : Configuration de AWS CLI.

5. Tester l'AWS CLI. La commande suivante doit renvoyer une liste vide.

   Remplacez us-east-1 par votre région.

   aws glue list-blueprints --region us-east-1