Prérequis pour l’élaboration des plans

Pour développer des plans, vous devez être familiarisé avec l'utilisation AWS Glue et en écrivant des scripts pour les tâches ETL Apache Spark ou les tâches shell Python. Vous devez également effectuer les tâches de configuration suivantes.

• Téléchargez quatre bibliothèques AWS Python à utiliser dans vos scripts de mise en page de plan.

• Configurez le AWS SDKs.

• Configurez le AWS CLI.

Télécharger les bibliothèques Python

Téléchargez les bibliothèques suivantes depuis GitHub et installez-les dans votre projet :

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/base_resource.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/workflow.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/crawler.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/job.py

Configuration du SDK AWS Java

Pour le SDK AWS Java, vous devez ajouter un jar fichier qui inclut l'API pour les plans.

1. Si ce n'est pas déjà fait, configurez le AWS SDK pour Java.

   • Pour Java 1.x, suivez les instructions de la rubrique Configuration de AWS SDK for Java dans le Guide du développeur AWS SDK for Java .

   • Pour Java 2.x, suivez les instructions de la rubrique Configuration de AWS SDK for Java 2.x dans le Guide du développeur AWS SDK for Java 2.x .

2. Téléchargez le jar fichier client qui a accès aux plans APIs pour les plans.

   • Pour Java 1.x : s3 ://awsglue-custom-blueprints-preview- artifacts/awsglue-java-sdk-preview/AWSGlueJavaClient -1.11.x.jar

   • Pour Java 2.x : s3 ://awsglue-custom-blueprints-preview- artifacts/awsglue-java-sdk-v2-preview/AwsJavaSdk -Glue-2.0.jar

3. Ajoutez le client jar au début du chemin de classe Java pour remplacer le client AWS Glue fourni par le AWS SDK Java.

   export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH

4. (Facultatif) Testez le SDK avec l'application Java suivante. L'application doit afficher une liste vide.

   Remplacez accessKey et secretKey par vos informations d'identification et remplacez us-east-1 par votre région.

   import com.amazonaws.auth.AWSCredentials;
   import com.amazonaws.auth.AWSCredentialsProvider;
   import com.amazonaws.auth.AWSStaticCredentialsProvider;
   import com.amazonaws.auth.BasicAWSCredentials;
   import com.amazonaws.services.glue.AWSGlue;
   import com.amazonaws.services.glue.AWSGlueClientBuilder;
   import com.amazonaws.services.glue.model.ListBlueprintsRequest;
   
   public class App{
       public static void main(String[] args) {
           AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey");
           AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials);
           AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider)
                   .withRegion("us-east-1").build();
           ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2);
           System.out.println(glue.listBlueprints(request));
       }
   }
   

Configuration du SDK AWS Python

Les étapes suivantes supposent que la version 2.7 ou ultérieure de Python, ou la version 3.6 ou ultérieure, est installée sur votre ordinateur.

1. Téléchargez le fichier Wheel boto3 suivant. Si vous êtes invité à ouvrir ou à enregistrer, enregistrez le fichier. s3 ://awsglue-custom-blueprints-preview- artifacts/aws-python-sdk-preview/boto 3-1.17.31-py2.py3-none-any.whl

2. Téléchargez le fichier botocore wheel suivant : s3 ://awsglue-custom-blueprints-preview- -1.20.31-py2.py3-none-any.whl artifacts/aws-python-sdk-preview/botocore

3. Vérifiez votre version Python.

   python --version

4. Selon votre version Python, saisissez les commandes suivantes (pour Linux) :

   • Pour Python 2.7 ou supérieur.

     python3 -m pip install --user virtualenv
     source env/bin/activate

   • Pour Python 3.6 ou supérieur.

     python3 -m venv python-sdk-test
     source python-sdk-test/bin/activate

5. Installez le fichier Wheel botocore.

   python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl

6. Installez le fichier Wheel boto3.

   python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl

7. Configurez vos informations d'identification et région par défaut dans les fichiers ~/.aws/credentials et ~/.aws/config suivants. Pour plus d'informations, veuillez consulter la rubrique Configuration de l' AWS CLI dans le Guide de l'utilisateur de l'AWS Command Line Interface .

8. Testez votre configuration (facultatif). Les commandes suivantes doivent renvoyer une liste vide.

   Remplacez us-east-1 par votre région.

   $ python
   >>> import boto3
   >>> glue = boto3.client('glue', 'us-east-1')
   >>> glue.list_blueprints()
   

Configuration de l'aperçu AWS CLI

1. Si ce n'est pas déjà fait, installez et/ou mettez à jour le AWS Command Line Interface (AWS CLI) sur votre ordinateur. La façon la plus simple de procéder est d'utiliser pip, l'utilitaire d'installation de Python :

   pip install awscli --upgrade --user

   Vous pouvez trouver des instructions d'installation complètes pour l'installation de AWS CLI ici : Installation de AWS Command Line Interface.

2. Téléchargez le fichier de la AWS CLI roue depuis : s3 ://awsglue-custom-blueprints-preview- artifacts/awscli-preview-build/awscli -1.19.31-py2.py3-none-any.whl

3. Installez le fichier AWS CLI Wheel.

   python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl

4. Exécutez la commande aws configure. Configurez vos AWS informations d'identification (y compris la clé d'accès et la clé secrète) et votre AWS région. Vous trouverez des informations sur la configuration du AWS CLI ici : Configuration du AWS CLI.

5. Testez le AWS CLI. La commande suivante doit renvoyer une liste vide.

   Remplacez us-east-1 par votre région.

   aws glue list-blueprints --region us-east-1