Voraussetzungen für die Entwicklung von Blueprints

Um Blueprints zu entwickeln, sollten Sie mit der Verwendung von AWS Glue und dem Schreiben von Skripten für Apache-Spark-ETL- oder Python-Shell-Aufträge vertraut sein. Außerdem müssen Sie die folgenden Einrichtungsaufgaben abschließen.

• Laden Sie vier AWS-Python-Bibliotheken herunter, um sie in Ihren Blueprint-Layoutskripten zu verwenden.

• Richten Sie die AWS-SDKs ein.

• Richten Sie die AWS CLI ein.

Herunterladen der Python-Bibliotheken

Laden Sie die folgenden Bibliotheken von GitHub herunter und installieren Sie sie in Ihrem Projekt:

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/base_resource.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/workflow.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/crawler.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/job.py

Einrichten des AWS-Java-SDK

Für das AWS-Java-SDK müssen Sie eine jar-Datei hinzufügen, die die API für Blueprints enthält.

1. Falls noch nicht geschehen, richten Sie das AWS SDK for Java ein.

   • Befolgen Sie für Java 1.x die Anweisungen unter Einrichten des AWS SDK for Java im AWS SDK for Java-Entwicklerhandbuch.

   • Befolgen Sie für Java 2.x die Anweisungen unter Einrichten des AWS SDK for Java 2.x im AWS SDK for Java 2.x-Entwicklerhandbuch.

2. Laden Sie die jar-Clientdatei herunter, die Zugriff auf die APIs für Blueprints hat.

   • Für Java 1.x: s3://awsglue-custom-blueprints-preview-artifacts/awsglue-java-sdk-preview/AWSGlueJavaClient-1.11.x.jar

   • Für Java 2.x: s3://awsglue-custom-blueprints-preview-artifacts/awsglue-java-sdk-v2-preview/AwsJavaSdk-Glue-2.0.jar

3. Fügen Sie die Client-jar vorne im Java-Klassenpfad ein, um den AWS-Glue-Client zu überschreiben, der vom AWS-Java-SDK bereitgestellt wird.

   export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH

4. (Optional) Testen Sie das SDK mit der folgenden Java-Anwendung. Die Anwendung sollte eine leere Liste ausgeben.

   Ersetzen Sie accessKey und secretKey mit Ihren Anmeldeinformationen und ersetzen Sie us-east-1 mit Ihrer Region.

   import com.amazonaws.auth.AWSCredentials;
   import com.amazonaws.auth.AWSCredentialsProvider;
   import com.amazonaws.auth.AWSStaticCredentialsProvider;
   import com.amazonaws.auth.BasicAWSCredentials;
   import com.amazonaws.services.glue.AWSGlue;
   import com.amazonaws.services.glue.AWSGlueClientBuilder;
   import com.amazonaws.services.glue.model.ListBlueprintsRequest;
   
   public class App{
       public static void main(String[] args) {
           AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey");
           AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials);
           AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider)
                   .withRegion("us-east-1").build();
           ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2);
           System.out.println(glue.listBlueprints(request));
       }
   }
   

Einrichten des AWS-Python-SDK

In den folgenden Schritten wird davon ausgegangen, dass Python-Version 2.7 oder höher oder Version 3.6 oder höher auf Ihrem Computer installiert ist.

1. Laden Sie die folgende boto3-Wheel-Datei herunter. Wenn Sie zum Öffnen oder Speichern aufgefordert werden, speichern Sie die Datei. s3://awsglue-custom-blueprints-preview-artifacts/aws-python-sdk-preview/boto3-1.17.31-py2.py3-none-any.whl

2. Laden Sie die folgende Botocore-Wheel-Datei herunter: s3://awsglue-custom-blueprints-preview-artifacts/aws-python-sdk-preview/botocore-1.20.31-py2.py3-none-any.whl

3. Überprüfen Sie Ihre Python-Version.

   python --version

4. Geben Sie je nach Python-Version die folgenden Befehle ein (für Linux):

   • Für Python 2.7 oder höher.

     python3 -m pip install --user virtualenv
     source env/bin/activate

   • Für Python 3.6 oder höher.

     python3 -m venv python-sdk-test
     source python-sdk-test/bin/activate

5. Installieren Sie die Botocore-Wheel-Datei.

   python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl

6. Installieren Sie die boto3-Wheel-Datei.

   python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl

7. Konfigurieren Sie Ihre Anmeldeinformationen und Standardregion in den Dateien ~/.aws/credentials und~/.aws/config. Weitere Informationen finden Sie unter Konfigurieren der AWS CLI im AWS Command Line Interface-Leitfaden.

8. (Optional) Testen Sie Ihre Einrichtung. Die folgenden Befehle sollten eine leere Liste zurückgeben.

   Ersetzen Sie us-east-1 durch Ihre Region.

   $ python
   >>> import boto3
   >>> glue = boto3.client('glue', 'us-east-1')
   >>> glue.list_blueprints()
   

Einrichten der Vorschau-AWS CLI

1. Falls noch nicht geschehen, installieren bzw. aktualisieren Sie die AWS Command Line Interface (AWS CLI) auf Ihrem Computer. Am einfachsten geht dies über pip, das Python-Installationsdienstprogramm:

   pip install awscli --upgrade --user

   Ausführliche Installationsanleitungen für die AWS CLI finden Sie unter Installieren der AWS Command Line Interface.

2. Laden Sie die AWS CLI-Wheel-Datei hier herunter: s3://awsglue-custom-blueprints-preview-artifacts/awscli-preview-build/awscli-1.19.31-py2.py3-none-any.whl

3. Installieren Sie die AWS CLI-Wheel-Datei.

   python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl

4. Führen Sie den Befehl aws configure aus. Konfigurieren Sie Ihre AWS-Anmeldeinformationen (einschließlich Zugriffsschlüssel und Geheimschlüssel) und die AWS-Region. Informationen zum Konfigurieren der AWS CLI finden Sie unter Konfigurieren der AWS CLI.

5. Testen Sie die AWS CLI. Der folgende Befehl sollte eine leere Liste zurückgeben.

   Ersetzen Sie us-east-1 durch Ihre Region.

   aws glue list-blueprints --region us-east-1