Prasyarat untuk mengembangkan cetak biru

Untuk mengembangkan cetak biru, Anda harus terbiasa menggunakan AWS Glue dan menulis skrip untuk pekerjaan Apache Spark ETL atau pekerjaan shell Python. Di samping itu, anda harus menyelesaikan tugas penyiapan berikut.

• Unduh empat pustaka AWS Python untuk digunakan dalam skrip tata letak cetak biru Anda.

• Mengatur AWS SDKs.

• Mengatur AWS CLI.

Unduh pustaka Python

Unduh pustaka berikut dari GitHub, dan instal ke dalam proyek Anda:

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/base_resource.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/workflow.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/crawler.py

• https://github.com/awslabs/aws-glue-blueprint-libs/tree/master/awsglue/blueprint/job.py

Siapkan AWS Java SDK

Untuk AWS Java SDK, Anda harus menambahkan jar file yang menyertakan API untuk cetak biru.

1. Jika Anda belum melakukannya, siapkan AWS SDK for Java.

   • Untuk Java 1.x, ikuti petunjuk di Menyiapkan AWS SDK for Java di Panduan Developer AWS SDK for Java .

   • Untuk Java 2.x, ikuti petunjuk di Menyiapkan AWS SDK for Java 2.x di Panduan Developer AWS SDK for Java 2.x .

2. Unduh jar file klien yang memiliki akses ke cetak biru APIs for.

   • Untuk Java 1.x: s3://awsglue-custom-blueprints-preview- -1.11.x.jar artifacts/awsglue-java-sdk-preview/AWSGlueJavaClient

   • Untuk Java 2.x: s3://awsglue-custom-blueprints-preview- -Glue-2.0.jar artifacts/awsglue-java-sdk-v2-preview/AwsJavaSdk

3. Tambahkan klien jar ke bagian depan classpath Java untuk mengganti klien AWS Glue yang disediakan oleh Java SDK AWS .

   export CLASSPATH=<path-to-preview-client-jar>:$CLASSPATH

4. (Opsional) Uji SDK dengan aplikasi Java berikut. Aplikasi harus menampilkan sebuah daftar kosong.

   Ganti accessKey dan secretKey dengan kredensial Anda, dan ganti us-east-1 dengan Wilayah Anda.

   import com.amazonaws.auth.AWSCredentials;
   import com.amazonaws.auth.AWSCredentialsProvider;
   import com.amazonaws.auth.AWSStaticCredentialsProvider;
   import com.amazonaws.auth.BasicAWSCredentials;
   import com.amazonaws.services.glue.AWSGlue;
   import com.amazonaws.services.glue.AWSGlueClientBuilder;
   import com.amazonaws.services.glue.model.ListBlueprintsRequest;
   
   public class App{
       public static void main(String[] args) {
           AWSCredentials credentials = new BasicAWSCredentials("accessKey", "secretKey");
           AWSCredentialsProvider provider = new AWSStaticCredentialsProvider(credentials);
           AWSGlue glue = AWSGlueClientBuilder.standard().withCredentials(provider)
                   .withRegion("us-east-1").build();
           ListBlueprintsRequest request = new ListBlueprintsRequest().withMaxResults(2);
           System.out.println(glue.listBlueprints(request));
       }
   }
   

Siapkan SDK AWS Python

Langkah-langkah berikut dengan asumsi bahwa Anda memiliki Python versi 2.7 atau yang lebih baru, atau versi 3.6 atau yang lebih baru yang sudah diinstal pada komputer Anda.

1. Unduh file roda boto3 berikut. Jika diminta untuk membuka atau menyimpan, simpan file. s3://awsglue-custom-blueprints-preview- 3-1.17.31-py2.py3-none-any.whl artifacts/aws-python-sdk-preview/boto

2. Unduh file roda botocore berikut: s3://- -1.20.31-py2.py3-none-any.whl awsglue-custom-blueprints-preview artifacts/aws-python-sdk-preview/botocore

3. Periksa versi Python anda.

   python --version

4. Tergantung pada versi Python Anda, masukkan perintah berikut (untuk Linux):

   • Untuk Python 2.7 atau yang lebih baru.

     python3 -m pip install --user virtualenv
     source env/bin/activate

   • Untuk Python 3.6 atau yang lebih baru.

     python3 -m venv python-sdk-test
     source python-sdk-test/bin/activate

5. Instal file roda botocore.

   python3 -m pip install <download-directory>/botocore-1.20.31-py2.py3-none-any.whl

6. Instal file roda boto3.

   python3 -m pip install <download-directory>/boto3-1.17.31-py2.py3-none-any.whl

7. Konfigurasi kredensial dan wilayah default Anda di ~/.aws/credentials dan ~/.aws/config. Untuk informasi lebih lanjut, lihat Mengonfigurasi AWS CLI di Panduan Pengguna AWS Command Line Interface .

8. (Opsional) Uji penyiapan Anda. Perintah berikut harus mengembalikan sebuah daftar kosong.

   Ganti us-east-1 dengan Wilayah Anda.

   $ python
   >>> import boto3
   >>> glue = boto3.client('glue', 'us-east-1')
   >>> glue.list_blueprints()
   

Siapkan pratinjau AWS CLI

1. Jika Anda belum melakukannya, instal dan/atau perbarui AWS Command Line Interface (AWS CLI) di komputer Anda. Cara termudah untuk melakukannya adalah dengan pip, utilitas penginstal Python:

   pip install awscli --upgrade --user

   Anda dapat menemukan petunjuk instalasi lengkap untuk AWS CLI di sini: Menginstal AWS Command Line Interface.

2. Unduh file AWS CLI roda dari: s3://awsglue-custom-blueprints-preview- -1.19.31-py2.py3-none-any.whl artifacts/awscli-preview-build/awscli

3. Instal file AWS CLI roda.

   python3 -m pip install awscli-1.19.31-py2.py3-none-any.whl

4. Jalankan perintah aws configure. Konfigurasikan AWS kredensil Anda (termasuk kunci akses, dan kunci rahasia) dan AWS Wilayah. Anda dapat menemukan informasi tentang mengkonfigurasi di AWS CLI sini: Mengkonfigurasi file. AWS CLI

5. Uji AWS CLI. Perintah berikut harus mengembalikan sebuah daftar kosong.

   Ganti us-east-1 dengan Wilayah Anda.

   aws glue list-blueprints --region us-east-1