Mengakses tabel Amazon S3 dengan Amazon EMR

Amazon EMR (sebelumnya disebut Amazon Elastic MapReduce) adalah platform cluster terkelola yang menyederhanakan menjalankan kerangka kerja data besar, seperti Apache Hadoop and Apache Spark, AWS untuk memproses dan menganalisis sejumlah besar data. Dengan menggunakan kerangka kerja ini dan proyek sumber terbuka terkait, Anda dapat memproses data untuk tujuan analitik dan beban kerja intelijen bisnis. Amazon EMR juga memungkinkan Anda mengubah dan memindahkan sejumlah besar data ke dalam dan keluar dari penyimpanan AWS data dan database lainnya.

Anda dapat menggunakan Apache Iceberg cluster di Amazon EMR untuk bekerja dengan tabel S3 dengan menghubungkan ke bucket tabel di a Spark sesi. Untuk menyambung ke bucket tabel di Amazon EMR, Anda dapat menggunakan AWS integrasi layanan analitik AWS Glue Data Catalog melalui, atau Anda dapat menggunakan Katalog Tabel Amazon S3 open source untuk Apache Iceberg katalog klien.

catatan

Tabel S3 didukung di Amazon EMR versi 7.5 atau lebih tinggi.

Menghubungkan ke ember meja S3 dengan Spark pada EMR Amazon Iceberg cluster

Dalam prosedur ini, Anda menyiapkan kluster EMR Amazon yang dikonfigurasi Apache Iceberg dan kemudian meluncurkan Spark sesi yang terhubung ke ember meja Anda. Anda dapat mengaturnya menggunakan integrasi layanan AWS analitik AWS Glue, atau Anda dapat menggunakan Katalog Tabel Amazon S3 open source untuk Apache Iceberg katalog klien. Untuk informasi tentang katalog klien, lihatMengakses tabel menggunakan Tabel Amazon S3 Iceberg REST titik akhir.

Pilih metode Anda menggunakan tabel dengan Amazon EMR dari opsi berikut.

Amazon S3 Tables Catalog for Apache Iceberg

Prasyarat berikut diperlukan untuk menanyakan tabel dengan Spark di Amazon EMR menggunakan Katalog Tabel Amazon S3 untuk Apache Iceberg.

Prasyarat

• Lampirkan AmazonS3TablesFullAccess kebijakan ke peran IAM yang Anda gunakan untuk Amazon EMR.

Untuk menyiapkan kluster EMR Amazon ke tabel kueri dengan Spark

1. Buat cluster dengan konfigurasi berikut. Untuk menggunakan contoh ini, ganti user input placeholders dengan informasi Anda sendiri.

   aws emr create-cluster --release-label emr-7.5.0 \
   --applications Name=Spark \
   --configurations file://configurations.json \
   --region us-east-1 \
   --name My_Spark_Iceberg_Cluster \
   --log-uri s3://amzn-s3-demo-bucket/ \
   --instance-type m5.xlarge \
   --instance-count 2 \
   --service-role EMR_DefaultRole \
   --ec2-attributes \
   
   InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-1234567890abcdef0,KeyName=my-key-pair

   configurations.json:

   [{
   "Classification":"iceberg-defaults",
   "Properties":{"iceberg.enabled":"true"}
   }]

2. Connect ke Spark node primer menggunakan SSH.

3. Untuk menginisialisasi a Spark sesi untuk Iceberg yang terhubung ke bucket meja Anda, masukkan perintah berikut. Ganti user input placeholders dengan ember meja ARN Anda.

   spark-shell \
   --packages software.amazon.s3tables:s3-tables-catalog-for-iceberg-runtime:0.1.3 \
   --conf spark.sql.catalog.s3tablesbucket=org.apache.iceberg.spark.SparkCatalog \
   --conf spark.sql.catalog.s3tablesbucket.catalog-impl=software.amazon.s3tables.iceberg.S3TablesCatalog \
   --conf spark.sql.catalog.s3tablesbucket.warehouse=arn:aws:s3tables:us-east-1:111122223333:bucket/amzn-s3-demo-bucket1 \
   --conf spark.sql.defaultCatalog=s3tablesbucket \
   --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions           

4. Kueri tabel Anda dengan Spark SQL. Misalnya kueri, lihatMenanyakan tabel S3 dengan Spark SQL.

AWS analytics services integration

Prasyarat berikut diperlukan untuk menanyakan tabel dengan Spark di Amazon EMR menggunakan integrasi layanan AWS analitik.

Prasyarat

• Integrasikan bucket tabel Anda dengan layanan AWS analitik.

• Membuat tautan sumber daya ke namespace Anda.

• Buat peran layanan default untuk Amazon EMR ()EMR_DefaultRole_V2. Untuk detailnya, lihat Peran layanan untuk Amazon EMR (peran EMR).

• Buat profil EC2 instans Amazon untuk Amazon EMR ()EMR_EC2_DefaultRole. Untuk detailnya, lihat Peran layanan untuk EC2 instance klaster (profil EC2 instance).

  • Lampirkan AmazonS3TablesFullAccess kebijakan keEMR_EC2_DefaultRole.

Untuk menyiapkan kluster EMR Amazon ke tabel kueri dengan Spark

1. Buat cluster dengan konfigurasi berikut. Untuk menggunakan contoh ini, ganti user input placeholder nilai dengan informasi Anda sendiri.

   aws emr create-cluster --release-label emr-7.5.0 \
   --applications Name=Spark \
   --configurations file://configurations.json \
   --region us-east-1 \
   --name My_Spark_Iceberg_Cluster \
   --log-uri s3://amzn-s3-demo-bucket/ \
   --instance-type m5.xlarge \
   --instance-count 2 \
   --service-role EMR_DefaultRole \
   --ec2-attributes \
   
   InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-1234567890abcdef0,KeyName=my-key-pair

   configurations.json:

   [{
   "Classification":"iceberg-defaults",
   "Properties":{"iceberg.enabled":"true"}
   }]

2. Connect ke Spark node primer menggunakan SSH.

3. Masukkan perintah berikut untuk menginisialisasi Spark sesi untuk Iceberg yang terhubung ke tabel Anda. Ganti user input placeholders dengan informasi Anda sendiri.

   spark-shell \
   --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
   --conf spark.sql.defaultCatalog=s3tables \
   --conf spark.sql.catalog.s3tables=org.apache.iceberg.spark.SparkCatalog \
   --conf spark.sql.catalog.s3tables.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog \
   --conf spark.sql.catalog.s3tables.client.region=us-east-1 \
   --conf spark.sql.catalog.s3tables.glue.id=111122223333

4. Kueri tabel Anda dengan Spark SQL. Misalnya kueri, lihat Menanyakan tabel S3 dengan Spark SQL

catatan

Jika Anda menggunakan DROP TABLE PURGE perintah dengan Amazon EMR:

• Amazon EMR versi 7.5

  Setel konfigurasi spark.sql.catalog.your-catalog-name.cache-enabled Spark ke. false Jika konfigurasi ini diatur ketrue, jalankan perintah dalam sesi atau aplikasi baru sehingga cache tabel tidak diaktifkan.

• Amazon EMR versi lebih tinggi dari 7,5

  DROP TABLE tidak didukung. Anda dapat menggunakan DeleteTable REST API Tabel S3 untuk menghapus tabel.