Opsi EMR arsitektur Amazon Tanpa Server

Arsitektur set instruksi aplikasi Amazon EMR Serverless menentukan jenis prosesor yang digunakan aplikasi untuk menjalankan pekerjaan. Amazon EMR menyediakan dua opsi arsitektur untuk aplikasi Anda: x86_64 dan arm64. EMRTanpa server secara otomatis memperbarui instans generasi terbaru saat tersedia, sehingga aplikasi Anda dapat menggunakan instans yang lebih baru tanpa memerlukan upaya tambahan dari Anda.

Menggunakan arsitektur x86_64

Arsitektur x86_64 juga dikenal sebagai x86 64-bit atau x64. x86_64 adalah opsi default untuk EMR aplikasi Tanpa Server. Arsitektur ini menggunakan prosesor berbasis x86 dan kompatibel dengan sebagian besar alat dan perpustakaan pihak ketiga.

Sebagian besar aplikasi kompatibel dengan platform perangkat keras x86 dan dapat berjalan dengan sukses pada arsitektur x86_64 default. Namun, jika aplikasi Anda kompatibel dengan 64-bitARM, maka Anda dapat beralih ke arm64 untuk menggunakan prosesor Graviton untuk meningkatkan kinerja, daya komputasi, dan memori. Biayanya lebih murah untuk menjalankan instance pada arsitektur arm64 daripada saat Anda menjalankan instance dengan ukuran yang sama pada arsitektur x86.

Menggunakan arsitektur arm64 (Graviton)

AWS Prosesor Graviton dirancang khusus AWS dengan inti ARM Neoverse 64-bit dan memanfaatkan arsitektur arm64 (juga dikenal sebagai Arch64 atau 64-bit). ARM Jajaran prosesor AWS Graviton yang tersedia di EMR Serverless termasuk prosesor Graviton3 dan Graviton2. Prosesor ini memberikan kinerja harga yang unggul untuk beban kerja Spark dan Hive dibandingkan dengan beban kerja setara yang berjalan pada arsitektur x86_64. EMRTanpa server secara otomatis menggunakan prosesor generasi terbaru bila tersedia tanpa upaya dari pihak Anda untuk meningkatkan ke prosesor generasi terbaru.

Meluncurkan aplikasi baru dengan dukungan Graviton

Gunakan salah satu metode berikut untuk meluncurkan aplikasi yang menggunakan arsitektur arm64.

AWS CLI

Untuk meluncurkan aplikasi menggunakan prosesor Graviton dari AWS CLI, tentukan ARM64 sebagai architecture parameter di file. create-application API Berikan nilai yang sesuai untuk aplikasi Anda di parameter lain.

aws emr-serverless create-application \
 --name my-graviton-app \
 --release-label emr-6.8.0 \
 --type "SPARK" \
 --architecture "ARM64" \
 --region us-west-2

EMR Studio

Untuk meluncurkan aplikasi menggunakan prosesor Graviton dari EMR Studio, pilih arm64 sebagai opsi Arsitektur saat Anda membuat atau memperbarui aplikasi.

Mengkonfigurasi aplikasi yang ada untuk menggunakan Graviton

Anda dapat mengonfigurasi aplikasi Amazon EMR Tanpa Server yang ada untuk menggunakan arsitektur Graviton (arm64) dengan,, atau Studio. SDK AWS CLI EMR

Untuk mengonversi aplikasi yang ada dari x86 ke arm64

1. Konfirmasikan bahwa Anda menggunakan versi mayor terbaru dari AWS CLI/SDKyang mendukung architecture parameter.

2. Konfirmasikan bahwa tidak ada pekerjaan yang berjalan dan kemudian hentikan aplikasi.

   aws emr-serverless stop-application \
    --application-id application-id \
    --region us-west-2

3. Untuk memperbarui aplikasi untuk menggunakan Graviton, ARM64 tentukan architecture parameter di. update-application API

   aws emr-serverless update-application \
    --application-id application-id \
    --architecture 'ARM64' \
    --region us-west-2

4. Untuk memverifikasi bahwa CPU arsitektur aplikasi sekarangARM64, gunakan file get-applicationAPI.

   aws emr-serverless get-application \
    --application-id application-id \
    --region us-west-2

5. Saat Anda siap, mulai ulang aplikasi.

   aws emr-serverless start-application \
    --application-id application-id \
    --region us-west-2

Pertimbangan saat menggunakan Graviton

Sebelum Anda meluncurkan aplikasi EMR Tanpa Server menggunakan arm64 untuk dukungan Graviton, konfirmasikan hal berikut.

Kompatibilitas perpustakaan

Saat Anda memilih Graviton (arm64) sebagai opsi arsitektur, pastikan paket dan pustaka pihak ketiga kompatibel dengan arsitektur 64-bit. ARM Untuk informasi tentang cara mengemas pustaka Python ke dalam lingkungan virtual Python yang kompatibel dengan arsitektur yang Anda pilih, lihat. Menggunakan pustaka Python dengan Tanpa Server EMR

Untuk mempelajari lebih lanjut tentang cara mengonfigurasi beban kerja Spark atau Hive agar menggunakan 64-bitARM, lihat repositori AWS Graviton Getting Started aktif. GitHub Repositori ini berisi sumber daya penting yang dapat membantu Anda memulai Graviton ARM berbasis.