Buat AWS CloudFormation template untuk Amazon EMR Studio

Tentang template klaster EMR Studio

Anda dapat membuat AWS CloudFormation template untuk membantu pengguna EMR Studio meluncurkan EMR klaster Amazon baru di Workspace. CloudFormation template adalah file teks yang diformat dalam JSON atauYAML. Dalam template, Anda menjelaskan setumpuk sumber AWS daya dan memberi tahu CloudFormation cara menyediakan sumber daya tersebut untuk Anda. Untuk EMR Studio, Anda dapat membuat satu atau beberapa templat yang menjelaskan EMR klaster Amazon.

Anda mengatur template Anda di AWS Service Catalog. AWS Service Catalog memungkinkan Anda membuat dan mengelola layanan TI yang umum digunakan yang disebut produk di AWS. Anda mengumpulkan template sebagai produk dalam portofolio yang Anda bagikan dengan pengguna EMR Studio. Setelah Anda membuat template cluster, pengguna Studio dapat meluncurkan klaster baru untuk Workspace dengan salah satu template Anda. Pengguna harus memiliki izin untuk membuat cluster baru dari template. Anda dapat menyetel izin pengguna dalam kebijakan izin EMR Studio.

Untuk mempelajari lebih lanjut tentang CloudFormation templat, lihat Templat di Panduan AWS CloudFormation Pengguna. Untuk informasi lebih lanjut tentang AWS Service Catalog, lihat Apa itu AWS Service Catalog.

Video berikut menunjukkan cara menyiapkan template cluster AWS Service Catalog untuk EMR Studio. Anda juga dapat mempelajari lebih lanjut di lingkungan Build a self-service untuk setiap lini bisnis menggunakan posting blog Amazon EMR dan Service Catalog.

Parameter template opsional

Anda dapat menyertakan opsi tambahan di Parametersbagian template Anda. Parameter memungkinkan pengguna Studio memasukkan atau memilih nilai kustom untuk klaster. Misalnya, Anda dapat menambahkan parameter yang memungkinkan pengguna memilih EMR rilis Amazon tertentu. Untuk informasi selengkapnya, lihat Parameter dalam Panduan Pengguna AWS CloudFormation .

ParametersBagian contoh berikut mendefinisikan parameter input tambahan sepertiClusterName, EmrRelease versi, danClusterInstanceType.

Parameters:
  ClusterName:
    Type: "String"
    Default: "Cluster_Name_Placeholder"
  EmrRelease:
    Type: "String"
    Default: "emr-6.2.0"
    AllowedValues:
    - "emr-6.2.0"
    - "emr-5.32.0"
  ClusterInstanceType:
    Type: "String"
    Default: "m5.xlarge"
    AllowedValues:
    - "m5.xlarge"
    - "m5.2xlarge"

Saat Anda menambahkan parameter, pengguna Studio melihat opsi formulir tambahan setelah memilih templat klaster. Gambar berikut menunjukkan opsi formulir tambahan untuk EmrReleaseversi, ClusterName, dan InstanceType.

Prasyarat

Sebelum membuat template cluster, pastikan Anda memiliki IAM izin untuk mengakses tampilan konsol administrator Service Catalog. Anda juga memerlukan IAM izin yang diperlukan untuk melakukan tugas administratif Service Catalog. Untuk informasi selengkapnya, lihat Memberikan izin kepada administrator Service Catalog.

Petunjuk

Untuk membuat template EMR cluster menggunakan Service Catalog

1. Buat satu atau lebih CloudFormation template. Di mana Anda menyimpan template Anda terserah Anda. Karena template adalah file teks yang diformat, Anda dapat mengunggahnya ke Amazon S3 atau menyimpannya di sistem file lokal Anda. Untuk mempelajari lebih lanjut tentang CloudFormation templat, lihat Templat di Panduan AWS CloudFormation Pengguna.

   Gunakan aturan berikut untuk memberi nama templat Anda, atau memeriksa nama Anda terhadap pola [a-zA-Z0-9][a-zA-Z0-9._-]*.

   • Nama templat harus dimulai dengan huruf atau angka.

   • Nama templat hanya dapat terdiri dari huruf, angka, titik (.), garis bawah (_), dan tanda hubung (-).

   Setiap template cluster yang Anda buat harus menyertakan opsi berikut:

   Parameter masukan

   • ClusterName — Nama untuk cluster untuk membantu pengguna mengidentifikasinya setelah disediakan.

   Keluaran

   • ClusterId— ID dari cluster yang baru disediakanEMR.

   Berikut ini adalah contoh AWS CloudFormation template dalam YAML format untuk cluster dengan dua node. Contoh template mencakup opsi template yang diperlukan dan mendefinisikan parameter input tambahan untuk EmrRelease danClusterInstanceType.

   awsTemplateFormatVersion: 2010-09-09
   
   Parameters:
     ClusterName:
       Type: "String"
       Default: "Example_Two_Node_Cluster"
     EmrRelease:
       Type: "String"
       Default: "emr-6.2.0"
       AllowedValues:
       - "emr-6.2.0"
       - "emr-5.32.0"
     ClusterInstanceType:
       Type: "String"
       Default: "m5.xlarge"
       AllowedValues:
       - "m5.xlarge"
       - "m5.2xlarge"
   
   Resources:
     EmrCluster:
       Type: AWS::EMR::Cluster
       Properties:
         Applications:
         - Name: Spark
         - Name: Livy
         - Name: JupyterEnterpriseGateway
         - Name: Hive
         EbsRootVolumeSize: '10'
         Name: !Ref ClusterName
         JobFlowRole: EMR_EC2_DefaultRole
         ServiceRole: EMR_DefaultRole_V2
         ReleaseLabel: !Ref EmrRelease
         VisibleToAllUsers: true
         LogUri: 
           Fn::Sub: 's3://aws-logs-${AWS::AccountId}-${AWS::Region}/elasticmapreduce/'
         Instances:
           TerminationProtected: false
           Ec2SubnetId: 'subnet-ab12345c'
           MasterInstanceGroup:
             InstanceCount: 1
             InstanceType: !Ref ClusterInstanceType
           CoreInstanceGroup:
             InstanceCount: 1
             InstanceType: !Ref ClusterInstanceType
             Market: ON_DEMAND
             Name: Core
   
   Outputs:
     ClusterId:
       Value:
         Ref: EmrCluster
       Description: The ID of the  EMR cluster

2. Buat portofolio untuk template klaster Anda di AWS akun yang sama dengan Studio Anda.

   1. Buka AWS Service Catalog konsol di https://console.aws.amazon.com/servicecatalog/.

   2. Pilih Portofolio di menu navigasi kiri.

   3. Masukkan informasi yang diminta di halaman Buat portofolio.

   4. Pilih Buat. AWS Service Catalog menciptakan portofolio dan menampilkan rincian portofolio.

3. Gunakan langkah-langkah berikut untuk menambahkan template cluster Anda sebagai AWS Service Catalog produk.

   1. Arahkan ke halaman Produk di bawah Administrasi di konsol AWS Service Catalog manajemen.

   2. Pilih Unggah produk baru.

   3. Masukkan nama produk dan pemilik.

   4. Tentukan file template Anda di bawah Detail versi.

   5. Pilih Tinjau untuk meninjau setelan produk Anda, lalu pilih Buat produk.

4. Lengkapi langkah-langkah berikut untuk menambahkan produk Anda ke portofolio Anda.

   1. Arahkan ke halaman Produk di konsol AWS Service Catalog manajemen.

   2. Pilih produk Anda, pilih Tindakan, lalu pilih Tambahkan produk ke portofolio.

   3. Pilih portofolio Anda, lalu pilih Tambahkan produk ke portofolio.

5. Buat kendala peluncuran untuk produk Anda. Batasan peluncuran adalah IAM peran yang menentukan izin pengguna untuk meluncurkan produk. Anda dapat menyesuaikan batasan peluncuran, tetapi harus mengizinkan izin untuk digunakan, Amazon, CloudFormation dan. EMR AWS Service Catalog Untuk informasi dan petunjuk selengkapnya, lihat kendala peluncuran Service Catalog.

6. Terapkan batasan peluncuran Anda ke setiap produk dalam portofolio Anda. Anda harus menerapkan batasan peluncuran untuk setiap produk satu per satu.

   1. Pilih portofolio Anda dari halaman Portofolio di konsol AWS Service Catalog manajemen.

   2. Pilih tab Batasan dan pilih Buat batasan.

   3. Pilih produk Anda dan pilih Launch di bawah Constraint type. Pilih Lanjutkan.

   4. Pilih peran kendala peluncuran Anda di bagian Batasan peluncuran, lalu pilih Buat.

7. Berikan akses ke portofolio Anda.

   1. Pilih portofolio Anda dari halaman Portofolio di konsol AWS Service Catalog manajemen.

   2. Buka tab Grup, peran, dan pengguna dan pilih Tambahkan grup, peran, pengguna.

   3. Cari IAM peran EMR Studio Anda di tab Peran, pilih peran Anda, dan pilih Tambahkan akses.

      Jika Anda menggunakan...	Berikan akses ke...
      IAMotentikasi	Pengguna asli Anda
      IAMfederasi	IAMPeran Anda untuk federasi
      IAMFederasi Pusat Identitas	Peran pengguna EMR Studio Anda