Menyebarkan Model

Saat Anda menerapkan model dari JumpStart, SageMaker host model dan menerapkan titik akhir yang dapat Anda gunakan untuk inferensi. JumpStart juga menyediakan contoh notebook yang dapat Anda gunakan untuk mengakses model setelah diterapkan.

penting

Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat SageMaker Studio Amazon.

catatan

Untuk informasi lebih lanjut tentang penerapan JumpStart model di Studio, lihat Menerapkan model di Studio

Konfigurasi penerapan model

Setelah Anda memilih model, tab model terbuka. Di panel Deploy Model, pilih Deployment Configuration untuk mengonfigurasi penerapan model Anda.

Jenis instans default untuk menerapkan model bergantung pada model. Jenis instans adalah perangkat keras tempat pekerjaan pelatihan berjalan. Dalam contoh berikut, ml.p2.xlarge instance adalah default untuk BERT model khusus ini.

Anda juga dapat mengubah nama titik akhir, menambahkan tag key;value sumber daya, mengaktifkan atau menonaktifkan jumpstart- awalan untuk sumber JumpStart daya apa pun yang terkait dengan model, dan menentukan bucket Amazon S3 untuk menyimpan artefak model yang digunakan oleh titik akhir Anda. SageMaker

Pilih Pengaturan Keamanan untuk menentukan peran AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (AmazonVPC), dan kunci enkripsi untuk model.

Keamanan penerapan model

Saat menerapkan model JumpStart, Anda dapat menentukan IAM peran, AmazonVPC, dan kunci enkripsi untuk model tersebut. Jika Anda tidak menentukan nilai apa pun untuk entri ini: IAM Peran default adalah peran runtime Studio Classic Anda; enkripsi default digunakan; tidak ada Amazon yang VPC digunakan.

IAMperan

Anda dapat memilih IAM peran yang diteruskan sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker menggunakan peran ini untuk mengakses data pelatihan dan artefak model. Jika Anda tidak memilih IAM peran, SageMaker gunakan model menggunakan peran runtime Studio Classic Anda. Untuk informasi selengkapnya tentang IAM peran, lihatIdentity and Access Management untuk Amazon SageMaker.

Peran yang Anda lewati harus memiliki akses ke sumber daya yang dibutuhkan model, dan harus mencakup semua hal berikut.

• Untuk pekerjaan pelatihan: CreateTrainingJob API: Izin Peran Eksekusi.

• Untuk pekerjaan hosting: CreateModel API: Izin Peran Eksekusi.

catatan

Anda dapat mencatat izin Amazon S3 yang diberikan di setiap peran berikut. Lakukan ini dengan menggunakan bucket Amazon Simple Storage Service (Amazon S3) dan bucket Amazon JumpStart S3. ARN

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Temukan IAM peran

Jika Anda memilih opsi ini, Anda harus memilih IAM peran yang ada dari daftar dropdown.

IAMPeran masukan

Jika Anda memilih opsi ini, Anda harus memasukkan secara manual ARN untuk IAM peran yang ada. Jika peran runtime Studio Classic atau Amazon VPC memblokir iam:list* panggilan, Anda harus menggunakan opsi ini untuk menggunakan IAM peran yang ada.

Amazon VPC

Semua JumpStart model berjalan dalam mode isolasi jaringan. Setelah wadah model dibuat, tidak ada lagi panggilan yang dapat dilakukan. Anda dapat memilih Amazon VPC yang lulus sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker menggunakan Amazon ini VPC untuk mendorong dan menarik sumber daya dari bucket Amazon S3 Anda. Amazon VPC ini berbeda dengan Amazon VPC yang membatasi akses ke internet publik dari instans Studio Classic Anda. Untuk informasi selengkapnya tentang Studio Classic AmazonVPC, lihatHubungkan notebook Studio di sumber daya eksternal VPC ke sumber daya eksternal.

Amazon VPC yang Anda lewati tidak memerlukan akses ke internet publik, tetapi memang membutuhkan akses ke Amazon S3. VPCTitik akhir Amazon untuk Amazon S3 harus memungkinkan akses ke setidaknya sumber daya berikut yang dibutuhkan model.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Jika Anda tidak memilih AmazonVPC, tidak ada Amazon VPC yang digunakan.

Menemukan VPC

Jika Anda memilih opsi ini, Anda harus memilih Amazon yang ada VPC dari daftar tarik-turun. Setelah Anda memilih AmazonVPC, Anda harus memilih subnet dan grup keamanan untuk Amazon VPC Anda. Untuk informasi selengkapnya tentang subnet dan grup keamanan, lihat Ikhtisar VPCs dan subnet.

Masukan VPC

Jika Anda memilih opsi ini, Anda harus secara manual memilih subnet dan grup keamanan yang menyusun Amazon Anda. VPC Jika peran runtime Studio Classic atau Amazon VPC memblokir ec2:list* panggilan, Anda harus menggunakan opsi ini untuk memilih subnet dan grup keamanan.

Kunci enkripsi

Anda dapat memilih AWS KMS kunci yang diteruskan sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker menggunakan kunci ini untuk mengenkripsi EBS volume Amazon untuk penampung, dan model yang dikemas ulang di Amazon S3 untuk pekerjaan hosting dan output untuk pekerjaan pelatihan. Untuk informasi selengkapnya tentang AWS KMS kunci, lihat AWS KMS kunci.

Kunci yang Anda lewati harus mempercayai IAM peran yang Anda lewati. Jika Anda tidak menentukan IAM peran, AWS KMS kunci harus mempercayai peran runtime Studio Classic Anda.

Jika Anda tidak memilih AWS KMS kunci, SageMaker berikan enkripsi default untuk data dalam EBS volume Amazon dan artefak Amazon S3.

Temukan kunci enkripsi

Jika Anda memilih opsi ini, Anda harus memilih AWS KMS kunci yang ada dari daftar dropdown.

Kunci enkripsi masukan

Jika Anda memilih opsi ini, Anda harus memasukkan AWS KMS tombol secara manual. Jika peran eksekusi Studio Classic atau Amazon VPC memblokir kms:list* panggilan, Anda harus menggunakan opsi ini untuk memilih AWS KMS kunci yang ada.

Konfigurasikan nilai default untuk JumpStart model

Anda dapat mengonfigurasi nilai default untuk parameter seperti IAM peranVPCs, dan KMS kunci untuk diisi sebelumnya untuk penerapan dan JumpStart pelatihan model. Setelah mengonfigurasi nilai default, UI Studio Classic secara otomatis menyediakan setelan keamanan dan tag yang Anda tentukan ke JumpStart model untuk menyederhanakan alur kerja penerapan dan pelatihan. Administrator dan pengguna akhir dapat menginisialisasi nilai default yang ditentukan dalam file konfigurasi dalam format. YAML

Secara default, SageMaker Python SDK menggunakan dua file konfigurasi: satu untuk administrator dan satu untuk pengguna. Menggunakan file konfigurasi admininistrator, administrator dapat menentukan satu set nilai default. Pengguna akhir dapat mengganti nilai yang ditetapkan dalam file konfigurasi administrator dan menetapkan nilai default tambahan menggunakan file konfigurasi pengguna akhir. Untuk informasi selengkapnya, lihat Lokasi file konfigurasi default.

Contoh kode berikut mencantumkan lokasi default file konfigurasi saat menggunakan SageMaker Python di SDK Amazon SageMaker Studio Classic.

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

Nilai yang ditentukan dalam file konfigurasi pengguna mengganti nilai yang ditetapkan dalam file konfigurasi administrator. File konfigurasi unik untuk setiap profil pengguna dalam SageMaker domain Amazon. Aplikasi Studio Classic profil pengguna secara langsung terkait dengan profil pengguna. Untuk informasi selengkapnya, lihat Profil pengguna domain.

Administrator dapat secara opsional mengatur default konfigurasi untuk pelatihan JumpStart model dan penerapan melalui konfigurasi siklus hidup. JupyterServer Untuk informasi selengkapnya, lihat Membuat dan mengaitkan konfigurasi siklus hidup.

YAMLFile konfigurasi nilai default

File konfigurasi Anda harus mematuhi struktur file SDK konfigurasi SageMaker Python. Perhatikan bahwa bidang tertentu dalamTrainingJob,Model, dan EndpointConfig konfigurasi berlaku untuk pelatihan JumpStart model dan nilai default penerapan.

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value