モデルのデプロイ

からモデルをデプロイすると JumpStart、 はモデルを SageMaker ホストし、推論に使用できるエンドポイントをデプロイします。 は、デプロイ後にモデルにアクセスするために使用できるサンプルノートブック JumpStart も提供します。

重要

2023 年 11 月 30 日現在、以前の Amazon SageMaker Studio エクスペリエンスは Amazon SageMaker Studio Classic という名前になりました。次のセクションは、Studio Classic アプリケーションの使用に固有のものです。更新された Studio エクスペリエンスの使用については、「」を参照してくださいAmazon SageMaker Studio。

注記

Studio での JumpStart モデルデプロイの詳細については、「」を参照してください。 Studio で基盤モデルをデプロイする

モデルのデプロイ設定

モデルを選択すると、モデルのタブが開きます。[モデルのデプロイ] ペインで、[デプロイ設定] を選択して、モデルのデプロイを設定します。

モデルのデプロイのデフォルトインスタンスタイプは、モデルによって異なります。インスタンスタイプは、トレーニングジョブを実行するハードウェアです。次の例では、ml.p2.xlarge インスタンスがこの特定の BERT モデルのデフォルトです。

また、エンドポイント名の変更、key;valueリソースタグの追加、モデルに関連する JumpStart リソースのjumpstart-プレフィックスの有効化または無効化、 SageMaker エンドポイントで使用されるモデルアーティファクトを保存するための Amazon S3 バケットの指定を行うこともできます。

セキュリティ設定 を選択して、モデルの AWS Identity and Access Management (IAM ) ロール、Amazon Virtual Private Cloud (Amazon VPC)、および暗号化キーを指定します。

モデルのデプロイのセキュリティ

を使用してモデルをデプロイする場合 JumpStart、モデルの IAM ロール、Amazon VPC、および暗号化キーを指定できます。これらのエントリの値を指定しない場合: デフォルトの IAM ロールは Studio Classic ランタイムロールです。デフォルトの暗号化が使用されます。Amazon VPC は使用されません。

IAM ロール

トレーニングジョブおよびホスティングジョブの一部として渡される IAM ロールを選択できます。 は、 SageMaker このロールを使用してトレーニングデータとモデルアーティファクトにアクセスします。IAM ロールを選択しない場合、 は Studio Classic ランタイムロールを使用してモデルを SageMaker デプロイします。IAM ロールの詳細については、「Amazon の Identity and Access Management SageMaker」を参照してください。

ロールを渡す場合、ロールにはモデルが必要とするリソースへのアクセス権があること、および以下のすべてが含まれていることが必要です。

• トレーニングジョブの場合: CreateTrainingJob API: 実行ロールのアクセス許可 。

• ホスティングジョブの場合: CreateModel API: 実行ロールのアクセス許可 。

注記

以下の各ロールで付与された Amazon S3 アクセス許可の範囲を絞り込むことができます。これを行うには、Amazon Simple Storage Service (Amazon S3) バケットと JumpStart Amazon S3 バケットの ARN を使用します。

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

IAM ロールの検索

このオプションを選択した場合は、ドロップダウンリストから既存の IAM ロールを選択する必要があります。

IAM ロールの入力

このオプションを選択した場合は、既存の IAM ロールの ARN を手動で入力する必要があります。Studio Classic ランタイムロールまたは Amazon VPC がiam:list* 呼び出しをブロックする場合は、このオプションを使用して既存の IAM ロールを使用する必要があります。

Amazon VPC

すべての JumpStart モデルはネットワーク分離モードで実行されます。モデルコンテナの作成後は、追加の呼び出しをできなくなります。トレーニングジョブおよびホスティングジョブの一部として渡される Amazon VPC を選択できます。 はこの Amazon VPC SageMaker を使用してAmazon S3バケットからリソースをプッシュおよびプルします。この Amazon VPC は、Studio Classic インスタンスからのパブリックインターネットへのアクセスを制限する Amazon VPC とは異なります。Studio Classic Amazon VPC の詳細については、「」を参照してくださいVPC 内の Studio ノートブックを外部リソースに接続する。

渡す Amazon VPC には、パブリックインターネットへのアクセス権は必要ありませんが、Amazon S3 へのアクセス権が必要です。Amazon S3 の Amazon VPC エンドポイントは、少なくとも、モデルが必要とする以下のリソースへのアクセスを許可する必要があります。

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Amazon VPC を選択しない場合、Amazon VPC は使用されません。

VPC の検索

このオプションを選択した場合は、ドロップダウンリストから既存の Amazon VPC を選択する必要があります。Amazon VPC を選択したら、Amazon VPC のサブネットとセキュリティグループを選択する必要があります。サブネットとセキュリティグループの詳細については、「VPC とサブネットの概要」を参照してください。

VPC の入力

このオプションを選択した場合は、Amazon VPC を構成するサブネットとセキュリティグループを手動で選択する必要があります。Studio Classic ランタイムロールまたは Amazon VPC がec2:list*呼び出しをブロックする場合は、このオプションを使用してサブネットとセキュリティグループを選択する必要があります。

暗号化キー

トレーニングジョブおよびホスティングジョブの一部として渡される AWS KMS キーを選択できます。 SageMaker はこのキーを使用してコンテナの Amazon EBS ボリュームを暗号化し、Amazon S3 で再パッケージ化されたモデルはジョブをホストし、トレーニングジョブの出力を暗号化します。 AWS KMS キーの詳細については、「 キーAWS KMS」を参照してください。

渡すキーは、渡す IAM ロールを信頼する必要があります。IAM ロールを指定しない場合、 AWS KMS キーは Studio Classic ランタイムロールを信頼する必要があります。

AWS KMS キーを選択しない場合、 は Amazon EBS ボリューム内のデータと Amazon S3 アーティファクトのデフォルトの暗号化 SageMaker を提供します。

暗号化キーの検索

このオプションを選択した場合は、ドロップダウンリストから既存の AWS KMS キーを選択する必要があります。

暗号化キーの入力

このオプションを選択した場合は、 AWS KMS キーを手動で入力する必要があります。Studio Classic 実行ロールまたは Amazon VPC がkms:list* 呼び出しをブロックする場合は、このオプションを使用して既存の AWS KMS キーを選択する必要があります。

JumpStart モデルのデフォルト値を設定する

IAM ロール、VPCs、KMS キーなどのパラメータのデフォルト値を設定して、 JumpStart モデルのデプロイとトレーニング用に事前入力できます。デフォルト値を設定すると、Studio Classic UI は指定されたセキュリティ設定とタグを JumpStart モデルに自動的に提供し、デプロイとトレーニングのワークフローを簡素化します。管理者とエンドユーザーは、設定ファイルに指定されているデフォルト値を YAML 形式で初期化できます。

デフォルトでは、 SageMaker Python SDK は 2 つの設定ファイルを使用します。1 つは管理者用、もう 1 つはユーザー用です。管理者設定ファイルを使用して、管理者は一連のデフォルト値を定義できます。エンドユーザーは、管理者設定ファイルに設定されている値を上書きし、エンドユーザー設定ファイルを使用して追加のデフォルト値を設定できます。詳細については、「デフォルトの設定ファイルの場所」を参照してください。

次のコードサンプルは、Amazon SageMaker Studio Classic で SageMaker Python SDK を使用する場合の設定ファイルのデフォルトの場所を一覧表示します。

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

ユーザー設定ファイルに指定された値は、管理者設定ファイルに設定された値を上書きします。設定ファイルは、Amazon SageMaker ドメイン内の各ユーザープロファイルに固有です。ユーザープロファイルの Studio Classic アプリケーションは、ユーザープロファイルに直接関連付けられます。詳細については、「ドメインユーザープロファイル」を参照してください。

管理者はオプションで、JupyterServerライフサイクル設定を通じて JumpStart モデルトレーニングとデプロイの設定デフォルトを設定できます。詳細については、「ライフサイクル設定の作成と関連付け」を参照してください。

デフォルト値設定 YAML ファイル

設定ファイルは、 SageMaker Python SDK 設定ファイル構造 に従う必要があります。TrainingJob、、および EndpointConfig設定の特定のフィールドはModel、 JumpStart モデルトレーニングとデプロイのデフォルト値に適用されることに注意してください。

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value