オンデマンド推論用のカスタムモデルをデプロイする

モデルカスタマイズジョブを使用してカスタムモデルを作成した後、または SageMaker AI でトレーニングされたカスタムAmazon Novaモデルをインポートした後、モデルのオンデマンド推論を設定できます。オンデマンド推論では、使用した分に対してのみ料金が発生し、プロビジョニングされたコンピューティングリソースを設定する必要はありません。

カスタムモデルのオンデマンド推論を設定するには、カスタムモデルのデプロイでデプロイします。カスタムモデルをデプロイしたら、プロンプトを送信してモデル推論でレスポンスを生成するときに、デプロイの Amazon リソースネーム (ARN) を modelIdパラメータとして使用します。

オンデマンド推論の料金については、「Amazon Bedrock の料金」を参照してください。オンデマンド推論用のカスタムモデルを次のリージョンにデプロイできます (Amazon Bedrock でサポートされているリージョンの詳細については、「Amazon Bedrock エンドポイントとクォータ」を参照してください）。

• 米国東部 (バージニア北部)

トピック

• オンデマンド推論用のカスタムモデルをデプロイするための前提条件

• サポートされているベースモデル

• カスタムモデルをデプロイする

• オンデマンド推論にデプロイを使用する

• カスタムモデルのデプロイを削除する

サポートされているベースモデル

以下のベースモデルにオンデマンド推論を設定できます。

• Amazon Nova Lite

• Amazon Nova Micro

• Amazon Nova Pro