Amazon Bedrock での推論の仕組み

モデルに入力を送信すると、モデルは次のトークンのシーケンスを予測し、そのシーケンスを出力として返します。Amazon Bedrock は、選択した基盤モデルで推論を実行する機能を提供します。推論を実行する場合は、次の入力を提供します。

• プロンプト — レスポンスを生成するためにモデルに提供される入力。プロンプトの書き方については、「 プロンプトエンジニアリングの概念」を参照してください。プロンプトインジェクション攻撃の対策については、「プロンプトインジェクションのセキュリティ」を参照してください。

• モデル – 推論の実行に使用する基盤モデルまたは推論プロファイル。選択したモデルまたは推論プロファイルによって、スループットのレベルも指定されます。つまり、処理できる入出力トークンの数とレートが定義されます。Amazon Bedrock で使用できる基盤モデルの詳細については、「Amazon Bedrock 基盤モデルの情報」を参照してください。推論プロファイルの詳細については、「推論プロファイルを使用してモデル呼び出しリソースを設定する」を参照してください。スループットの向上の詳細については、クロスリージョン推論によるスループットの向上「」および「」を参照してくださいAmazon Bedrock のプロビジョンドスループットでモデル呼び出し容量を増やす。

• 推論パラメータ — モデルレスポンスを制限したり影響を与えたりするように調整できる値のセット。推論パラメータの詳細については、「推論パラメータでレスポンスの生成に影響を与える」および「Inference request parameters and response fields for foundation models」を参照してください。

異なる AWS リージョンでモデルを呼び出す

モデルを呼び出すときは、そのモデルを呼び出す AWS リージョン を選択します。実行できるリクエストの頻度とサイズのクォータは、リージョンによって異なります。これらのクォータは、Amazon Bedrock サービスクォータで次のクォータを検索することで確認できます。

• ${Model} のオンデマンドモデル推論リクエスト/分

• ${Model} のオンデマンド InvokeModel トークン/分

基盤モデル自体の代わりに推論プロファイルを呼び出すこともできます。推論プロファイルは、モデルと、推論プロファイルがモデル呼び出しリクエストをルーティングできる 1 つ以上のリージョンを定義します。複数のリージョンを含む推論プロファイルを呼び出すことで、スループットを向上させることができます。詳細については、「クロスリージョン推論によるスループットの向上」を参照してください。推論プロファイルで実行できるリクエストの頻度とサイズのクォータを確認するには、Amazon Bedrock サービスクォータで次のクォータを検索します。

• ${Model} のクロスリージョン InvokeModel リクエスト/分

• ${Model} のクロスリージョン InvokeModel トークン/分

リージョンに対するリクエストは、同じ親リージョンを共有するローカルゾーンから処理される場合があります。例えば、米国東部 (バージニア北部) (us-east-1) に対するリクエストは、米国アトランタ (us-east-1-atl-2a) など、それに関連付けられた任意のローカルゾーンから処理できます。

クロスリージョン推論を使用する場合も同じ原則が適用されます。たとえば、米国AnthropicClaude 3 Haiku推論プロファイルに対するリクエストは、米国シアトル (us-west-2-sea-1a) など、親リージョンが米国にある任意のローカルゾーンで処理できます。新しいローカルゾーンが に追加されると AWS、対応するクロスリージョン推論エンドポイントにも追加されます。

ローカルエンドポイントとそれらが関連付けられている親リージョンのリストを確認するには、AWS 「Local Zones Locations」を参照してください。