クロスリージョン推論によるスループットの向上 - Amazon Bedrock
クロスリージョン (システム定義) 推論プロファイルを使用する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

クロスリージョン推論によるスループットの向上

クロスリージョン推論では、特定の地域 (米国や欧州など) に関連付けられたクロスリージョン推論プロファイルを選択するか、グローバル推論プロファイルを選択できます。特定の地域に関連付けられた推論プロファイルを選択すると、Amazon Bedrock は推論リクエストを処理するために、その地域 AWS リージョン 内の最適なコマーシャルを自動的に選択します。グローバル推論プロファイルを使用すると、Amazon Bedrock はリクエストを処理する AWS リージョン 最適な商用 を自動的に選択し、利用可能なリソースを最適化してモデルのスループットを向上させます。

オンデマンドモードでモデル推論を実行する際、リクエストはサービスクォータまたはピーク使用時間によって制限される場合があります。クロスリージョン推論を使用すると、さまざまな でコンピューティングを利用することで、予期しないトラフィックバーストをシームレスに管理できます AWS リージョン。クロスリージョン推論を使用すると、複数の にトラフィックを分散できるため AWS リージョン、スループットが向上します。

プロビジョンドスループットを購入することで、モデルのスループットを向上させることもできます。推論プロファイルは現在、プロビジョンドスループットをサポートしていません。

推論プロファイルを使用してクロスリージョン推論を実行できるリージョンとモデルを確認するには、「」を参照してください推論プロファイルでサポートされているリージョンとモデル。

クロスリージョン (システム定義) 推論プロファイルは、サポートするモデルにちなんで命名され、サポートするリージョンによって定義されます。クロスリージョン推論プロファイルがリクエストを処理する方法を理解するには、次の定義を確認してください。

  • ソースリージョン – 推論プロファイルを指定する API リクエスト元のリージョン。

  • 送信先リージョン – Amazon Bedrock サービスが送信元リージョンからリクエストをルーティングできるリージョン。

Amazon Bedrock でクロスリージョン推論プロファイルを呼び出すと、リクエストはソースリージョンから送信され、そのプロファイルで定義された送信先リージョンのいずれかに自動的にルーティングされ、パフォーマンスが最適化されます。グローバルクロスリージョン推論プロファイルの送信先リージョンには、すべての商用リージョンが含まれます。

注記

クロスリージョン推論プロファイルの送信先リージョンには、オプトインリージョンを含めることができます。オプトインリージョンは、 AWS アカウント または組織レベルで明示的に有効にする必要があるリージョンです。詳細については、アカウントの「有効または無効にする AWS リージョン」を参照してください。クロスリージョン推論プロファイルを使用する場合、アカウントのそのようなリージョンにオプトインしていない場合でも、推論リクエストをプロファイル内の任意の送信先リージョンにルーティングできます。

サービスコントロールポリシー (SCPs) と AWS Identity and Access Management (IAM) ポリシーは連携して、クロスリージョン推論が許可される場所を制御します。SCPs を使用すると、Amazon Bedrock が推論に使用できるリージョンを制御でき、IAM ポリシーを使用すると、推論を実行するアクセス許可を持つユーザーまたはロールを定義できます。クロスリージョン推論プロファイルの送信先リージョンが SCPs でブロックされている場合、他のリージョンが許可されたままであってもリクエストは失敗します。クロスリージョン推論による効率的なオペレーションを確保するために、SCPs と IAM ポリシーを更新して、選択した推論プロファイルに含まれるすべての送信先リージョンで必要なすべての Amazon Bedrock 推論アクション ( bedrock:InvokeModel*や などbedrock:CreateModelInvocationJob) を許可できます。詳細については、「マルチアカウント環境での Amazon Bedrock クロスリージョン推論の有効化」を参照してください。

注記

一部の推論プロファイルは、呼び出し元のソースリージョンに応じて異なる送信先リージョンにルーティングされます。たとえば、米国東部 (オハイオ) us.anthropic.claude-3-haiku-20240307-v1:0から を呼び出すと、リクエストを us-east-1、us-east-2、または にルーティングできますがus-west-2、米国西部 (オレゴン) から呼び出すと、リクエストを us-east-1および にのみルーティングできますus-west-2。

推論プロファイルの送信元リージョンと送信先リージョンを確認するには、次のいずれかを実行します。

注記

リクエストを処理できる商用リージョン AWS が増えるにつれて、特定のモデルのグローバルクロスリージョン推論プロファイルは時間の経過とともに変化する可能性があります。ただし、推論プロファイルが地域 (米国、欧州、APAC など) に関連付けられている場合、その送信先リージョンリストは変更されません。 は、新しいリージョンを組み込む新しい推論プロファイルを作成する AWS 可能性があります。セットアップの IDs を新しい ID に変更することで、これらの推論プロファイルを使用するようにシステムを更新できます。

グローバルクロスリージョン推論プロファイルは現在、米国西部 (オレゴン）、米国東部 (バージニア北部）、米国東部 (オハイオ）、欧州 (アイルランド）、アジアパシフィック (東京) の各ソースリージョンのAnthropicClaude Sonnet 4モデルでのみサポートされています。グローバル推論プロファイルの送信先リージョンには、すべての商用リージョンが含まれます AWS リージョン。

クロスリージョン推論に関する次の情報に注意してください。

  • クロスリージョン推論の使用に追加のルーティングコストはかかりません。料金は、推論プロファイルを呼び出すリージョンに基づいて計算されます。料金に関する詳細については、「Amazon Bedrock の料金」を参照してください。

  • グローバルクロスリージョン推論プロファイルは、特定の地域に関連付けられた推論プロファイルよりも高いスループットを提供します。特定の地域に関連付けられた推論プロファイルは、単一リージョンの推論よりも高いスループットを提供します。

  • 地域 (米国、欧州、APAC など) に関連付けられた推論プロファイルを使用する場合のクロスリージョンスループットのデフォルトクォータを確認するには、 AWS 全般リファレンスの「Amazon Bedrock サービスクォータ」の「${Model} のクロスリージョンモデル推論リクエスト/分」と「${Model} のクロスリージョンモデル推論トークン/分」を参照してください。

  • グローバル推論プロファイルを使用する場合のクロスリージョンスループットのデフォルトクォータを確認するには、AWS 「 全般リファレンス」の「Amazon Bedrock サービスクォータ」の「${Model} のグローバルクロスリージョンモデル推論リクエスト/分」と「${Model} のグローバルクロスリージョンモデル推論トークン/分」を参照してください。 https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock

    グローバルクロスリージョン推論プロファイルのクォータをリクエスト、表示、管理するには、Service Quotas コンソールを使用するか、米国東部 (バージニア北部) リージョンの AWS CLI コマンドを使用します。グローバルクロスリージョン推論クォータは、グローバル推論プロファイルに記載されている他のソースリージョンの Service Quotas コンソールまたは AWS CLI には表示されないことに注意してください。

  • 地域 (米国、欧州、APAC など) に関連付けられた推論プロファイルへのクロスリージョン推論リクエストは、データが最初に存在する地域の一部 AWS リージョン である 内に保持されます。たとえば、米国内で行われたリクエストは、米国の AWS リージョン 内に保持されます。データはソースリージョンにのみ保存されますが、クロスリージョン推論中に入力プロンプトと出力結果がソースリージョン外に移動する場合があります。すべてのデータは Amazon の安全なネットワーク経由で暗号化されて送信されます。

  • AWS Amazon Bedrock が提供するサービスも CRIS を使用する場合があります。詳細については、「サービス固有のドキュメント」を参照してください。

クロスリージョン (システム定義) 推論プロファイルを使用する

クロスリージョン推論を使用するには、次の方法でモデル推論を実行するときに推論プロファイルを含めます。

注記

グローバル推論プロファイルは、オンデマンドモデル推論、バッチ推論、エージェント、モデル評価、プロンプト管理、プロンプトフローでサポートされています。

推論プロファイルを使用してリージョン間でモデル呼び出しリクエストを送信する方法については、「」を参照してくださいモデル呼び出しで推論プロファイルを使用する。

クロスリージョン推論の詳細については、「Amazon Bedrock でのクロスリージョン推論の開始方法」を参照してください。