モデル推論を高速化するためのプロンプトキャッシュ - Amazon Bedrock
仕組みサポートされているモデル、リージョン、制限入門

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデル推論を高速化するためのプロンプトキャッシュ

注記

Amazon Bedrock プロンプトキャッシュは、Claude 3.7 Sonnet、Claude 3.5 Haiku、、Amazon Nova Micro、Amazon Nova LiteAmazon Nova Pro、および で一般利用可能ですAmazon Nova Premier。プロンプトキャッシュプレビュー中に Claude 3.5 Sonnet v2 へのアクセスを許可されたお客様はアクセスを保持しますが、Claude 3.5 Sonnet v2 モデルでプロンプトキャッシュへのアクセスは許可されません。

プロンプトキャッシュは、Amazon Bedrock でサポートされているモデルで使用できるオプションの機能であり、推論レスポンスのレイテンシーと入力トークンのコストを削減できます。コンテキストの一部をキャッシュに追加することで、モデルはキャッシュを活用して入力の再計算をスキップできるため、Bedrock はコンピューティングの節約を共有し、レスポンスのレイテンシーを短縮できます。

プロンプトキャッシュは、複数のクエリで頻繁に再利用されるコンテキストが長く繰り返されるワークロードがある場合に役立ちます。たとえば、ユーザーがドキュメントをアップロードして質問できるチャットボットがある場合、ユーザーが入力するたびにモデルがドキュメントを処理するのに時間がかかることがあります。プロンプトキャッシュを使用すると、ドキュメントをキャッシュできるため、ドキュメントを含む今後のクエリで再処理する必要はありません。

プロンプトキャッシュを使用する場合、キャッシュから読み取られたトークンに対して割引料金で課金されます。モデルによっては、キャッシュに書き込まれたトークンは、キャッシュされていない入力トークンよりも高いレートで課金される場合があります。キャッシュとの間で読み書きされないトークンは、そのモデルの標準入力トークンレートで課金されます。詳細については、「Amazon Bedrock の料金ページ」を参照してください。

仕組み

プロンプトキャッシュを使用することを選択した場合、Amazon Bedrock はキャッシュチェックポイントで構成されるキャッシュを作成します。これらは、キャッシュするプロンプトの連続するサブセクションを定義するマーカーです (多くの場合、プロンプトプレフィックスと呼ばれます）。これらのプロンプトプレフィックスはリクエスト間で静的である必要があります。後続のリクエストでプロンプトプレフィックスを変更すると、キャッシュミスが発生します。

キャッシュチェックポイントには、使用している特定のモデルに応じて、トークンの最小数と最大数があります。キャッシュチェックポイントは、合計プロンプトプレフィックスがトークンの最小数を満たしている場合にのみ作成できます。たとえば、Anthropic Claude 3.7 Sonnet モデルでは、キャッシュチェックポイントごとに少なくとも 1,024 トークンが必要です。つまり、最初のキャッシュチェックポイントは 1,024 トークンの後に定義でき、2 番目のキャッシュチェックポイントは 2,048 トークンの後に定義できます。トークンの最小数を満たす前にキャッシュチェックポイントを追加しようとすると、推論は成功しますが、プレフィックスはキャッシュされません。キャッシュには 5 分の有効期限 (TTL) があり、キャッシュヒットが成功するたびにリセットされます。この期間中、キャッシュ内のコンテキストは保持されます。TTL ウィンドウ内でキャッシュヒットが発生しない場合、キャッシュは期限切れになります。

プロンプトキャッシュは、サポートされているモデルの Amazon Bedrock でモデル推論を取得するたびに使用できます。プロンプトキャッシュは、次の Amazon Bedrock 機能でサポートされています。

Converse API と ConverseStream APIs

プロンプトでキャッシュチェックポイントを指定するモデルと会話を続けることができます。

InvokeModel API と InvokeModelWithResponseStream APIs

プロンプトキャッシュを有効にしてキャッシュチェックポイントを指定する単一のプロンプトリクエストを送信できます。

クロスリージョン推論を使用したプロンプトキャッシュ

プロンプトキャッシュは、クロスリージョン推論と組み合わせて使用できます。クロスリージョン推論は、推論リクエストを処理するために地域内の最適な AWS リージョンを自動的に選択し、利用可能なリソースとモデルの可用性を最大化します。需要が高い場合、これらの最適化によりキャッシュ書き込みが増加する可能性があります。

Amazon Bedrock プロンプト管理

プロンプトを作成または変更するときに、プロンプトキャッシュを有効にするように選択できます。モデルに応じて、システムプロンプト、システム手順、メッセージ (ユーザーとアシスタント) をキャッシュできます。プロンプトキャッシュを無効にすることもできます。

APIs を使用すると、プロンプトキャッシュを最も柔軟かつきめ細かく制御できます。プロンプト内で個々のキャッシュチェックポイントを設定できます。キャッシュに追加するには、特定のモデルで許可されるキャッシュチェックポイントの最大数まで、キャッシュチェックポイントをさらに作成します。詳細については、「サポートされているモデル、リージョン、制限」を参照してください。

サポートされているモデル、リージョン、制限

次の表に、サポートされているモデルとそのトークンの最小値、キャッシュチェックポイントの最大数、キャッシュチェックポイントを許可するフィールドを示します。

モデル名 モデル ID リリースタイプ キャッシュチェックポイントあたりのトークンの最小数 リクエストあたりのキャッシュチェックポイントの最大数 プロンプトキャッシュチェックポイントを受け入れるフィールド

Claude 3 Opus 4.1

anthropic.claude-opus-4-1-20250805-v1:0

一般提供

1,024

4

「system」、「messages」、「tools」

Claude Opus 4

anthropic.claude-opus-4-20250514-v1:0

一般提供

1,024

4

「system」、「messages」、「tools」

Claude Sonnet 4

anthropic.claude-sonnet-4-20250514-v1:0

一般提供

1,024

4

「system」、「messages」、「tools」

Claude 3.7 Sonnet

anthropic.claude-3-7-sonnet-20250219-v1:0

一般提供

1,024

4

「system」、「messages」、「tools」

Claude 3.5 Haiku

anthropic.claude-3-5-haiku-20241022-v1:0

一般提供

2,048

4

「system」、「messages」、「tools」

Claude 3.5 Sonnet v2

anthropic.claude-3-5-sonnet-20241022-v2:0

プレビュー

1,024

4

「system」、「messages」、「tools」

Amazon Nova Micro

amazon.nova-micro-v1:0

一般提供

1K1

4

「system」と「messages」

Amazon Nova Lite

amazon.nova-lite-v1:0

一般提供

1K1

4

「system」と「messages」2

Amazon Nova Pro

amazon.nova-pro-v1:0

一般提供

1K1

4

「system」と「messages」2

Amazon Nova Premier

amazon.nova-premier-v1:0

一般提供

1K1

4

「system」と「messages」2

1: Amazon Novaモデルは、プロンプトキャッシュ用に最大 20K トークンをサポートします。

2: プロンプトキャッシュは主にテキストプロンプト用です。

Amazon Nova には、 Userおよび System メッセージを含むすべてのテキストプロンプトの自動プロンプトキャッシュが用意されています。このメカニズムは、明示的な設定がない場合でも、プロンプトが反復的な部分で始まる場合にレイテンシーの利点を提供します。ただし、コスト削減を実現し、より一貫したパフォーマンス上の利点を確保するために、明示的なプロンプトキャッシュにオプトインすることをお勧めします。

入門

以下のセクションでは、Amazon Bedrock を介してモデルを操作する各メソッドでプロンプトキャッシュ機能を使用する方法の概要を示します。

Converse API には、複数ターンの会話でプロンプトキャッシュを実装するための高度で柔軟なオプションが用意されています。各モデルのプロンプト要件の詳細については、前のセクション を参照してくださいサポートされているモデル、リージョン、制限。

リクエストの例

次の例は、ConverseAPI へのリクエストの messages、system、または toolsフィールドに設定されたキャッシュチェックポイントを示しています。特定のリクエストについて、これらの場所のいずれかにチェックポイントを配置できます。例えば、Claude 3.5 Sonnet v2 モデルにリクエストを送信する場合、2 つのキャッシュチェックポイントを にmessages、1 つのキャッシュチェックポイントを にsystem、もう 1 つのキャッシュチェックポイントを に配置することができますtools。Converse API リクエストの構造化と送信の詳細については、「」を参照してくださいConverse API オペレーションとの会話を実行する。

messages checkpoints

この例では、最初のimageフィールドはモデルにイメージを提供し、2 番目のtextフィールドはモデルにイメージの分析を求めます。content オブジェクトcachePointの の前にあるトークンの数がモデルの最小トークン数を満たす限り、キャッシュチェックポイントが作成されます。

...
"messages": [
   {
        "role": "user",
        "content": [
            {
                "image": {
                    "bytes": "asfb14tscve..."
                }
            },
            {
                "text": "What's in this image?"
            },
            {
                "cachePoint": {
                    "type": "default"
                }
            }
      ]
  }
]
...
system checkpoints

この例では、 textフィールドにシステムプロンプトを指定します。さらに、システムプロンプトをキャッシュするcachePointフィールドを追加できます。

...
  "system": [ 
    {
        "text": "You are an app that creates play lists for a radio station that plays rock and pop music. Only return song names and the artist. "
    },
    {
        "cachePoint": {
            "type": "default"
        }
    }
  ],
...
tools checkpoints

この例では、 toolSpecフィールドにツール定義を指定します。（または、以前に定義したツールを呼び出すこともできます。 詳細については、「」を参照してくださいConverse API を使用してツールを呼び出す。） その後、ツールをキャッシュするcachePointフィールドを追加できます。

...
toolConfig={
    "tools": [
        {
            "toolSpec": {
                "name": "top_song",
                "description": "Get the most popular song played on a radio station.",
                "inputSchema": {
                    "json": {
                        "type": "object",
                        "properties": {
                            "sign": {
                                "type": "string",
                                "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
                            }
                        },
                        "required": [
                            "sign"
                        ]
                    }
                }
            }
        },
        {
                "cachePoint": {
                    "type": "default"
                }
        }
    ]
}
...

Converse API からのモデルレスポンスには、プロンプトキャッシュに固有の 2 つの新しいフィールドが含まれています。CacheReadInputTokens と のCacheWriteInputTokens値は、キャッシュから読み取られたトークンの数と、以前のリクエストのためにキャッシュに書き込まれたトークンの数を示します。これらは、Amazon Bedrock によって課金される値で、完全なモデル推論のコストよりも低いレートです。

InvokeModel API を呼び出すと、プロンプトキャッシュがデフォルトで有効になります。Converse API の前の例と同様に、キャッシュチェックポイントはリクエスト本文の任意の時点で設定できます。

Anthropic Claude

次の例は、AnthropicClaude 3.5 Sonnetv2 モデルの InvokeModel リクエストの本文を構築する方法を示しています。InvokeModel リクエストの本文の正確な形式とフィールドは、選択したモデルによって異なる場合があります。さまざまなモデルのリクエスト本文とレスポンス本文の形式と内容を確認するには、「」を参照してくださいInference request parameters and response fields for foundation models。

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}
Amazon Nova

次の例は、Amazon Novaモデルの InvokeModel リクエストの本文を構築する方法を示しています。InvokeModel リクエストの本文の正確な形式とフィールドは、選択したモデルによって異なる場合があります。さまざまなモデルのリクエスト本文とレスポンス本文の形式と内容を確認するには、「」を参照してくださいInference request parameters and response fields for foundation models。

{
    "system": [{
        "text": "Reply Concisely"
    }],
    "messages": [{
        "role": "user",
        "content": [{
            "text": "Describe the best way to learn programming"
        },
        {
            "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
            "cachePoint": {
                "type": "default"
            }
        }]
    }],
    "inferenceConfig": {
        "maxTokens": 300,
        "topP": 0.1,
        "topK": 20,
        "temperature": 0.3
    }
}

InvokeModel リクエストの送信の詳細については、「」を参照してくださいInvokeModel で 1 つのプロンプトを送信する。

Amazon Bedrock コンソールのチャットプレイグラウンドで、プロンプトキャッシュオプションを有効にすると、Amazon Bedrock が自動的にキャッシュチェックポイントを作成します。

Amazon Bedrock プレイグラウンドでプロンプトを開始するGenerate responses in the console using playgroundsには、「」の手順に従います。サポートされているモデルでは、プレイグラウンドでプロンプトキャッシュが自動的にオンになります。ただし、そうでない場合は、次の手順を実行してプロンプトキャッシュを有効にします。

  1. 左側のパネルで、設定メニューを開きます。

  2. プロンプトキャッシュの切り替えをオンにします。

  3. プロンプトを実行します。

入力レスポンスとモデルレスポンスの組み合わせがチェックポイントに必要なトークンの最小数 (モデルによって異なります) に達すると、Amazon Bedrock は最初のキャッシュチェックポイントを自動的に作成します。チャットを続けると、トークンの最小数に達するたびに、モデルで許可されるチェックポイントの最大数まで、新しいチェックポイントが作成されます。次のスクリーンショットに示すように、プロンプトキャッシュトグルの横にあるキャッシュチェックポイントの表示を選択すると、キャッシュチェックポイントをいつでも表示できます。

Amazon Bedrock テキストプレイグラウンドでのプロンプトキャッシュの UI トグル。

プレイグラウンドレスポンスでキャッシュメトリクスポップアップ ( The metrics icon shown in model responses when prompt caching is enabled. ) を表示することで、モデルとのやり取りによってキャッシュとの間で読み書きされているトークンの数を表示できます。

キャッシュとの間で読み書きされたトークンの数を示すキャッシュメトリクスボックス。

会話の途中でプロンプトキャッシュの切り替えをオフにすると、モデルとのチャットを続行できます。