バッチ推論を使用して複数のプロンプトを処理する
バッチ推論では、複数のプロンプトを送信し、非同期でレスポンスを生成できます。バッチ推論は、単一のリクエストを送信し Amazon S3 バケットにレスポンスを生成することで、多数のリクエストを効率的に処理するのに役立ちます。作成するファイルでモデル入力を定義したら、ファイルを S3 バケットにアップロードします。次に、バッチ推論リクエストを送信し、S3 バケットを指定します。ジョブが完了したら、S3 から出力ファイルを取得できます。バッチ推論を使用すると、大規模なデータセットでのモデル推論のパフォーマンスを向上させることができます。
注記
バッチ推論は、プロビジョニングされたモデルではサポートされていません。
バッチ推論に関する一般的な情報については、次のリソースを参照してください。
-
バッチ推論の料金については、「Amazon Bedrock の料金
」を参照してください。 -
バッチ推論のクォータを確認するには、「AWS 全般のリファレンス」の「Amazon Bedrock endpoints and quota」を参照してください。
トピック
