GuardDuty AI Protection の検出結果タイプ

AI Protection を有効にすると、GuardDuty は Amazon Bedrock と Amazon SageMaker AI AWS CloudTrail の管理イベントとデータイベントを分析します。GuardDuty はこのデータを使用して、AI ワークロードをターゲットとする疑わしいアクティビティを検出します。GuardDuty は潜在的な脅威を検出すると、次のいずれかの検出結果タイプを生成します。これらの検出結果Resource typeの は でありAccessKey、検出結果はモデルを呼び出した IAM ID を識別します。

各検出結果には、検出結果の resource オブジェクト内の影響を受ける AI リソースに関する詳細も含まれます。Impact:IAMUser/AnomalousModelInvocation および Impact:IAMUser/CostHarvestingの結果には、呼び出された Amazon Bedrock または Amazon SageMaker AI モデルを識別するresource.modelDetailsリストが含まれます。Impact:IAMUser/PromptInjection.Direct 検出結果には、介入した Amazon Bedrock ガードレールを記述するresource.bedrockGuardrailDetailsオブジェクトが含まれます。これらの詳細は、GuardDuty コンソールまたは検出結果 JSON で表示できます。

Impact:IAMUser/AnomalousModelInvocation および Impact:IAMUser/CostHarvestingの検出結果タイプは、Amazon Bedrock と Amazon SageMaker AI モデルの呼び出しの両方に適用されます。Impact:IAMUser/PromptInjection.Direct 検出結果タイプは、Amazon Bedrock ガードレールを使用する Amazon Bedrock ワークロードに適用されます。

Impact:IAMUser/AnomalousModelInvocation

IAM アイデンティティが、アイデンティティまたはアカウントの確立されたベースラインから逸脱する方法で Amazon Bedrock または Amazon SageMaker AI モデルを呼び出しました。

デフォルトの重大度: [Low] (低

• 機能: AI Protection

この検出結果は、IAM アイデンティティが、アイデンティティまたはアカウントの過去のアクティビティから逸脱する方法で Amazon Bedrock または Amazon SageMaker AI モデルを呼び出したことを知らせるものです。このアクティビティは、脅威アクターが侵害された認証情報を使用してアカウントの基盤モデルにアクセスしていることを示している可能性があります。たとえば、アクターはモデルを調査したり、敵対的な入力を作成したり、自動リクエストを実行したりできます。

GuardDuty は、IAM アイデンティティごとに通常のモデル呼び出しアクティビティのベースラインを確立し、Amazon Bedrock または Amazon SageMaker AI AWS アカウント を呼び出します。GuardDuty は、以下を含む呼び出しアクティビティの特徴をプロファイリングします。

• ID が呼び出したモデル呼び出し API

• ID が呼び出したモデル

• ソース IP アドレスとそれに関連する自律システム番号 (ASN) 組織

• リクエストを行ったユーザーエージェント

GuardDuty は、このベースラインから大幅に逸脱するアクティビティを確認した場合に、この検出結果を生成します。例としては、以前には見えなかった IP アドレス、以前には見えなかったユーザーエージェント、またはアイデンティティが呼び出されたことのないモデルからの呼び出しなどがあります。検出結果には、疑わしいアクティビティに関連するモデルを識別するresource.modelDetailsリストが含まれています。各エントリには、Amazon Bedrock 基盤モデル、推論プロファイル、プロビジョニング済み、カスタム、またはインポートされたモデル ARN、Amazon Bedrock Marketplace エンドポイント、プロンプトリソース、または Amazon SageMaker AI エンドポイント名modelIdを表す が含まれます。

この検出結果は、MITRE ATLAS ウェブサイトの MITRE ATLAS 手法 AML.T0040 - AI Model Inference API Access にマッピングされます。

修復のレコメンデーション

このアクティビティが予期しないものである場合は、認証情報が侵害されている可能性があります。詳細については、「侵害された可能性のある AWS 認証情報の修正」を参照してください。

不正なモデル呼び出しのリスクを軽減するには、モデルを呼び出すことができる ID を制限します。次のモデル呼び出し APIs へのアクセスを、それらを必要とするプリンシパルとモデルのみにスコープします。

• bedrock:InvokeModel

• bedrock:InvokeModelWithResponseStream

• bedrock:Converse

• bedrock:ConverseStream

• bedrock-mantle:CreateInference

• sagemaker:InvokeEndpoint

• sagemaker:InvokeEndpointAsync

• sagemaker:InvokeEndpointWithResponseStream

不要な組織全体でモデル推論を拒否するには、サービスコントロールポリシー (SCP) を使用できます。詳細については、「Amazon Bedrock ユーザーガイド」の「Amazon Bedrock のアイデンティティベースのポリシーの例」およびAmazon SageMaker AI デベロッパーガイド」の「Amazon SageMaker AI アイデンティティベースのポリシーの例」を参照してください。 Amazon SageMaker

Impact:IAMUser/CostHarvesting

IAM アイデンティティが、巨額の従量課金を発生させる攻撃を示す可能性のある異常なトークンボリュームで Amazon Bedrock または Amazon SageMaker AI モデルを呼び出しました。

デフォルトの重大度: [Low] (低

• 機能: AI Protection

この検出結果は、IAM アイデンティティが、アイデンティティまたはアカウントのベースラインから大幅に逸脱する入出力トークンボリュームで Amazon Bedrock または Amazon SageMaker AI モデルを呼び出したことを知らせるものです。巨額の従量課金を発生させる攻撃では、脅威アクターは計算コストの高い入力をモデルに送信して、必ずしもデータを流出させることなく、AI ワークロードの運用コストを暴騰させます。これらの入力には、過度に長いプロンプトや意図的に不正な形式のプロンプトが含まれる場合があります。

GuardDuty は、Amazon Bedrock または Amazon SageMaker AI モデルを呼び出す IAM アイデンティティとアカウントごとに、平均入力トークンボリュームと平均出力トークンボリュームのベースラインを確立します。GuardDuty がこのベースラインを超えるトークン数を持つ呼び出しを観察し、ボリュームの異常を他の異常なシグナルと関連付けると、GuardDuty はこの検出結果を生成します。検出結果は、オブジェクト内の異常なアクティビティを報告します。これにはservice.detection、観測された呼び出しと、ベースラインから逸脱したトークンボリュームが含まれます。また、ターゲットモデルを識別するresource.modelDetailsリストも含まれています。各エントリには、Amazon Bedrock 基盤モデル、推論プロファイル、プロビジョニング済み、カスタム、またはインポートされたモデル ARN、Amazon Bedrock Marketplace エンドポイント、プロンプトリソース、または Amazon SageMaker AI エンドポイント名modelIdを表す が含まれます。

この検出結果は、MITRE ATLAS ウェブサイトの MITRE ATLAS 手法 AML.T0034 - Cost Harvesting にマッピングされます。

修復のレコメンデーション

このアクティビティが関連する ID に対して予期しないものである場合、認証情報が侵害され、AI ワークロードのコストを引き上げるために使用された可能性があります。詳細については、「侵害された可能性のある AWS 認証情報の修正」を参照してください。ID に関連付けられたモデル呼び出しを確認し、次のモデル呼び出し APIs へのアクセスを、それらを必要とするプリンシパルのみにスコープすることで、影響を受けるモデルへのアクセスを制限します。

• bedrock:InvokeModel

• bedrock:InvokeModelWithResponseStream

• bedrock:Converse

• bedrock:ConverseStream

• bedrock-mantle:CreateInference

• sagemaker:InvokeEndpoint

• sagemaker:InvokeEndpointAsync

• sagemaker:InvokeEndpointWithResponseStream

異常な支出を検出して封じ込めるには、予算しきい値を超えたときに制限付き IAM ポリシーを適用する予算アクションやAWS コスト異常検出など、 AWS Budgets を使用できます。Amazon Bedrock のコストを特定のワークロードに帰属させるには、コスト配分タグをアプリケーション推論プロファイルにアタッチします。

Impact:IAMUser/PromptInjection.Direct

Amazon Bedrock Guardrail は、IAM アイデンティティによって行われた呼び出しで直接プロンプトインジェクションの試みを検出しました。

デフォルトの重大度: [Low] (低

• 機能: AI Protection

この検出結果は、アカウントの Amazon Bedrock ワークロード用に設定された Amazon Bedrock Guardrail が直接的なプロンプトインジェクションの試みを検出したことを知らせるものです。直接的なプロンプトインジェクション攻撃では、脅威アクターが基盤モデルへの入力として悪意のあるプロンプトを作成します。プロンプトでは、モデルは元の指示を無視し、代わりに攻撃者の指示に従います。プロンプトインジェクションは、攻撃者に、データの流出、不正なツールの呼び出し、安全コントロールのバイパスなど、AI アプリケーションに対して追加のステップを実行するための初期アクセス権を付与できます。

GuardDuty は、Amazon Bedrock Guardrail が高い信頼度でプロンプト攻撃を検出したために呼び出しに介入したときに、この検出結果を生成します。GuardDuty がプロンプトの直接挿入を検出できるようにするには、プロンプト攻撃コンテンツフィルターを使用して Amazon Bedrock ガードレールを設定します。ガードレールが環境全体の呼び出しを評価するようにするには、個々のアプリケーションに依存して各リクエストにアタッチするのではなく、広く適用します。Amazon Bedrock ポリシーを使用して、アカウント内または組織全体のすべての Amazon Bedrock モデル呼び出しにガードレールを適用できます AWS Organizations。詳細については、「Amazon Bedrock ユーザーガイド」の「Amazon Bedrock ガードレールによるクロスアカウント保護の適用」を参照してください。 ガードレールが呼び出しを評価すると、Amazon Bedrock は評価を AWS CloudTrail データイベントに記録し、GuardDuty はこの結果を分析して生成します。ガードレールが呼び出しの評価時に機密情報フィルターも適用した場合、検出結果には検出された機密情報のタイプに関する詳細が含まれます。

検出結果には、介入したガードレールについて記述する resource.bedrockGuardrailDetails オブジェクトが含まれます。次の表に、このオブジェクトのフィールドを示します。

フィールド	説明
guardrails	呼び出しを評価したガードレールのリスト。各エントリには、Amazon リソースネーム (arn) とガードレールversionの が含まれます。アカウント強制ガードレールと組織強制ガードレールの両方が同じ呼び出しを評価すると、複数のガードレールが表示されることがあります。
guardrailAction	ガードレールが実行したアクション。GuardDuty は、値が の場合にこの結果を生成しますGUARDRAIL_INTERVENED。
guardrailSource	ガードレールが評価したコンテンツ。 INPUTはモデルに送信されたプロンプトを示し、 はモデルからのレスポンスOUTPUTを示します。
contentPolicyFilters	ガードレールが適用したコンテンツポリシーフィルターのリスト。この検出結果タイプでは、エントリの は type PROMPT_ATTACK、 は confidence ですHIGH。は、ガードレールBLOCKEDがコンテンツをブロックNONEした場合、またはガードレールがプロンプト攻撃を検出したが、それを報告するようにのみ設定されている場合、 action です。
sensitiveInformationFilters	機密情報は、呼び出しを評価したときにガードレールが適用したフィルターをフィルタリングします。各エントリには、 AWS_SECRET_KEYや など、ガードレールが検出typeした機密情報の種類を識別する とPASSWORD、ガードレールがコンテンツをブロックBLOCKEDした場合、ガードレールがコンテンツをマスクANONYMIZEDした場合、またはガードレールが検出したがレポートするようにのみ設定NONEした場合actionの があります。検出結果には、検出された情報のタイプが記録されます。コンテンツ自体は記録されません。

この検出結果は、MITRE ATLAS ウェブサイトの MITRE ATLAS 手法 AML.T0051 - LLM Prompt Injection にマッピングされます。

修復のレコメンデーション

ガードレールの介入をトリガーしたプロンプトと、プロンプトを送信した IAM ID を確認します。関連付けられた ID のアクティビティが予期しない場合、認証情報が侵害されている可能性があります。詳細については、「侵害された可能性のある AWS 認証情報の修正」を参照してください。ガードレールがプロンプト攻撃を検出したが、ブロックしなかった場合は、ガードレールがコンテンツをブロックするように、プロンプト攻撃コンテンツフィルターのアクションを Detect ではなく Block に設定することを検討してください。詳細については、「Amazon Bedrock ユーザーガイド」の「Amazon Bedrock ガードレールによって検出された有害なコンテンツを処理するためのオプション」を参照してください。 影響を受ける ID の Amazon Bedrock 呼び出し APIs へのアクセスを制限することもできます。