Ground Truth ラベルを取り込み、予測とマージする

モデル品質モニタリングでは、モデルの予測を正解ラベルと比較し、モデルの品質を測定します。これを機能させるには、エンドポイントでキャプチャされたデータを定期的にラベル付けし、Amazon S3 にアップロードする必要がありますます。

Ground Truth ラベルとキャプチャされた予測データを照合するには、データセット内の各レコードに一意の識別子が必要です。正解データの各レコードの構造は次のとおりです。

{
  "groundTruthData": {
    "data": "1",
    "encoding": "CSV" # only CSV supported at launch, we assume "data" only consists of label
  },
  "eventMetadata": {
    "eventId": "aaaa-bbbb-cccc"
  },
  "eventVersion": "0"
}

groundTruthData の構造において、eventId の値は次のいずれかになります。

• eventId— この ID は、ユーザーがエンドポイントを呼び出すと自動的に生成されます。

• inferenceId— この ID は、呼び出したユーザーがエンドポイントを呼び出すときに指定します。

inferenceId がキャプチャされたデータレコードに存在する場合、Model Monitor はそれを使用してキャプチャされたデータを Ground Truth レコードとマージします。Ground Truth レコードにある inferenceId がキャプチャされたレコードの inferenceId と一致していることを確認する作業はユーザーが行う必要があります。inferenceId がキャプチャされたデータレコードに存在しない場合、Model Monitor はキャプチャされたデータの eventId を使用して Ground Truth レコードと照合します。

Ground Truth データは、キャプチャされたデータと同じパス形式の Amazon S3 バケットにアップロードする必要があります。これは、次の形式です。

s3://bucket/prefix/yyyy/mm/dd/hh

このパスの日付は、Ground Truth ラベルが収集された日付です。推論が生成された日付と一致している必要はありません。

Ground Truth ラベルを作成してアップロードした後、モニタリングジョブを作成するときにそのラベルの場所をパラメータとして含めます。を使用している場合は AWS SDK for Python (Boto3)、Ground Truth ラベルの場所を create_model_quality_job_definitionメソッドの呼び出しの GroundTruthS3Inputパラメータの S3Uriフィールドとして指定して、これを行います。 SageMaker Python SDK を使用している場合は、 ModelQualityMonitor オブジェクトの への呼び出しで Ground Truth ラベルの場所を ground_truth_input パラメータとして指定create_monitoring_scheduleします。