Planen Sie Aufträge zur Überwachung von Bias Drift

Nachdem Sie Ihre Baseline erstellt haben, können Sie die create_monitoring_schedule() Methode Ihrer ModelBiasModelMonitor Klasseninstance aufrufen, um einen stündlichen Biasdrift-Monitor zu planen. In den folgenden Abschnitten erfahren Sie, wie Sie einen Bias-Drift-Monitor für ein Modell erstellen, das auf einem Echtzeit-Endpunkt bereitgestellt wird, sowie für einen Batch-Transformationsauftrag.

Wichtig

Sie können bei der Erstellung Ihres Überwachungsplans entweder eine Batch-Transformationseingabe oder eine Endpunkteingabe angeben, jedoch nicht beides.

Im Gegensatz zur Überwachung der Datenqualität müssen Sie Ground-Truth-Labels angeben, wenn Sie die Modellqualität überwachen möchten. Ground-Truth-Labels könnten sich jedoch verzögern. Um dieses Problem zu beheben, geben Sie bei der Erstellung Ihres Überwachungsplans Offsets an. Weitere Informationen zum Erstellen von Zeitversätzen finden Sie unter Modellieren Sie Monitor-Offsets.

Wenn Sie einen Baselining-Auftrag eingereicht haben, übernimmt der Monitor automatisch die Analysekonfiguration aus dem Baselining-Auftrag. Wenn Sie den Baselining-Schritt überspringen oder der Erfassungsdatensatz einen anderen Charakter als der Trainingsdatensatz hat, müssen Sie die Analysekonfiguration angeben.

Überwachung von Verzerrungen bei Modellen, die auf Echtzeit-Endpunkten bereitgestellt werden

Um einen Bias-Drift-Monitor für einen Echtzeit-Endpunkt zu planen, übergeben Sie Ihre EndpointInput Instance an das endpoint_input Argument Ihrer ModelBiasModelMonitor Instance, wie im folgenden Codebeispiel gezeigt:

from sagemaker.model_monitor import CronExpressionGenerator
            
model_bias_monitor = ModelBiasModelMonitor(
    role=sagemaker.get_execution_role(),
    ...
)

model_bias_analysis_config = None
if not model_bias_monitor.latest_baselining_job:
    model_bias_analysis_config = BiasAnalysisConfig(
        model_bias_config,
        headers=all_headers,
        label=label_header,
    )

model_bias_monitor.create_monitoring_schedule(
    monitor_schedule_name=schedule_name,
    post_analytics_processor_script=s3_code_postprocessor_uri,
    output_s3_uri=s3_report_path,
    statistics=model_bias_monitor.baseline_statistics(),
    constraints=model_bias_monitor.suggested_constraints(),
    schedule_cron_expression=CronExpressionGenerator.hourly(),
    enable_cloudwatch_metrics=True,
    analysis_config=model_bias_analysis_config,
    endpoint_input=EndpointInput(
        endpoint_name=endpoint_name,
        destination="/opt/ml/processing/input/endpoint",
        start_time_offset="-PT1H",
        end_time_offset="-PT0H",
        probability_threshold_attribute=0.8,
    ),
)

Überwachung von Verzerrungen bei Batch-Transformationsaufträgen

Um einen Bias-Drift-Monitor für einen Batch-Transformationsauftrag zu planen, übergeben Sie Ihre BatchTransformInput ModelBiasModelMonitor Instance an das batch_transform_input Argument Ihrer Instance, wie im folgenden Codebeispiel gezeigt:

from sagemaker.model_monitor import CronExpressionGenerator
                
model_bias_monitor = ModelBiasModelMonitor(
    role=sagemaker.get_execution_role(),
    ...
)

model_bias_analysis_config = None
if not model_bias_monitor.latest_baselining_job:
    model_bias_analysis_config = BiasAnalysisConfig(
        model_bias_config,
        headers=all_headers,
        label=label_header,
    )
    
schedule = model_bias_monitor.create_monitoring_schedule(
   monitor_schedule_name=schedule_name,
   post_analytics_processor_script=s3_code_postprocessor_uri,
   output_s3_uri=s3_report_path,
   statistics=model_bias_monitor.baseline_statistics(),
   constraints=model_bias_monitor.suggested_constraints(),
   schedule_cron_expression=CronExpressionGenerator.hourly(),
   enable_cloudwatch_metrics=True,
   analysis_config=model_bias_analysis_config,
   batch_transform_input=BatchTransformInput(
        destination="opt/ml/processing/input",
        data_captured_destination_s3_uri=s3_capture_path,
        start_time_offset="-PT1H",
        end_time_offset="-PT0H",
        probability_threshold_attribute=0.8
   ),
)