Pianifica i processi di monitoraggio della deviazione del bias

Dopo aver creato la linea di base, puoi chiamare il metodo create_monitoring_schedule() dell'istanza di classe ModelBiasModelMonitor, per pianificare un monitoraggio orario della deviazione del bias. Le sezioni seguenti mostrano come creare un monitoraggio della deviazione del bias per un modello distribuito su un endpoint in tempo reale e per un processo di trasformazione di batch.

Importante

È possibile specificare un input di trasformazione di batch o un input dell'endpoint, ma non entrambi, quando si crea la pianificazione del monitoraggio.

A differenza del monitoraggio della qualità dei dati, è necessario fornire le etichette Ground Truth, se si desidera monitorare la qualità del modello. Tuttavia, le etichette Ground Truth potrebbero subire ritardi. Per risolvere questo problema, specifica gli offset quando crei la pianificazione del monitoraggio. Per ulteriori informazioni su come creare gli offset temporali, consulta Offset di monitoraggio del modello.

Se hai inviato un processo di base, il monitor preleva automaticamente la configurazione di analisi dal processo di base. Se si salta la fase di creazione della linea di base o se il set di dati di acquisizione è di natura diversa dal set di dati di addestramento, è necessario configurare l'analisi.

Monitoraggio della deviazione di bias per modelli distribuiti su endpoint in tempo reale

Per pianificare un monitoraggio della deviazione del bias su un endpoint in tempo reale, passa l'istanza EndpointInput all'argomento endpoint_input dell'istanza ModelBiasModelMonitor, come mostrato nel seguente esempio di codice:

from sagemaker.model_monitor import CronExpressionGenerator
            
model_bias_monitor = ModelBiasModelMonitor(
    role=sagemaker.get_execution_role(),
    ...
)

model_bias_analysis_config = None
if not model_bias_monitor.latest_baselining_job:
    model_bias_analysis_config = BiasAnalysisConfig(
        model_bias_config,
        headers=all_headers,
        label=label_header,
    )

model_bias_monitor.create_monitoring_schedule(
    monitor_schedule_name=schedule_name,
    post_analytics_processor_script=s3_code_postprocessor_uri,
    output_s3_uri=s3_report_path,
    statistics=model_bias_monitor.baseline_statistics(),
    constraints=model_bias_monitor.suggested_constraints(),
    schedule_cron_expression=CronExpressionGenerator.hourly(),
    enable_cloudwatch_metrics=True,
    analysis_config=model_bias_analysis_config,
    endpoint_input=EndpointInput(
        endpoint_name=endpoint_name,
        destination="/opt/ml/processing/input/endpoint",
        start_time_offset="-PT1H",
        end_time_offset="-PT0H",
        probability_threshold_attribute=0.8,
    ),
)

Monitoraggio della deviazione del bias per processi di trasformazione di batch

Per pianificare un monitoraggio della deviazione del bias per un processo di trasformazione di batch, passa l'istanza BatchTransformInput all'argomento batch_transform_input dell'istanza ModelBiasModelMonitor, come mostrato nel seguente esempio di codice:

from sagemaker.model_monitor import CronExpressionGenerator
                
model_bias_monitor = ModelBiasModelMonitor(
    role=sagemaker.get_execution_role(),
    ...
)

model_bias_analysis_config = None
if not model_bias_monitor.latest_baselining_job:
    model_bias_analysis_config = BiasAnalysisConfig(
        model_bias_config,
        headers=all_headers,
        label=label_header,
    )
    
schedule = model_bias_monitor.create_monitoring_schedule(
   monitor_schedule_name=schedule_name,
   post_analytics_processor_script=s3_code_postprocessor_uri,
   output_s3_uri=s3_report_path,
   statistics=model_bias_monitor.baseline_statistics(),
   constraints=model_bias_monitor.suggested_constraints(),
   schedule_cron_expression=CronExpressionGenerator.hourly(),
   enable_cloudwatch_metrics=True,
   analysis_config=model_bias_analysis_config,
   batch_transform_input=BatchTransformInput(
        destination="opt/ml/processing/input",
        data_captured_destination_s3_uri=s3_capture_path,
        start_time_offset="-PT1H",
        end_time_offset="-PT0H",
        probability_threshold_attribute=0.8
   ),
)