Configurazione di un processo di elaborazione SageMaker Clarify

Per analizzare i dati e i modelli per verificare eventuali distorsioni e spiegabilità utilizzando SageMaker Clarify, è necessario configurare un processo di elaborazione Clarify. SageMaker Questa guida mostra come specificare il nome del set di dati di input, il nome del file di configurazione dell'analisi e la posizione di output per un processo di elaborazione. Per configurare il container di elaborazione, gli input, gli output, le risorse e altri parametri del processo, sono disponibili due opzioni. Puoi utilizzare l' SageMaker CreateProcessingJobAPI o utilizzare l'API SageMaker Python SDK, SageMaker ClarifyProcessor

Per informazioni sui parametri comuni a tutti i processi di elaborazione, consulta Amazon SageMaker API Reference.

Le seguenti istruzioni mostrano come fornire ciascuna parte della configurazione specifica di SageMaker Clarify utilizzando l'CreateProcessingJobAPI.

Inserite l'Uniform Research Identifier (URI) di un'immagine del contenitore SageMaker Clarify all'interno del AppSpecification parametro, come mostrato nel seguente esempio di codice.
```
{
    "ImageUri": "the-clarify-container-image-uri"
}                    
```
Nota
L'URI deve identificare un'immagine del contenitore SageMaker Clarify preconfigurata. ContainerEntrypointe non ContainerArguments sono supportati. Per ulteriori informazioni sulle immagini dei contenitori SageMaker Clarify, Inizia con un contenitore Clarify SageMaker consultate.
Specifica sia la configurazione per l'analisi che i parametri per il set di dati di input all'interno del parametro ProcessingInputs.
1. Specifica la posizione del file di configurazione dell'analisi JSON, che include i parametri per l'analisi dei bias e l'analisi della spiegabilità. Il parametro InputName dell'oggetto ProcessingInput deve essere analysis_config come mostrato nel seguente esempio di codice.
```
{
    "InputName": "analysis_config",
    "S3Input": {
        "S3Uri": "s3://your-bucket/analysis_config.json",
        "S3DataType": "S3Prefix",
        "S3InputMode": "File",
        "LocalPath": "/opt/ml/processing/input/config"
    }
}
```
  Per ulteriori informazioni sullo schema del file di configurazione dell'analisi, vedeteConfigurazione dell'analisi.
2. Specifica la posizione del set di dati di input. Il parametro InputName dell'oggetto ProcessingInput deve essere dataset. Questo parametro è facoltativo se hai fornito "dataset_uri" nel file di configurazione dell'analisi. Nella configurazione S3Input sono richiesti i seguenti valori.
  1. S3Uri può essere un oggetto Amazon S3 o un prefisso S3.
  2. S3InputMode deve essere di tipo File.
  3. S3CompressionType deve essere di tipo None (il valore predefinito).
  4. S3DataDistributionType deve essere di tipo FullyReplicated (il valore predefinito).
  5. S3DataType può essere S3Prefix o ManifestFile. Per utilizzarloManifestFile, il S3Uri parametro deve specificare la posizione di un file manifest che segue lo schema riportato nella sezione di riferimento SageMaker API S3Uri. Questo file manifest deve elencare gli oggetti S3 che contengono i dati di input per il processo.
  Il codice seguente mostra un esempio di configurazione di input.
```
{
    "InputName": "dataset",
    "S3Input": {
        "S3Uri": "s3://your-bucket/your-dataset.csv",
        "S3DataType": "S3Prefix",
        "S3InputMode": "File",
        "LocalPath": "/opt/ml/processing/input/data"
    }
}
```
Specifica la configurazione per l'output del processo di elaborazione all'interno del parametro ProcessingOutputConfig. Nella configurazione Outputs è richiesto un singolo oggetto ProcessingOutput. Per la configurazione di output sono richiesti i seguenti elementi:
1. OutputName deve essere analysis_result.
2. S3Uri deve essere un prefisso S3 per la posizione di output.
3. S3UploadMode deve essere impostato su EndOfJob.
Il seguente codice mostra un esempio di configurazione di output.
```
{
    "Outputs": [{ 
        "OutputName": "analysis_result",
        "S3Output": { 
            "S3Uri": "s3://your-bucket/result/",
            "S3UploadMode": "EndOfJob",
            "LocalPath": "/opt/ml/processing/output"
         }
     }]
}                
```
Specifica la configurazione ClusterConfig per le risorse utilizzate nel processo di elaborazione all'interno del parametro ProcessingResources. I seguenti parametri sono obbligatori all'interno dell'oggetto ClusterConfig.
1. InstanceCount specifica il numero di istanze di calcolo nel cluster che esegue il processo di elaborazione. Per attivare l'elaborazione distribuita, specifica un valore maggiore di 1.
2. InstanceType si riferisce alle risorse che eseguono il processo di elaborazione. Poiché l'analisi SageMaker SHAP richiede molte risorse di calcolo, l'utilizzo di un tipo di istanza ottimizzato per il calcolo dovrebbe migliorare il tempo di esecuzione dell'analisi. Il processo di elaborazione SageMaker Clarify non utilizza GPU.
Il seguente codice mostra un esempio di configurazione delle risorse.
```
{
    "ClusterConfig": {
         "InstanceCount": 1,
         "InstanceType": "ml.m5.xlarge",
         "VolumeSizeInGB": 20
     }
}
```
Specifica la configurazione della rete utilizzata nel processo di elaborazione all'interno dell'oggetto NetworkConfig. Nella configurazione sono richiesti i seguenti valori.
1. EnableNetworkIsolationdeve essere impostato su False (impostazione predefinita) in modo che SageMaker Clarify possa richiamare un endpoint, se necessario, per le previsioni.
2. Se il modello o l'endpoint che hai fornito al job SageMaker Clarify si trova all'interno di un Amazon Virtual Private Cloud (Amazon VPC), anche il job SageMaker Clarify deve trovarsi nello stesso VPC. Specificare il VPC utilizzando. VpcConfig Inoltre, il VPC deve disporre di endpoint per un bucket, un servizio e un servizio Runtime di Amazon S3. SageMaker SageMaker
  
  Se è attivata l'elaborazione distribuita, è necessario consentire anche la comunicazione tra diverse istanze nello stesso processo di elaborazione. Configura una regola per il gruppo di sicurezza che consente connessioni in entrata tra i membri dello stesso gruppo di sicurezza. Per ulteriori informazioni, consulta Offri ad Amazon SageMaker Clarify Jobs l'accesso alle risorse nel tuo Amazon VPC.
Il codice seguente mostra un esempio di configurazione della rete.
```
{
    "EnableNetworkIsolation": False,
    "VpcConfig": {
        ...
    }
}              
```
Imposta il tempo massimo di esecuzione del processo utilizzando il parametro StoppingCondition. Il periodo massimo di esecuzione di un job di SageMaker Clarify è di giorni o secondi. 7 604800 Se il lavoro non può essere completato entro questo limite di tempo, verrà interrotto e non verranno forniti risultati di analisi. Ad esempio, la configurazione seguente limita il tempo massimo di esecuzione del processo a 3600 secondi.
```
{
    "MaxRuntimeInSeconds": 3600
}
```

Specifica un ruolo IAM per il parametro RoleArn. Il ruolo deve avere un rapporto di fiducia con Amazon SageMaker. Può essere utilizzato per eseguire le operazioni SageMaker API elencate nella tabella seguente. Ti consigliamo di utilizzare la policy SageMakerFullAccess gestita da Amazon, che garantisce l'accesso completo a SageMaker. Per ulteriori informazioni su questa politica, consultaAWS politica gestita: AmazonSageMakerFullAccess. Se hai dubbi sulla concessione dell'accesso completo, le autorizzazioni minime richieste dipendono dall'eventuale fornitura di un modello o un nome di endpoint. L'utilizzo di un nome di endpoint consente di concedere meno autorizzazioni a. SageMaker

La tabella seguente contiene le operazioni API utilizzate dal processo di elaborazione di SageMaker Clarify. X in Nome modello e Nome endpoint indica l'operazione API richiesta per ogni input.

Operazione API	Nome modello	Nome endpoint	Finalità d'utilizzo
ListTags	X		I tag del processo vengono applicati all'endpoint shadow.
CreateEndpointConfig	X		Crea la configurazione dell'endpoint utilizzando il nome del modello che hai fornito
CreateEndpoint	X		Crea un endpoint shadow usando la configurazione dell'endpoint.
DescribeEndpoint	X	X	Descrivi l'endpoint per il suo stato, l'endpoint deve servire InService le richieste.
InvokeEndpoint	X	X	Consente di invocare l'endpoint per le previsioni.

Per ulteriori informazioni sulle autorizzazioni richieste, consultare Autorizzazioni Amazon SageMaker API: riferimento ad azioni, autorizzazioni e risorse.

Per ulteriori informazioni sul passaggio di ruoli a SageMaker, consulta. Passaggio dei ruoli

Dopo aver creato le singole parti della configurazione del processo di elaborazione, combinale per configurare il processo.

Il seguente esempio di codice mostra come avviare un processo di elaborazione SageMaker Clarify utilizzando l'AWS SDK per Python.


sagemaker_client.create_processing_job(
    ProcessingJobName="your-clarify-job-name",
    AppSpecification={
        "ImageUri": "the-clarify-container-image-uri",
    },
    ProcessingInputs=[{
            "InputName": "analysis_config",
            "S3Input": {
                "S3Uri": "s3://your-bucket/analysis_config.json",
                "S3DataType": "S3Prefix",
                "S3InputMode": "File",
                "LocalPath": "/opt/ml/processing/input/config",
            },
        }, {
            "InputName": "dataset",
            "S3Input": {
                "S3Uri": "s3://your-bucket/your-dataset.csv",
                "S3DataType": "S3Prefix",
                "S3InputMode": "File",
                "LocalPath": "/opt/ml/processing/input/data",
            },
        },
    ],
    ProcessingOutputConfig={
        "Outputs": [{ 
            "OutputName": "analysis_result",
            "S3Output": { 
               "S3Uri": "s3://your-bucket/result/",
               "S3UploadMode": "EndOfJob",
               "LocalPath": "/opt/ml/processing/output",
            },   
        }],
    },
    ProcessingResources={
        "ClusterConfig": {
            "InstanceCount": 1,
            "InstanceType": "ml.m5.xlarge",
            "VolumeSizeInGB": 20,
        },
    },
    NetworkConfig={
        "EnableNetworkIsolation": False,
        "VpcConfig": {
            ...
        },
    },
    StoppingCondition={
        "MaxRuntimeInSeconds": 3600,
    },
    RoleArn="arn:aws:iam::<your-account-id>:role/service-role/AmazonSageMaker-ExecutionRole",
)

Per un notebook di esempio con istruzioni per eseguire un processo di elaborazione SageMaker Clarify utilizzando AWS SDK per Python, consulta Fairness and Explainability with Clarify using SDK for Python. SageMaker AWS Qualsiasi bucket S3 utilizzato nel notebook deve trovarsi nella stessa regione dell'istanza del notebook che vi accede. AWS

È inoltre possibile configurare un processo di elaborazione SageMaker Clarify utilizzando l'SageMaker ClarifyProcessorAPI SageMaker Python SDK. Per ulteriori informazioni, consulta Esegui SageMaker Clarify Processing Jobs per l'analisi e la spiegabilità dei pregiudizi.

Argomenti

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Spiega e rileva i pregiudizi

Inizia: SageMaker Clarify Containers

Configurazione di un processo di elaborazione SageMaker Clarify

Nota

Argomenti