Ottimizzazione di un modello di Machine Learning.

Questo progetto di esempio dimostra come ottimizzare SageMaker gli iperparametri di un modello di machine learning e trasformare in batch un set di dati di test.

In questo progetto, Step Functions utilizza una funzione Lambda per seminare un bucket Amazon S3 con un set di dati di test. Quindi crea un processo di ottimizzazione degli iperparametri utilizzando l'integrazione del servizio. SageMaker Quindi utilizza una funzione Lambda per estrarre il percorso dei dati, salva il modello di ottimizzazione, estrae il nome del modello e quindi esegue un processo di trasformazione in batch per eseguire l'inferenza. SageMaker

Per ulteriori informazioni sulle SageMaker integrazioni dei servizi Step Functions, consulta quanto segue:

• Utilizzo AWS Step Functions con altri servizi

• Gestisci SageMaker con Step Functions

Nota

Questo progetto di esempio potrebbe comportare costi.

Per i nuovi AWS utenti, è disponibile un livello di utilizzo gratuito. In questo piano, i servizi sono gratuiti al di sotto di un determinato livello di utilizzo. Per ulteriori informazioni sui AWS costi e sul piano gratuito, consulta la sezione SageMakerPrezzi.

Fase 1: Creazione della macchina a stati e fornitura delle risorse

1. Apri la console Step Functions e scegli Crea macchina a stati.

2. Digita Tune a machine learning model nella casella di ricerca, quindi scegli Ottimizza un modello di machine learning dai risultati di ricerca che vengono restituiti.

3. Seleziona Successivo per continuare.

4. Step Functions elenca quelli Servizi AWS utilizzati nel progetto di esempio selezionato. Mostra anche un grafico del flusso di lavoro per il progetto di esempio. Implementa questo progetto sul tuo Account AWS o usalo come punto di partenza per creare i tuoi progetti. In base a come vuoi procedere, scegli Esegui una demo o Sviluppa su di essa.

   Questo progetto di esempio utilizza le seguenti risorse:

   • Tre funzioni AWS Lambda

   • Un bucket Amazon Simple Storage Service (Amazon S3).

   • Una macchina AWS Step Functions statale

   • Ruoli correlati AWS Identity and Access Management (IAM)

   L'immagine seguente mostra il grafico del flusso di lavoro per il progetto di esempio Tune a machine learning model:

   

5. Scegli Usa modello per continuare con la selezione.

6. Esegui una di queste operazioni:

   • Se hai selezionato Build on it, Step Functions crea il prototipo del flusso di lavoro per il progetto di esempio selezionato. Step Functions non distribuisce le risorse elencate nella definizione del flusso di lavoro.

     In Workflow StudioModalità di progettazione, trascina gli stati da e continua Stati del browser a creare il tuo prototipo di flusso di lavoro. Oppure passa a Modalità codice quello che fornisce un editor di codice integrato simile a VS Code per aggiornare la definizione Amazon States Language (ASL) della tua macchina a stati all'interno della console Step Functions. Per ulteriori informazioni sull'utilizzo di Workflow Studio per creare macchine a stati, consultaUtilizzo di Workflow Studio.

     Importante

     Ricordati di aggiornare il segnaposto Amazon Resource Name (ARN) per le risorse utilizzate nel progetto di esempio prima di eseguire il flusso di lavoro.

   • Se hai selezionato Esegui una demo, Step Functions crea un progetto di esempio di sola lettura che utilizza un AWS CloudFormation modello per distribuire le AWS risorse elencate in quel modello sul tuo. Account AWS

     Suggerimento

     Per visualizzare la definizione della macchina a stati del progetto di esempio, scegli Code.

     Quando sei pronto, scegli Distribuisci ed esegui per distribuire il progetto di esempio e creare le risorse.

     La creazione di queste risorse e delle relative autorizzazioni IAM può richiedere fino a 10 minuti. Mentre le risorse vengono distribuite, puoi aprire il link CloudFormation Stack ID per vedere quali risorse vengono fornite.

     Dopo aver creato tutte le risorse del progetto di esempio, puoi vedere il nuovo progetto di esempio elencato nella pagina State machines.

     Importante

     Potrebbero essere applicate tariffe standard per ogni servizio utilizzato nel CloudFormation modello.

Fase 2: Eseguire la macchina a stati

1. Nella pagina Macchine a stati, scegli il tuo progetto di esempio.

2. Nella pagina del progetto di esempio, scegli Avvia esecuzione.

3. Nella finestra di dialogo Avvia esecuzione, effettuate le seguenti operazioni:

   1. (Facoltativo) Per identificare l'esecuzione, potete specificarne un nome nella casella Nome. Per impostazione predefinita, Step Functions genera automaticamente un nome di esecuzione univoco.

      Nota

      Step Functions consente di creare nomi per macchine a stati, esecuzioni e attività ed etichette che contengono caratteri non ASCII. Questi nomi non ASCII non funzionano con Amazon. CloudWatch Per assicurarti di poter tenere traccia delle CloudWatch metriche, scegli un nome che utilizzi solo caratteri ASCII.

   2. (Facoltativo) Nella casella Input, inserisci i valori di input in formato JSON per eseguire il flusso di lavoro.

      Se avete scelto di eseguire una demo, non è necessario fornire alcun input di esecuzione.

      Nota

      Se il progetto demo che hai distribuito contiene dati di input di esecuzione precompilati, usa quell'input per eseguire la macchina a stati.

   3. Selezionare Start execution (Avvia esecuzione).

   4. La console Step Functions ti indirizza a una pagina intitolata con il tuo ID di esecuzione. Questa pagina è nota come pagina dei dettagli di esecuzione. In questa pagina è possibile esaminare i risultati dell'esecuzione man mano che l'esecuzione procede o dopo il suo completamento.

      Per esaminare i risultati dell'esecuzione, scegliete i singoli stati nella vista Grafico, quindi scegliete le singole schede Dettagli del passaggio nel riquadro per visualizzare i dettagli di ogni stato, inclusi rispettivamente input, output e definizione. Per i dettagli sulle informazioni sull'esecuzione che è possibile visualizzare nella pagina Dettagli di esecuzione, vederePagina dei dettagli di esecuzione: panoramica dell'interfaccia.

Esempio di codice della macchina a stati

La macchina a stati di questo progetto di esempio si integra con SageMaker e AWS Lambda passando i parametri direttamente a tali risorse e utilizza un bucket Amazon S3 per l'origine e l'output dei dati di addestramento.

Sfoglia questo esempio di macchina a stati per vedere come Step Functions controlla Lambda e. SageMaker

Per ulteriori informazioni su come AWS Step Functions controllare altri AWS servizi, consultaUtilizzo AWS Step Functions con altri servizi.

{
    "StartAt": "Generate Training Dataset",
    "States": {
        "Generate Training Dataset": {
            "Resource": "arn:aws:lambda:us-west-2:012345678912:function:StepFunctionsSample-SageMa-LambdaForDataGeneration-1TF67BUE5A12U",
            "Type": "Task",
            "Next": "HyperparameterTuning (XGBoost)"
        },
        "HyperparameterTuning (XGBoost)": {
            "Resource": "arn:aws:states:::sagemaker:createHyperParameterTuningJob.sync",
            "Parameters": {
                "HyperParameterTuningJobName.$": "$.body.jobName",
                "HyperParameterTuningJobConfig": {
                    "Strategy": "Bayesian",
                    "HyperParameterTuningJobObjective": {
                        "Type": "Minimize",
                        "MetricName": "validation:rmse"
                    },
                    "ResourceLimits": {
                        "MaxNumberOfTrainingJobs": 2,
                        "MaxParallelTrainingJobs": 2
                    },
                    "ParameterRanges": {
                        "ContinuousParameterRanges": [{
                                "Name": "alpha",
                                "MinValue": "0",
                                "MaxValue": "1000",
                                "ScalingType": "Auto"
                            },
                            {
                                "Name": "gamma",
                                "MinValue": "0",
                                "MaxValue": "5",
                                "ScalingType": "Auto"
                            }
                        ],
                        "IntegerParameterRanges": [{
                                "Name": "max_delta_step",
                                "MinValue": "0",
                                "MaxValue": "10",
                                "ScalingType": "Auto"
                            },
                            {
                                "Name": "max_depth",
                                "MinValue": "0",
                                "MaxValue": "10",
                                "ScalingType": "Auto"
                            }
                        ]
                    }
                },
                "TrainingJobDefinition": {
                    "AlgorithmSpecification": {
                        "TrainingImage": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
                        "TrainingInputMode": "File"
                    },
                    "OutputDataConfig": {
                        "S3OutputPath": "s3://stepfunctionssample-sagemak-bucketformodelanddata-80fblmdlcs9f/models"
                    },
                    "StoppingCondition": {
                        "MaxRuntimeInSeconds": 86400
                    },
                    "ResourceConfig": {
                        "InstanceCount": 1,
                        "InstanceType": "ml.m4.xlarge",
                        "VolumeSizeInGB": 30
                    },
                    "RoleArn": "arn:aws:iam::012345678912:role/StepFunctionsSample-SageM-SageMakerAPIExecutionRol-1MNH1VS5CGGOG",
                    "InputDataConfig": [{
                        "DataSource": {
                            "S3DataSource": {
                                "S3DataDistributionType": "FullyReplicated",
                                "S3DataType": "S3Prefix",
                                "S3Uri": "s3://stepfunctionssample-sagemak-bucketformodelanddata-80fblmdlcs9f/csv/train.csv"
                            }
                        },
                        "ChannelName": "train",
                        "ContentType": "text/csv"
                    },
                    {
                        "DataSource": {
                            "S3DataSource": {
                                "S3DataDistributionType": "FullyReplicated",
                                "S3DataType": "S3Prefix",
                                "S3Uri": "s3://stepfunctionssample-sagemak-bucketformodelanddata-80fblmdlcs9f/csv/validation.csv"
                            }
                        },
                        "ChannelName": "validation",
                        "ContentType": "text/csv"
                    }],
                    "StaticHyperParameters": {
                        "precision_dtype": "float32",
                        "num_round": "2"
                    }
                }
            },
            "Type": "Task",
            "Next": "Extract Model Path"
        },
        "Extract Model Path": {
            "Resource": "arn:aws:lambda:us-west-2:012345678912:function:StepFunctionsSample-SageM-LambdaToExtractModelPath-V0R37CVARUS9",
            "Type": "Task",
            "Next": "HyperparameterTuning - Save Model"
        },
        "HyperparameterTuning - Save Model": {
            "Parameters": {
                "PrimaryContainer": {
                    "Image": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
                    "Environment": {},
                    "ModelDataUrl.$": "$.body.modelDataUrl"
                },
                "ExecutionRoleArn": "arn:aws:iam::012345678912:role/StepFunctionsSample-SageM-SageMakerAPIExecutionRol-1MNH1VS5CGGOG",
                "ModelName.$": "$.body.bestTrainingJobName"
            },
            "Resource": "arn:aws:states:::sagemaker:createModel",
            "Type": "Task",
            "Next": "Extract Model Name"
        },
        "Extract Model Name": {
            "Resource": "arn:aws:lambda:us-west-2:012345678912:function:StepFunctionsSample-SageM-LambdaToExtractModelName-8FUOB30SM5EM",
            "Type": "Task",
            "Next": "Batch transform"
        },
        "Batch transform": {
            "Type": "Task",
            "Resource": "arn:aws:states:::sagemaker:createTransformJob.sync",
            "Parameters": {
                "ModelName.$": "$.body.jobName",
                "TransformInput": {
                    "CompressionType": "None",
                    "ContentType": "text/csv",
                    "DataSource": {
                        "S3DataSource": {
                            "S3DataType": "S3Prefix",
                            "S3Uri": "s3://stepfunctionssample-sagemak-bucketformodelanddata-80fblmdlcs9f/csv/test.csv"
                        }
                    }
                },
                "TransformOutput": {
                    "S3OutputPath": "s3://stepfunctionssample-sagemak-bucketformodelanddata-80fblmdlcs9f/output"
                },
                "TransformResources": {
                    "InstanceCount": 1,
                    "InstanceType": "ml.m4.xlarge"
                },
                "TransformJobName.$": "$.body.jobName"
            },
            "End": true
        }
    }
}

Per informazioni su come configurare IAM quando si utilizza Step Functions con altri AWS servizi, vederePolitiche IAM per servizi integrati.

Esempi IAM

Questi esempi di policy AWS Identity and Access Management (IAM) generati dal progetto di esempio includono il minimo privilegio necessario per eseguire la macchina a stati e le risorse correlate. Ti consigliamo di includere solo le autorizzazioni necessarie nelle tue policy IAM.

La seguente policy IAM è collegata alla macchina a stati e consente all'esecuzione della macchina a stati di accedere alle risorse necessarie SageMaker, Lambda e Amazon S3.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "sagemaker:CreateHyperParameterTuningJob",
                "sagemaker:DescribeHyperParameterTuningJob",
                "sagemaker:StopHyperParameterTuningJob",
                "sagemaker:ListTags",
                "sagemaker:CreateModel",
                "sagemaker:CreateTransformJob",
                "iam:PassRole"
            ],
            "Resource": "*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:us-west-2:012345678912:function:StepFunctionsSample-SageMa-LambdaForDataGeneration-1TF67BUE5A12U",
                "arn:aws:lambda:us-west-2:012345678912:function:StepFunctionsSample-SageM-LambdaToExtractModelPath-V0R37CVARUS9",
                "arn:aws:lambda:us-west-2:012345678912:function:StepFunctionsSample-SageM-LambdaToExtractModelName-8FUOB30SM5EM"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
                "arn:aws:events:*:*:rule/StepFunctionsGetEventsForSageMakerTrainingJobsRule",
                "arn:aws:events:*:*:rule/StepFunctionsGetEventsForSageMakerTransformJobsRule",
                "arn:aws:events:*:*:rule/StepFunctionsGetEventsForSageMakerTuningJobsRule"
            ],
            "Effect": "Allow"
        }
    ]
}

La seguente politica IAM è referenziata nei HyperparameterTuning campi TrainingJobDefinition e dello stato. HyperparameterTuning

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "cloudwatch:PutMetricData",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:CreateLogGroup",
                "logs:DescribeLogStreams",
                "ecr:GetAuthorizationToken",
                "ecr:BatchCheckLayerAvailability",
                "ecr:GetDownloadUrlForLayer",
                "ecr:BatchGetImage",
                "sagemaker:DescribeHyperParameterTuningJob",
                "sagemaker:StopHyperParameterTuningJob",
                "sagemaker:ListTags"
            ],
            "Resource": "*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::stepfunctionssample-sagemak-bucketformodelanddata-80fblmdlcs9f/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": "arn:aws:s3:::stepfunctionssample-sagemak-bucketformodelanddata-80fblmdlcs9f",
            "Effect": "Allow"
        }
    ]
}

La seguente policy IAM consente alla funzione Lambda di seminare il bucket Amazon S3 con dati di esempio.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::stepfunctionssample-sagemak-bucketformodelanddata-80fblmdlcs9f/*",
            "Effect": "Allow"
        }
    ]
}

Per informazioni su come configurare IAM quando si utilizza Step Functions con altri AWS servizi, vederePolitiche IAM per servizi integrati.