Modalità locale

SageMaker La modalità locale di Pipeline è un modo semplice per testare gli script di addestramento, elaborazione e inferenza, nonché la compatibilità in fase di runtime dei parametri della pipeline prima di eseguire la pipeline sul servizio gestito. SageMaker Utilizzando la modalità locale, è possibile testare la SageMaker pipeline localmente utilizzando un set di dati più piccolo. Ciò consente il debug rapido e semplice degli errori negli script utente e nella definizione della pipeline stessa senza costi di utilizzo del servizio gestito.

La modalità locale di Pipelines sfrutta la modalità locale dei SageMaker lavori sotto il cofano. Questa è una funzionalità dell'SDK SageMaker Python che consente di eseguire immagini SageMaker integrate o personalizzate localmente utilizzando contenitori Docker. La modalità locale di Pipelines si basa sulla modalità locale dei SageMaker lavori. Pertanto, ci si può aspettare gli stessi risultati come se si eseguissero quei lavori separatamente. Ad esempio, la modalità locale utilizza ancora Amazon S3 per caricare gli artefatti del modello e gli output di elaborazione. Se desideri che i dati generati dai processi locali risiedano sul disco locale, puoi utilizzare la configurazione indicata nella modalità locale.

La modalità locale pipeline attualmente supporta i seguenti tipi di fasi:

• Fase di addestramento

• Fase di elaborazione

• Fase di trasformazione

• Fase del modello (solo con argomenti Crea modello)

• Fase condizionale

• Fase non riuscita

A differenza del servizio Pipeline gestito che consente l'esecuzione di più fasi in parallelo utilizzando la configurazione del parallelismo, l’executor della pipeline locale esegue le fasi in sequenza. Pertanto, le prestazioni complessive di esecuzione di una pipeline locale potrebbero essere inferiori rispetto a quelle eseguite sul cloud: ciò dipende soprattutto dalle dimensioni del set di dati, dall'algoritmo e dalla potenza del computer locale. Si noti inoltre che le Pipelines eseguite in modalità locale non vengono registrate in SageMaker Experiments.

Nota

La modalità locale di Pipelines non è compatibile con SageMaker algoritmi come XGBoost. Se si desidera utilizzare questi algoritmi, è necessario utilizzarli in modalità script.

Per eseguire una pipeline a livello locale, i campi sagemaker_session associati alle fasi della pipeline e alla pipeline stessa devono essere di tipo LocalPipelineSession. L'esempio seguente mostra come definire una SageMaker pipeline da eseguire localmente.

from sagemaker.workflow.pipeline_context import LocalPipelineSession
from sagemaker.pytorch import PyTorch
from sagemaker.workflow.steps import TrainingStep
from sagemaker.workflow.pipeline import Pipeline

local_pipeline_session = LocalPipelineSession()

pytorch_estimator = PyTorch(
    sagemaker_session=local_pipeline_session,
    role=sagemaker.get_execution_role(),
    instance_type="ml.c5.xlarge",
    instance_count=1,
    framework_version="1.8.0",
    py_version="py36",
    entry_point="./entry_point.py",
)

step = TrainingStep(
    name="MyTrainingStep",
    step_args=pytorch_estimator.fit(
        inputs=TrainingInput(s3_data="s3://my-bucket/my-data/train"),
    )
)

pipeline = Pipeline(
    name="MyPipeline",
    steps=[step],
    sagemaker_session=local_pipeline_session
)

pipeline.create(
    role_arn=sagemaker.get_execution_role(), 
    description="local pipeline example"
)

// pipeline will execute locally
execution = pipeline.start()

steps = execution.list_steps()

training_job_name = steps['PipelineExecutionSteps'][0]['Metadata']['TrainingJob']['Arn']

step_outputs = pipeline_session.sagemaker_client.describe_training_job(TrainingJobName = training_job_name)

Quando siete pronti per eseguire la pipeline sul servizio SageMaker Pipelines gestito, potete farlo sostituendo il frammento di codice precedente con PipelineSession (come illustrato LocalPipelineSession nell'esempio di codice seguente) ed eseguendo nuovamente il codice.

from sagemaker.workflow.pipeline_context import PipelineSession

pipeline_session = PipelineSession()