PyTorch Framework Processor

PyTorch è un framework di machine learning open source. PyTorchProcessorIn Amazon SageMaker Python ti SDK offre la possibilità di eseguire processi di elaborazione con PyTorch script. Quando usi ilPyTorchProcessor, puoi sfruttare un contenitore Docker creato da Amazon con un PyTorch ambiente gestito in modo da non dover portare il tuo contenitore.

Il seguente esempio di codice mostra come utilizzare il PyTorchProcessor per eseguire il processo di elaborazione utilizzando un'immagine Docker fornita e gestita da. SageMaker Nota che quando esegui il job, puoi specificare una directory contenente gli script e le dipendenze nell'source_dirargomento e puoi avere un requirements.txt file all'interno della tua source_dir directory che specifica le dipendenze per i tuoi script di elaborazione. SageMaker L'elaborazione installa automaticamente le dipendenze presenti nel requirements.txt contenitore.

Per le PyTorch versioni supportate da SageMaker, consulta le immagini disponibili del Deep Learning Container.

from sagemaker.pytorch.processing import PyTorchProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the PyTorchProcessor
pytorch_processor = PyTorchProcessor(
    framework_version='1.8',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-PT'
)

#Run the processing job
pytorch_processor.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso relativo, assoluto o Amazon S3URI. Tuttavia, se utilizzi Amazon S3URI, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per ulteriori informazioni sulla PyTorchProcessor classe, consulta PyTorch Estimator in Amazon SageMaker Python SDK.