TensorFlow Framework-Prozessor

TensorFlow ist eine Open-Source-Bibliothek für maschinelles Lernen und künstliche Intelligenz. Das TensorFlowProcessor in Amazon SageMaker Python enthaltene Python SDK bietet Ihnen die Möglichkeit, Verarbeitungsjobs mit TensorFlow Skripten auszuführen. Wenn Sie den verwendenTensorFlowProcessor, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten TensorFlow Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen.

Das folgende Codebeispiel zeigt, wie Sie den verwenden können, TensorFlowProcessor um Ihren Processing-Job mithilfe eines Docker-Images auszuführen, das von bereitgestellt und verwaltet wird. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im source_dir Argument angeben können und dass sich in Ihrem source_dir Verzeichnis eine requirements.txt Datei befinden kann, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten für Sie requirements.txt im Container installiert.

from sagemaker.tensorflow import TensorFlowProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the TensorFlowProcessor
tp = TensorFlowProcessor(
    framework_version='2.3',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-TF',
    py_version='py37'
)

#Run the processing job
tp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data'
        ),
        ProcessingInput(
            input_name='model',
            source=f's3://{BUCKET}/{S3_PATH_TO_MODEL}',
            destination='/opt/ml/processing/input/model'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='predictions',
            source='/opt/ml/processing/output',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Wenn Sie eine requirements.txt Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für source_dir kann ein relativer, absoluter oder Amazon URI S3-Pfad sein. Wenn Sie jedoch ein Amazon S3 verwendenURI, muss es auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für source_dir angeben. Weitere Informationen zu dieser TensorFlowProcessor Klasse finden Sie unter TensorFlow Estimator in Amazon SageMaker Python SDK.