TensorFlow フレームワークプロセッサ

TensorFlow は、オープンソースの機械学習と人工知能のライブラリです。Amazon SageMaker Python TensorFlowProcessorの SDK には、 TensorFlow スクリプトを使用して処理ジョブを実行する機能があります。を使用する場合TensorFlowProcessor、Amazon で構築された Docker コンテナをマネージド TensorFlow 環境で活用できるため、独自のコンテナを持ち込む必要はありません。

次のコード例は、 を使用してTensorFlowProcessor、 によって提供および維持されている Docker イメージを使用して処理ジョブを実行する方法を示しています SageMaker。ジョブを実行するときは、 source_dir引数にスクリプトと依存関係を含むディレクトリを指定でき、処理スクリプトの依存関係を指定するrequirements.txtファイルをsource_dirディレクトリ内に配置できます (複数可）。 SageMaker 処理すると、依存関係がコンテナrequirements.txtにインストールされます。

from sagemaker.tensorflow import TensorFlowProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the TensorFlowProcessor
tp = TensorFlowProcessor(
    framework_version='2.3',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-TF',
    py_version='py37'
)

#Run the processing job
tp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data'
        ),
        ProcessingInput(
            input_name='model',
            source=f's3://{BUCKET}/{S3_PATH_TO_MODEL}',
            destination='/opt/ml/processing/input/model'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='predictions',
            source='/opt/ml/processing/output',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

requirements.txt ファイルがある場合、コンテナにインストールするライブラリのリストである必要があります。のパスは、相対パス、絶対パス、または Amazon S3 URIパスsource_dirにすることができます。ただし、Amazon S3 を使用する場合はURI、tar.gz ファイルを指す必要があります。source_dir に指定したディレクトリには複数のスクリプトを入れることができます。TensorFlowProcessor クラスの詳細については、Amazon SageMaker Python SDKのTensorFlow 「推定器」を参照してください。