SageMaker AI Python SDK を使って処理コンテナを実行する

SageMaker Python SDK を使用して、独自の処理イメージを実行できます。次の例は、Amazon Simple Storage Service (Amazon S3) から 1 つ入力し、Amazon S3 に 1 つ出力する、独自の処理コンテナを実行する方法を示しています。

from sagemaker.core.resources import ProcessingJob

processing_job = ProcessingJob.create(
    processing_job_name="my-byoc-processing",
    role_arn=role,
    app_specification={
        "image_uri": '<your_ecr_image_uri>'
    },
    processing_resources={
        "cluster_config": {
            "instance_count": 1,
            "instance_type": "ml.m5.xlarge",
            "volume_size_in_gb": 30
        }
    },
    processing_inputs=[
        {
            "input_name": "input-data",
            "s3_input": {
                "s3_uri": '<s3_uri or local path>',
                "local_path": "/opt/ml/processing/input_data",
                "s3_data_type": "S3Prefix",
                "s3_input_mode": "File"
            }
        }
    ],
    processing_output_config={
        "outputs": [
            {
                "output_name": "processed-data",
                "s3_output": {
                    "s3_uri": '<s3_uri>',
                    "local_path": "/opt/ml/processing/processed_data",
                    "s3_upload_mode": "EndOfJob"
                }
            }
        ]
    }
)

処理コードを処理イメージに組み込む代わりに、実行するイメージとコマンドを含む ScriptProcessor と、コンテナ内で実行するコードを提供することができます。例については、独自の処理コンテナを使用したスクリプトの実行を参照してください。

Amazon SageMaker Processing が提供する scikit-learn イメージを使用して scikit-learn スクリプトを実行することもできます。例については、「scikit-learn で Processing ジョブを実行する」を参照してください。