Konfigurasikan mode input data menggunakan SageMaker Python SDK

SageMaker Python SDK menyediakan kelas Estimator generik dan variasinya untuk kerangka kerja MLuntuk meluncurkan pekerjaan pelatihan. Anda dapat menentukan salah satu mode input data saat mengkonfigurasi SageMaker Estimator kelas atau Estimator.fit metode. Template kode berikut menunjukkan dua cara untuk menentukan mode input.

Untuk menentukan mode input menggunakan kelas Estimator

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://amzn-s3-demo-bucket/my-data/train")
)

Untuk informasi selengkapnya, lihat kelas SageMaker.Estimator.Estimator dalam dokumentasi Python. SageMaker SDK

Untuk menentukan mode input melalui estimator.fit() metode

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://amzn-s3-demo-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

Untuk informasi selengkapnya, lihat metode kelas SageMaker.Estimator.Fit dan sagemaker.inputs. TrainingInputkelas dalam dokumentasi SageMaker Python SDK.

Tip

Untuk mempelajari lebih lanjut tentang cara mengonfigurasi Amazon FSx untuk Lustre atau Amazon EFS dengan VPC konfigurasi Anda menggunakan SDK estimator SageMaker Python, lihat Menggunakan Sistem File sebagai Input Pelatihan dalam dokumentasi Python. SageMaker SDK

Tip

Integrasi mode input data dengan Amazon S3, EFS Amazon, FSx dan untuk Lustre adalah cara yang disarankan untuk mengonfigurasi sumber data secara optimal untuk praktik terbaik. Anda dapat meningkatkan kinerja pemuatan data secara strategis menggunakan opsi penyimpanan SageMaker terkelola dan mode input, tetapi tidak dibatasi secara ketat. Anda dapat menulis logika pembacaan data Anda sendiri langsung di wadah pelatihan Anda. Misalnya, Anda dapat mengatur untuk membaca dari sumber data yang berbeda, menulis kelas pemuat data S3 Anda sendiri, atau menggunakan fungsi pemuatan data kerangka kerja pihak ketiga dalam skrip pelatihan Anda. Namun, Anda harus memastikan bahwa Anda menentukan jalur yang benar yang SageMaker dapat mengenali.

Tip

Jika Anda menggunakan wadah pelatihan khusus, pastikan Anda menginstal toolkit SageMaker pelatihan yang membantu mengatur lingkungan untuk pekerjaan SageMaker pelatihan. Jika tidak, Anda harus menentukan variabel lingkungan secara eksplisit di Dockerfile Anda. Untuk informasi selengkapnya, lihat Membuat wadah dengan algoritme dan model Anda sendiri.

Untuk informasi selengkapnya tentang cara mengatur mode input data menggunakan level rendah SageMaker APIs, lihatBagaimana Amazon SageMaker Menyediakan Informasi Pelatihan, tombol CreateTrainingJobAPI, dan TrainingInputMode di AlgorithmSpecification.