Konfigurasikan saluran input data untuk menggunakan Amazon FSx untuk Lustre

Pelajari cara menggunakan Amazon FSx for Lustre sebagai sumber data Anda untuk throughput yang lebih tinggi dan pelatihan yang lebih cepat dengan mengurangi waktu pemuatan data.

catatan

Saat Anda menggunakan instance berkemampuan EFA seperti P4d dan P3dn, pastikan Anda menetapkan aturan masuk dan output yang sesuai di grup keamanan. Khususnya, membuka port ini diperlukan bagi SageMaker AI untuk mengakses sistem FSx file Amazon dalam pekerjaan pelatihan. Untuk mempelajari selengkapnya, lihat Kontrol Akses Sistem File dengan Amazon VPC.

Sinkronkan Amazon S3 dan Amazon FSx untuk Lustre

Untuk menautkan Amazon S3 Anda ke Amazon FSx untuk Lustre dan mengunggah kumpulan data pelatihan Anda, lakukan hal berikut.

1. Siapkan kumpulan data Anda dan unggah ke bucket Amazon S3. Misalnya, asumsikan bahwa jalur Amazon S3 untuk kumpulan data kereta api dan kumpulan data pengujian dalam format berikut.

   s3://amzn-s3-demo-bucket/data/train
   s3://amzn-s3-demo-bucket/data/test

2. FSx Untuk membuat sistem file Lustre yang ditautkan dengan bucket Amazon S3 dengan data pelatihan, ikuti langkah-langkah di Menautkan sistem file Anda ke bucket Amazon S3 di Panduan Pengguna Amazon for Lustre. FSx Pastikan Anda menambahkan titik akhir ke VPC yang memungkinkan akses Amazon S3. Untuk informasi selengkapnya, lihat Buat Endpoint VPC Amazon S3. Saat Anda menentukan jalur repositori Data, berikan URI bucket Amazon S3 dari folder yang berisi kumpulan data Anda. Misalnya, berdasarkan contoh jalur S3 di langkah 1, jalur repositori data harus sebagai berikut.

   s3://amzn-s3-demo-bucket/data

3. Setelah sistem file FSx for Lustre dibuat, periksa informasi konfigurasi dengan menjalankan perintah berikut.

   aws fsx describe-file-systems && \
   aws fsx describe-data-repository-association

   Perintah-perintah ini kembali FileSystemIdMountName,FileSystemPath,, danDataRepositoryPath. Misalnya, outputnya akan terlihat seperti berikut ini.

   # Output of aws fsx describe-file-systems
   "FileSystemId": "fs-0123456789abcdef0"
   "MountName": "1234abcd"
   
   # Output of aws fsx describe-data-repository-association
   "FileSystemPath": "/ns1",
   "DataRepositoryPath": "s3://amzn-s3-demo-bucket/data/"

   Setelah sinkronisasi antara Amazon S3 dan Amazon FSx selesai, kumpulan data Anda disimpan di Amazon FSx di direktori berikut.

   /ns1/train  # synced with s3://amzn-s3-demo-bucket/data/train
   /ns1/test   # synced with s3://amzn-s3-demo-bucket/data/test

Atur jalur sistem FSx file Amazon sebagai saluran input data untuk SageMaker pelatihan

Prosedur berikut memandu Anda melalui proses pengaturan sistem FSx file Amazon sebagai sumber data untuk pekerjaan SageMaker pelatihan.

Using the SageMaker Python SDK

Untuk mengatur sistem FSx file Amazon dengan benar sebagai sumber data, konfigurasikan kelas estimator SageMaker AI dan FileSystemInput gunakan instruksi berikut.

1. Konfigurasikan objek FileSystemInput kelas.

   from sagemaker.inputs import FileSystemInput
   
   train_fs = FileSystemInput(
       file_system_id="fs-0123456789abcdef0",
       file_system_type="FSxLustre",
       directory_path="/1234abcd/ns1/",
       file_system_access_mode="ro",
   )

   Tip

   Saat Anda menentukandirectory_path, pastikan Anda menyediakan jalur sistem FSx file Amazon yang dimulai denganMountName.

2. Konfigurasikan estimator SageMaker AI dengan konfigurasi VPC yang digunakan untuk sistem file FSx Amazon.

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       role="your-iam-role-with-access-to-your-fsx",
       subnets=["subnet-id"],  # Should be the same as the subnet used for Amazon FSx
       security_group_ids="security-group-id"
   )

   Pastikan bahwa peran IAM untuk pekerjaan SageMaker pelatihan memiliki izin untuk mengakses dan membaca dari Amazon. FSx

3. Luncurkan pekerjaan pelatihan dengan menjalankan metode estimator.fit dengan sistem file Amazon FSx.

   estimator.fit(train_fs)

Untuk menemukan lebih banyak contoh kode, lihat Menggunakan Sistem File sebagai Input Pelatihan dalam dokumentasi SageMaker Python SDK.

Using the SageMaker AI CreateTrainingJob API

Sebagai bagian dari CreateTrainingJobpermintaan JSON, konfigurasikan InputDataConfig sebagai berikut.

"InputDataConfig": [ 
    { 
        "ChannelName": "string",
        "DataSource": { 
            "FileSystemDataSource": { 
                "DirectoryPath": "/1234abcd/ns1/",
                "FileSystemAccessMode": "ro",
                "FileSystemId": "fs-0123456789abcdef0",
                "FileSystemType": "FSxLustre"
            }
        }
    }
],

Tip

Saat Anda menentukanDirectoryPath, pastikan Anda menyediakan jalur sistem FSx file Amazon yang dimulai denganMountName.