Menjalankan Prosesor Fitur Toko Fitur dari jarak jauh

Untuk menjalankan Prosesor Fitur Anda pada kumpulan data besar yang membutuhkan perangkat keras yang lebih kuat daripada yang tersedia secara lokal, Anda dapat menghias kode Anda dengan @remote dekorator untuk menjalankan kode Python lokal Anda sebagai pekerjaan pelatihan terdistribusi tunggal atau multi-node. SageMaker Untuk informasi selengkapnya tentang menjalankan kode Anda sebagai pekerjaan SageMaker pelatihan, lihatJalankan kode lokal Anda sebagai pekerjaan SageMaker pelatihan.

Berikut ini adalah contoh penggunaan @remote dekorator bersama dengan @feature_processor dekorator.

from sagemaker.remote_function.spark_config import SparkConfig
from sagemaker.remote_function import remote
from sagemaker.feature_store.feature_processor import CSVDataSource, feature_processor

CSV_DATA_SOURCE = CSVDataSource('s3://bucket/prefix-to-csv/')
OUTPUT_FG = 'arn:aws:sagemaker:us-east-1:123456789012:feature-group/feature-group'

@remote(
    spark_config=SparkConfig(), 
    instance_type="ml.m5.2xlarge",
    dependencies="/local/requirements.txt"
)
@feature_processor(
    inputs=[CSV_DATA_SOURCE], 
    output=OUTPUT_FG,
)
def transform(csv_input_df):
   return csv_input_df
   
transform()

spark_configParameter menunjukkan bahwa pekerjaan jarak jauh berjalan sebagai aplikasi Spark. SparkConfigInstance ini dapat digunakan untuk mengkonfigurasi Konfigurasi Spark dan memberikan dependensi tambahan ke aplikasi Spark seperti file Python,, dan file. JARs

Untuk iterasi yang lebih cepat saat mengembangkan kode pemrosesan fitur, Anda dapat menentukan keep_alive_period_in_seconds argumen di @remote dekorator untuk mempertahankan sumber daya yang dikonfigurasi di kolam hangat untuk pekerjaan pelatihan berikutnya. Untuk informasi selengkapnya tentang kolam hangat, lihat KeepAlivePeriodInSeconds di panduan Referensi API.

Kode berikut adalah contoh lokal requirements.txt:

sagemaker>=2.167.0

Ini akan menginstal versi SageMaker AI SDK yang sesuai dalam pekerjaan jarak jauh yang diperlukan untuk menjalankan metode yang dijelaskan oleh. @feature-processor