Repositori pribadi untuk dependensi runtime

Anda dapat menggunakan perintah atau skrip pra-eksekusi untuk mengonfigurasi manajer ketergantungan seperti pip atau conda di lingkungan pekerjaan Anda. Untuk mencapai isolasi jaringan, gunakan salah satu opsi ini untuk mengarahkan manajer ketergantungan Anda untuk mengakses repositori pribadi Anda dan menjalankan fungsi jarak jauh dalam file. VPC Perintah atau skrip pra-eksekusi akan berjalan sebelum fungsi jarak jauh Anda berjalan. Anda dapat mendefinisikannya dengan dekorator @remote, the RemoteExecutorAPI, atau dalam file konfigurasi.

Bagian berikut menunjukkan kepada Anda cara mengakses repositori Private Python Package Index (PyPI) yang dikelola dengan. AWS CodeArtifact Bagian ini juga menunjukkan cara mengakses saluran conda khusus yang dihosting di Amazon Simple Storage Service (Amazon S3).

Cara menggunakan repositori PyPI khusus yang dikelola dengan AWS CodeArtifact

Untuk menggunakan CodeArtifact untuk mengelola repositori PyPI kustom, prasyarat berikut diperlukan:

• Repositori PyPI pribadi Anda seharusnya sudah dibuat. Anda dapat memanfaatkan AWS CodeArtifact untuk membuat dan mengelola repositori paket pribadi Anda. Untuk mempelajari selengkapnya CodeArtifact, lihat Panduan CodeArtifact Pengguna.

• Anda VPC harus memiliki akses ke CodeArtifact repositori Anda. Untuk mengizinkan koneksi dari Anda VPC ke CodeArtifact repositori Anda, Anda harus melakukan hal berikut:

  • Buat VPC titik akhir untuk CodeArtifact.

  • Buat titik akhir gateway Amazon S3 untuk AndaVPC, yang memungkinkan CodeArtifact untuk menyimpan aset paket.

Contoh perintah pra-eksekusi berikut menunjukkan cara mengkonfigurasi pip dalam tugas SageMaker pelatihan untuk menunjuk ke repositori Anda CodeArtifact . Untuk informasi selengkapnya, lihat Mengkonfigurasi dan menggunakan pip dengan CodeArtifact.

# use a requirements.txt file to import dependencies
@remote(
    instance_type="ml.m5.large"
    image_uri = "my_base_python:latest", 
    dependencies = './requirements.txt',
    pre_execution_commands=[
        "aws codeartifact login --tool pip --domain my-org --domain-owner <000000000000> --repository my-codeartifact-python-repo --endpoint-url https://vpce-xxxxx.api.codeartifact.us-east-1.vpce.amazonaws.com"
    ]
)
def matrix_multiply(a, b):
    return np.matmul(a, b)

Cara menggunakan saluran conda khusus yang dihosting di Amazon S3

Untuk menggunakan Amazon S3 untuk mengelola repositori conda kustom, diperlukan prasyarat berikut:

• Saluran conda pribadi Anda harus sudah diatur di bucket Amazon S3 Anda, dan semua paket dependen harus diindeks dan diunggah ke bucket Amazon S3 Anda. Untuk petunjuk tentang cara mengindeks paket conda Anda, lihat Membuat saluran khusus.

• Anda VPC harus memiliki akses ke bucket Amazon S3. Untuk informasi selengkapnya, lihat Titik Akhir untuk Amazon S3.

• Lingkungan conda dasar dalam gambar pekerjaan Anda seharusnya sudah boto3 diinstal. Untuk memeriksa lingkungan Anda, masukkan yang berikut ini di prompt Anaconda Anda untuk memeriksa yang boto3 muncul di daftar yang dihasilkan.

  conda list -n base

• Gambar pekerjaan Anda harus diinstal dengan conda, bukan mamba. Untuk memeriksa lingkungan Anda, pastikan bahwa prompt kode sebelumnya tidak kembalimamba.

Contoh perintah pra-eksekusi berikut menunjukkan cara mengonfigurasi conda dalam tugas SageMaker pelatihan untuk menunjuk ke saluran pribadi Anda di Amazon S3 Perintah pra-eksekusi menghapus saluran default dan menambahkan saluran khusus ke file konfigurasi conda. .condarc

# specify your dependencies inside a conda yaml file
@remote(
    instance_type="ml.m5.large"
    image_uri = "my_base_python:latest", 
    dependencies = "./environment.yml",
    pre_execution_commands=[
        "conda config --remove channels 'defaults'"
        "conda config --add channels 's3://my_bucket/my-conda-repository/conda-forge/'",
        "conda config --add channels 's3://my_bucket/my-conda-repository/main/'"
    ]
)
def matrix_multiply(a, b):
    return np.matmul(a, b)