Memulai dengan ML

Untuk terjun ke Machine Learning di EKS, mulailah dengan memilih dari pola preskriptif ini untuk dengan cepat mendapatkan cluster EKS dan perangkat lunak dan perangkat lunak dan perangkat keras yang siap untuk mulai menjalankan beban kerja ML. Sebagian besar pola ini didasarkan pada cetak biru Terraform yang tersedia dari situs Data di Amazon EKS. Sebelum Anda mulai, berikut adalah beberapa hal yang perlu diingat:

• GPUs atau contoh Neuron diperlukan untuk menjalankan prosedur ini. Kurangnya ketersediaan sumber daya ini dapat menyebabkan prosedur ini gagal selama pembuatan cluster atau penskalaan otomatis node.

• Neuron SDK (contoh berbasis Tranium dan Inferensia) dapat menghemat uang dan lebih tersedia daripada NVIDIA. GPUs Jadi, ketika beban kerja Anda mengizinkannya, kami sarankan Anda mempertimbangkan untuk menggunakan Neuron untuk beban kerja Machine Learning Anda (lihat Selamat Datang di AWS Neuron).

• Beberapa pengalaman memulai di sini mengharuskan Anda mendapatkan data melalui akun Hugging Face Anda sendiri.

Untuk memulai, pilih dari pilihan pola berikut yang dirancang untuk membantu Anda mulai menyiapkan infrastruktur untuk menjalankan beban kerja Machine Learning Anda:

• JupyterHub di EKS: Jelajahi JupyterHub cetak biru, yang menampilkan fitur Time Slicing dan MIG, serta konfigurasi multi-penyewa dengan profil. Ini sangat ideal untuk menyebarkan JupyterHub platform skala besar di EKS.

• Model Bahasa Besar pada AWS Neuron dan RayServe: Gunakan AWS Neuron untuk menjalankan model bahasa besar (LLMs) di Amazon EKS dan akselerator AWS Trainium dan AWS Inferentia. Lihat Melayani LLMs dengan RayServe dan VllM di AWS Neuron untuk instruksi tentang menyiapkan platform untuk membuat permintaan inferensi, dengan komponen yang meliputi:

  • AWS Toolkit Neuron SDK untuk pembelajaran mendalam

  • AWS Akselerator inferensia dan Trainium

  • VllM - model bahasa panjang variabel (lihat situs dokumentasi VllM)

  • RayServe pustaka penyajian model yang dapat diskalakan (lihat situs Ray Serve: Scalable and Programmable Serving)

  • Model bahasa Llama-3, menggunakan akun Hugging Face Anda sendiri.

  • Observabilitas dengan AWS CloudWatch dan Neuron Monitor

  • Buka WebUI

• Model Bahasa Besar di NVIDIA dan Triton: Terapkan beberapa model bahasa besar () LLMs di Amazon EKS dan NVIDIA. GPUs Lihat Menerapkan Beberapa Model Bahasa Besar dengan NVIDIA Triton Server dan VLLm untuk petunjuk penyiapan platform untuk membuat permintaan inferensi, dengan komponen yang mencakup:

  • NVIDIA Triton Inference Server (lihat situs Triton Inference Server) GitHub

  • VllM - model bahasa panjang variabel (lihat situs dokumentasi VllM)

  • Dua model bahasa: mistralai/Mistral-7B-Instruct-v0.2 and meta-llama/Llama -2-7b-chat-hf, menggunakan akun Hugging Face Anda sendiri.

Melanjutkan dengan ML di EKS

Seiring dengan memilih dari cetak biru yang dijelaskan di halaman ini, ada cara lain Anda dapat melanjutkan melalui dokumentasi ML pada EKS jika Anda mau. Sebagai contoh, Anda dapat:

• Coba tutorial untuk ML di EKS — Jalankan end-to-end tutorial lain untuk membangun dan menjalankan model Machine Learning Anda sendiri di EKS. Lihat Coba tutorial untuk menerapkan beban kerja Machine Learning di EKS.

Untuk meningkatkan pekerjaan Anda dengan ML di EKS, lihat yang berikut ini:

• Mempersiapkan untuk ML — Pelajari cara mempersiapkan ML di EKS dengan fitur seperti reservasi kustom AMIs dan GPU. Lihat Bersiaplah untuk cluster ML.