Buat, simpan, dan bagikan fitur dengan Feature Store

Proses pengembangan machine learning (ML) termasuk mengekstraksi data mentah, mengubahnya menjadi fitur (input yang berarti untuk model ML Anda). Fitur-fitur tersebut kemudian disimpan dengan cara yang dapat diservis untuk eksplorasi data, pelatihan ML, dan inferensi ML. Amazon SageMaker Feature Store menyederhanakan cara Anda membuat, menyimpan, berbagi, dan mengelola fitur. Ini dilakukan dengan menyediakan opsi feature store dan mengurangi pemrosesan data berulang dan pekerjaan kurasi.

Antara lain, dengan Feature Store Anda dapat:

• Sederhanakan pemrosesan fitur, penyimpanan, pengambilan, dan berbagi fitur untuk pengembangan ML di seluruh akun atau dalam organisasi.

• Lacak pengembangan kode pemrosesan fitur Anda, terapkan prosesor fitur Anda ke data mentah, dan serap fitur Anda ke Feature Store secara konsisten. Ini mengurangi kemiringan penyajian pelatihan, masalah umum di ML di mana perbedaan antara kinerja selama pelatihan dan penyajian dapat memengaruhi keakuratan model ML Anda.

• Simpan fitur Anda dan metadata terkait dalam grup fitur, sehingga fitur dapat dengan mudah ditemukan dan digunakan kembali. Grup fitur dapat berubah dan dapat mengembangkan skema mereka setelah pembuatan.

• Buat grup fitur yang dapat dikonfigurasi untuk menyertakan toko online atau offline, atau keduanya, untuk mengelola fitur Anda dan mengotomatiskan bagaimana fitur disimpan untuk tugas ML Anda.

  • Toko online hanya menyimpan catatan terbaru untuk fitur Anda. Ini terutama dirancang untuk mendukung prediksi waktu nyata yang membutuhkan pembacaan latensi milidetik rendah dan penulisan throughput tinggi.

  • Toko offline menyimpan semua catatan untuk fitur Anda sebagai database historis. Ini terutama ditujukan untuk eksplorasi data, pelatihan model, dan prediksi batch.

Diagram berikut menunjukkan bagaimana Anda dapat menggunakan Feature Store sebagai bagian dari pipeline ML Anda. Setelah Anda membaca dalam data mentah Anda, Anda dapat menggunakan Feature Store untuk mengubah data mentah menjadi fitur dan memasukkannya ke dalam grup fitur Anda. Fitur-fiturnya dapat dicerna melalui streaming atau batch ke toko online dan offline grup fitur. Fitur-fitur tersebut kemudian dapat disajikan untuk eksplorasi data, pelatihan model, dan inferensi real-time atau batch.

Cara kerja Feature Store

Di Feature Store, fitur disimpan dalam koleksi yang disebut grup fitur. Anda dapat memvisualisasikan grup fitur sebagai tabel di mana setiap kolom adalah fitur, dengan pengidentifikasi unik untuk setiap baris. Pada prinsipnya, grup fitur terdiri dari fitur dan nilai khusus untuk setiap fitur. A Record adalah kumpulan nilai untuk fitur yang sesuai dengan yang unikRecordIdentifier. Secara keseluruhan, a FeatureGroup adalah sekelompok fitur yang didefinisikan dalam Anda FeatureStore untuk menggambarkan aRecord. 

Anda dapat menggunakan Feature Store dalam mode berikut: 

• Online — Dalam mode online, fitur dibaca dengan pembacaan latensi rendah (milidetik) dan digunakan untuk prediksi throughput tinggi. Mode ini membutuhkan grup fitur untuk disimpan di toko online. 

• Offline — Dalam mode offline, aliran data yang besar diumpankan ke toko offline, yang dapat digunakan untuk pelatihan dan inferensi batch. Mode ini membutuhkan grup fitur untuk disimpan di toko offline. Toko offline menggunakan bucket S3 Anda untuk penyimpanan dan juga dapat mengambil data menggunakan kueri Athena. 

• Online dan Offline — Ini termasuk mode online dan offline.

Anda dapat menyerap data ke dalam grup fitur di Feature Store dengan dua cara: streaming atau dalam batch. Saat Anda menyerap data melalui streaming, kumpulan catatan akan didorong ke Feature Store dengan memanggil panggilan PutRecord API sinkron. API ini memungkinkan Anda mempertahankan nilai fitur terbaru di Feature Store dan mendorong nilai fitur baru segera setelah pembaruan terdeteksi.

Atau, Feature Store dapat memproses dan menelan data dalam batch. Misalnya, Anda dapat membuat fitur menggunakan Amazon SageMaker Data Wrangler dan mengekspor buku catatan dari Data Wrangler. Notebook dapat menjadi pekerjaan SageMaker Pemrosesan yang menyerap fitur dalam batch ke grup fitur Feature Store. Mode ini memungkinkan konsumsi batch ke toko offline. Ini juga mendukung konsumsi ke toko online jika grup fitur dikonfigurasi untuk penggunaan online dan offline. 

Buat grup fitur

Untuk memasukkan fitur ke dalam Feature Store, Anda harus terlebih dahulu menentukan grup fitur dan definisi fitur (nama fitur dan tipe data) untuk semua fitur yang termasuk dalam grup fitur. Setelah dibuat, grup fitur dapat berubah dan dapat mengembangkan skema mereka. Nama grup fitur unik dalam Wilayah AWS dan Akun AWS. Saat membuat grup fitur, Anda juga dapat membuat metadata untuk grup fitur. Metadata dapat berisi deskripsi singkat, konfigurasi penyimpanan, fitur untuk mengidentifikasi setiap catatan, dan waktu acara. Selanjutnya, metadata dapat mencakup tag untuk menyimpan informasi seperti penulis, sumber data, versi, dan banyak lagi.

penting

FeatureGroupnama atau metadata terkait seperti deskripsi atau tag tidak boleh mengandung informasi identitas pribadi (PII) atau informasi rahasia apa pun.

Temukan, temukan, dan bagikan fitur

Setelah Anda membuat grup fitur di Feature Store, pengguna resmi lainnya dari feature store dapat berbagi dan menemukannya. Pengguna dapat menelusuri daftar semua grup fitur di Toko Fitur atau menemukan grup fitur yang ada dengan mencari berdasarkan nama grup fitur, deskripsi, nama pengenal catatan, tanggal pembuatan, dan tag. 

Inferensi waktu nyata untuk fitur yang disimpan di toko online 

Dengan Feature Store, Anda dapat memperkaya fitur yang disimpan di toko online secara real time dengan data dari sumber streaming (data aliran bersih dari aplikasi lain) dan menyajikan fitur dengan latensi milidetik rendah untuk inferensi real-time. 

Anda juga dapat melakukan gabungan di berbagai FeatureGroups untuk inferensi real-time dengan menanyakan dua yang berbeda FeatureGroups dalam aplikasi klien. 

Toko offline untuk pelatihan model dan inferensi batch

Feature Store menyediakan penyimpanan offline untuk nilai fitur di bucket S3 Anda. Data Anda disimpan di bucket S3 Anda menggunakan skema awalan berdasarkan waktu acara. Toko offline adalah toko khusus tambahan, memungkinkan Toko Fitur untuk menyimpan catatan historis semua nilai fitur. Data disimpan di toko offline dalam format Parket untuk penyimpanan dan akses kueri yang dioptimalkan.

Anda dapat melakukan kueri, menjelajahi, dan memvisualisasikan fitur menggunakan Data Wrangler dari konsol.  Feature Store mendukung penggabungan data untuk menghasilkan, melatih, memvalidasi, dan menguji kumpulan data, dan memungkinkan Anda mengekstrak data pada titik waktu yang berbeda.

Menelan data fitur

Jaringan pipa generasi fitur dapat dibuat untuk memproses batch besar (1 juta baris data atau lebih) atau batch kecil, dan untuk menulis data fitur ke toko offline atau online. Sumber streaming seperti Amazon Managed Streaming for Apache Kafka atau Amazon Kinesis juga dapat digunakan sebagai sumber data dari mana fitur diekstraksi dan langsung diumpankan ke toko online untuk pelatihan, inferensi, atau pembuatan fitur. 

Anda dapat mendorong catatan ke Feature Store dengan memanggil panggilan PutRecord API sinkron. Karena ini adalah panggilan API sinkron, ini memungkinkan sejumlah kecil pembaruan didorong dalam satu panggilan API. Ini memungkinkan Anda untuk mempertahankan kesegaran nilai fitur yang tinggi dan mempublikasikan nilai segera setelah pembaruan terdeteksi. Ini juga disebut fitur streaming. 

Ketika data fitur dicerna dan diperbarui, Feature Store menyimpan data historis untuk semua fitur di toko offline. Untuk batch ingest, Anda dapat menarik nilai fitur dari bucket S3 Anda atau menggunakan Athena untuk melakukan kueri. Anda juga dapat menggunakan Data Wrangler untuk memproses dan merekayasa fitur baru yang kemudian dapat diekspor ke bucket S3 yang dipilih untuk diakses oleh Feature Store. Untuk batch ingestion, Anda dapat mengonfigurasi tugas pemrosesan untuk mengumpulkan data secara batch ke Feature Store, atau Anda dapat menarik nilai fitur dari bucket S3 menggunakan Athena. 

Untuk menghapus Record dari toko online Anda, gunakan panggilan DeleteRecordAPI. Ini juga akan menambahkan catatan yang dihapus ke toko offline.

Ketahanan di Toko Fitur

Toko Fitur didistribusikan di beberapa Availability Zone (AZ). AZ adalah lokasi yang terisolasi di dalam file Wilayah AWS. Jika beberapa AZ gagal, Feature Store dapat menggunakan AZ lain. Untuk informasi lebih lanjut tentang AZ, lihatKetahanan di Amazon SageMaker.