Mengintegrasikan SageMaker model Amazon dengan Amazon QuickSight

catatan

Anda tidak memerlukan pengalaman teknis apa pun dalam pembelajaran mesin (ML) untuk membuat analisis dan dasbor yang menggunakan fitur yang didukung ML di Amazon. QuickSight

Anda dapat menambah data edisi Amazon QuickSight Enterprise Anda dengan model pembelajaran SageMaker mesin Amazon. Anda dapat menjalankan inferensi pada data yang disimpan dalam SPICE impor dari sumber data apa pun yang didukung oleh Amazon QuickSight. Untuk daftar lengkap sumber data yang didukung, lihatSumber data yang didukung.

Menggunakan Amazon QuickSight dengan SageMaker model dapat menghemat waktu yang mungkin Anda habiskan untuk mengelola pergerakan data dan menulis kode. Hasilnya berguna baik untuk mengevaluasi model dan—ketika Anda puas dengan hasilnya—untuk dibagikan dengan pengambil keputusan. Anda dapat mulai segera setelah model dibangun. Melakukan hal ini memunculkan model bawaan ilmuwan data Anda, dan memungkinkan Anda menerapkan ilmu data ke kumpulan data Anda. Kemudian Anda dapat membagikan wawasan ini di dasbor prediktif Anda. Dengan pendekatan QuickSight tanpa server Amazon, prosesnya dapat diskalakan dengan mulus, sehingga Anda tidak perlu khawatir tentang inferensi atau kapasitas kueri.

Amazon QuickSight mendukung SageMaker model yang menggunakan algoritma regresi dan klasifikasi. Anda dapat menerapkan fitur ini untuk mendapatkan prediksi untuk hampir semua kasus penggunaan bisnis. Beberapa contoh termasuk memprediksi kemungkinan churn pelanggan, gesekan karyawan, penilaian prospek penjualan, dan menilai risiko kredit. Untuk menggunakan Amazon QuickSight untuk memberikan prediksi, data SageMaker model untuk input dan output harus dalam format tabel. Dalam kasus penggunaan klasifikasi multiclass atau multilabel, setiap kolom keluaran harus berisi satu nilai. Amazon QuickSight tidak mendukung beberapa nilai dalam satu kolom.

Topik

• Bagaimana SageMaker integrasi bekerja
• Biaya yang dikeluarkan (tidak ada biaya tambahan dengan integrasi itu sendiri)
• Pedoman penggunaan
• Mendefinisikan file skema
• Menambahkan SageMaker model ke QuickSight dataset Anda
• Bangun model prediktif dengan Canvas SageMaker

Bagaimana SageMaker integrasi bekerja

Secara umum, prosesnya bekerja seperti ini:

1. QuickSight Administrator Amazon menambahkan izin untuk Amazon QuickSight untuk mengakses SageMaker. Untuk melakukan ini, buka pengaturan Keamanan & Izin dari QuickSight halaman Kelola. Buka QuickSightakses ke AWS layanan, dan tambahkan SageMaker.

   Saat Anda menambahkan izin ini, Amazon QuickSight ditambahkan ke peran AWS Identity and Access Management (IAM) yang menyediakan akses untuk mencantumkan semua SageMaker model di akun AndaAWS. Ini juga memberikan izin untuk menjalankan SageMaker pekerjaan yang memiliki nama yang diawali dengan. quicksight-auto-generated-

2. Kami menyarankan Anda terhubung ke SageMaker model yang memiliki pipeline inferensi, karena secara otomatis melakukan preprocessing data. Untuk informasi selengkapnya, lihat Menerapkan Saluran Inferensi di Panduan SageMaker Pengembang.

3. Setelah Anda mengidentifikasi data dan model terlatih yang ingin Anda gunakan bersama, pemilik model membuat dan menyediakan file skema. File JSON ini adalah kontrak dengan SageMaker. Ini menyediakan metadata tentang bidang, tipe data, urutan kolom, output, dan pengaturan yang diharapkan model. Komponen pengaturan opsional menyediakan ukuran instans dan jumlah instance komputasi yang akan digunakan untuk pekerjaan tersebut.

   Jika Anda adalah ilmuwan data yang membuat model, buat file skema ini menggunakan format yang didokumentasikan berikut. Jika Anda adalah konsumen model, dapatkan file skema dari pemilik model.

4. Di Amazon QuickSight, Anda mulai dengan membuat kumpulan data baru dengan data yang ingin Anda prediksi. Jika Anda mengunggah file, Anda dapat menambahkan SageMaker model di layar pengaturan unggah. Jika tidak, tambahkan model pada halaman persiapan data.

   Sebelum Anda melanjutkan, verifikasi pemetaan antara kumpulan data dan model.

5. Setelah data diimpor ke kumpulan data, bidang output berisi data yang dikembalikan. SageMaker Anda menggunakan bidang ini sama seperti Anda menggunakan bidang lain, dalam pedoman yang dijelaskan dalamPedoman penggunaan.

   Saat Anda menjalankan SageMaker integrasi, Amazon QuickSight meneruskan permintaan SageMaker untuk menjalankan pekerjaan transformasi batch dengan pipeline inferensi. Amazon QuickSight memulai ketentuan dan penerapan instans yang diperlukan di akun AndaAWS. Saat pemrosesan selesai, instance ini dimatikan dan dihentikan. Kapasitas komputasi menimbulkan biaya hanya ketika memproses model.

   Untuk memudahkan Anda mengidentifikasi mereka, Amazon QuickSight menamai semua SageMaker pekerjaannya dengan awalanquicksight-auto-generated-.

6. Output dari inferensi disimpan SPICE dan ditambahkan ke dataset. Segera setelah inferensi selesai, Anda dapat menggunakan kumpulan data untuk membuat visualisasi dan dasbor menggunakan data prediksi.

7. Penyegaran data dimulai setiap kali Anda menyimpan kumpulan data. Anda dapat memulai proses penyegaran data secara manual dengan menyegarkan SPICE kumpulan data, atau Anda dapat menjadwalkannya untuk dijalankan secara berkala. Selama setiap penyegaran data, sistem secara otomatis memanggil transformasi SageMaker batch untuk memperbarui bidang output dengan data baru.

   Anda dapat menggunakan operasi API QuickSight SPICE konsumsi Amazon untuk mengontrol proses penyegaran data. Untuk informasi selengkapnya tentang penggunaan operasi API ini, lihat Referensi Amazon QuickSight API.

Biaya yang dikeluarkan (tidak ada biaya tambahan dengan integrasi itu sendiri)

Menggunakan fitur ini sendiri tidak memerlukan biaya tambahan. Biaya Anda termasuk yang berikut:

• Biaya penerapan model melalui SageMaker, yang dikeluarkan hanya ketika model sedang berjalan. Menyimpan dataset — setelah membuat atau mengeditnya — atau menyegarkan datanya memulai proses konsumsi data. Proses ini mencakup pemanggilan SageMaker jika kumpulan data memiliki bidang yang disimpulkan. Biaya dikeluarkan di AWS akun yang sama di mana QuickSight langganan Anda berada.

• Biaya QuickSight berlangganan Anda adalah sebagai berikut:

  • Biaya penyimpanan data Anda di mesin perhitungan dalam memori di QuickSight (SPICE). Jika Anda menambahkan data baruSPICE, Anda mungkin perlu membeli SPICE kapasitas yang cukup untuk mengakomodasi itu.

  • QuickSight langganan untuk penulis atau admin yang membangun kumpulan data.

  • P ay-per-session mengenakan biaya bagi pemirsa (pembaca) untuk mengakses dasbor interaktif.

Pedoman penggunaan

Di Amazon QuickSight, pedoman penggunaan berikut berlaku untuk fitur edisi Enterprise ini:

• Pemrosesan model terjadi diSPICE. Oleh karena itu, ini hanya dapat berlaku untuk kumpulan data yang disimpan di. SPICE Proses saat ini mendukung hingga 500 juta baris per kumpulan data.

• Hanya QuickSight admin atau penulis yang dapat menambah kumpulan data dengan model ML. Pembaca hanya dapat melihat hasilnya ketika mereka adalah bagian dari dasbor.

• Setiap dataset dapat bekerja dengan satu dan hanya satu model ML.

• Bidang keluaran tidak dapat digunakan untuk menghitung bidang baru.

• Kumpulan data tidak dapat difilter berdasarkan bidang yang terintegrasi dengan model. Dengan kata lain, jika bidang dataset Anda saat ini dipetakan ke model ML, Anda tidak dapat memfilter pada bidang itu.

Di SageMaker, pedoman penggunaan berikut berlaku untuk model terlatih yang Anda gunakan dengan Amazon QuickSight:

• Saat Anda membuat model, kaitkan dengan Amazon Resource Name (ARN) untuk peran IAM yang sesuai. Peran IAM untuk SageMaker model harus memiliki akses ke bucket Amazon S3 yang digunakan Amazon QuickSight .

• Pastikan model Anda mendukung file.csv untuk input dan output. Pastikan data Anda dalam format tabel.

• Berikan file skema yang berisi metadata tentang model, termasuk daftar bidang input dan output. Saat ini, Anda harus membuat file skema ini secara manual.

• Pertimbangkan jumlah waktu yang diperlukan untuk menyelesaikan inferensi Anda, yang tergantung pada sejumlah faktor. Ini termasuk kompleksitas model, jumlah data, dan kapasitas komputasi yang ditentukan. Menyelesaikan inferensi dapat memakan waktu beberapa menit hingga beberapa jam. Amazon QuickSight membatasi semua konsumsi data dan pekerjaan inferensi hingga maksimal 10 jam. Untuk mengurangi waktu yang diperlukan untuk melakukan inferensi, pertimbangkan untuk meningkatkan ukuran instans atau jumlah instance.

• Saat ini, Anda hanya dapat menggunakan transformasi batch untuk integrasi dengan SageMaker, bukan data real-time. Anda tidak dapat menggunakan SageMaker endpoint.

Mendefinisikan file skema

Sebelum Anda menggunakan SageMaker model dengan QuickSight data Amazon, buat file skema JSON yang berisi metadata yang dibutuhkan QuickSight Amazon untuk memproses model tersebut. QuickSight Penulis atau admin Amazon mengunggah file skema saat mengonfigurasi kumpulan data.

Bidang skema didefinisikan sebagai berikut. Semua bidang diperlukan kecuali ditentukan dalam deskripsi berikut. Atribut peka huruf besar/kecil.

inputContentType

Jenis konten yang diharapkan SageMaker model ini untuk data input. Satu-satunya nilai yang didukung untuk ini adalah"text/csv". QuickSight tidak termasuk salah satu nama header yang Anda tambahkan ke file input.

outputContentType

Jenis konten output yang dihasilkan oleh SageMaker model yang ingin Anda gunakan. Satu-satunya nilai yang didukung untuk ini adalah"text/csv".

masukan

Daftar fitur yang diharapkan model dalam data input. QuickSight menghasilkan data input dalam urutan yang persis sama. Daftar ini berisi atribut berikut:

• Nama - Nama kolom. Jika memungkinkan, buat ini sama dengan nama kolom yang sesuai dalam QuickSight kumpulan data. Atribut ini dibatasi hingga 100 karakter.

• type — Tipe data dari kolom ini. Atribut ini mengambil nilai-nilai"INTEGER","STRING", dan"DECIMAL".

• nullable - (Opsional) Nullability lapangan. Nilai default-nya adalah true. Jika Anda menyetel nullable kefalse, QuickSight teteskan baris yang tidak berisi nilai ini sebelum memanggil SageMaker. Melakukan hal ini membantu SageMaker menghindari kegagalan pada data yang diperlukan hilang.

keluaran

Daftar kolom keluaran yang dihasilkan SageMaker model. QuickSightmengharapkan bidang ini dalam urutan yang persis sama. Daftar ini berisi atribut berikut:

• name — Nama ini menjadi nama default untuk kolom baru yang sesuai yang dibuat di QuickSight. Anda dapat mengganti nama yang ditentukan di QuickSight sini. Atribut ini dibatasi hingga 100 karakter.

• type — Tipe data dari kolom ini. Atribut ini mengambil nilai-nilai"INTEGER","STRING", dan"DECIMAL".

InstanceTypes

Daftar jenis instans ML yang SageMaker dapat menyediakan untuk menjalankan tugas transformasi. Daftar ini disediakan untuk QuickSight pengguna untuk dipilih. Daftar ini terbatas pada jenis yang didukung oleh SageMaker. Untuk informasi selengkapnya tentang jenis yang didukung, lihat TransformResourcesdi Panduan SageMaker Pengembang.

defaultInstanceType

(Opsional) Jenis instance yang disajikan sebagai opsi default di SageMaker wizard di QuickSight. Sertakan jenis contoh ini diinstanceTypes.

InstanceCount

(Opsional) Jumlah instans mendefinisikan berapa banyak instance yang dipilih untuk penyediaan SageMaker untuk menjalankan pekerjaan transformasi. Nilai ini harus berupa bilangan bulat positif.

deskripsi

Bidang ini menyediakan tempat bagi orang yang memiliki SageMaker model untuk berkomunikasi dengan orang yang menggunakan model ini. QuickSight Gunakan bidang ini untuk memberikan petunjuk tentang berhasil menggunakan model ini. Misalnya, bidang ini dapat berisi informasi tentang memilih jenis instans yang efektif untuk dipilih dari daftarinstanceTypes, berdasarkan ukuran kumpulan data. Bidang ini dibatasi hingga 1.000 karakter.

versi

Versi skema, misalnya "1.0".

Contoh berikut menunjukkan struktur JSON dalam file skema.

{
        "inputContentType": "CSV",
        "outputContentType": "CSV",
        "input": [
            {
                "name": "buying",
                "type": "STRING"
            },
            {
                "name": "maint",
                "type": "STRING"
            },
            {
                "name": "doors",
                "type": "INTEGER"
            },
            {
                "name": "persons",
                "type": "INTEGER"
            },
            {
                "name": "lug_boot",
                "type": "STRING"
            },
            {
                "name": "safety",
                "type": "STRING"
            }
        ],
        "output": [
            {
                "name": "Acceptability",
                "type": "STRING"
            }
        ],
        "description": "Use ml.m4.xlarge instance for small datasets, and ml.m4.4xlarge for datasets over 10 GB",
        "version": "1.0",
        "instanceCount": 1,
        "instanceTypes": [
            "ml.m4.xlarge",
            "ml.m4.4xlarge"
        ],
        "defaultInstanceType": "ml.m4.xlarge"
    }

Struktur file skema terkait dengan jenis model yang digunakan dalam contoh yang disediakan oleh SageMaker.

Menambahkan SageMaker model ke QuickSight dataset Anda

Dengan menggunakan prosedur berikut, Anda dapat menambahkan SageMaker model yang telah dilatih sebelumnya ke kumpulan data Anda, sehingga Anda dapat menggunakan data prediktif dalam analisis dan dasbor.

Sebelum Anda mulai, sediakan item berikut:

• Data yang ingin Anda gunakan untuk membangun dataset.

• Nama SageMaker model yang ingin Anda gunakan untuk menambah dataset.

• Skema model. Skema ini mencakup pemetaan nama bidang dan tipe data. Akan sangat membantu jika juga berisi pengaturan yang disarankan untuk jenis instance dan jumlah instance yang akan digunakan.

Untuk menambah QuickSight kumpulan data Amazon Anda dengan SageMaker

1. Buat kumpulan data baru dari halaman awal dengan memilih Datasets, lalu pilih Dataset baru.

   Anda juga dapat mengedit kumpulan data yang ada.

2. Pilih Augment dengan SageMaker pada layar persiapan data.

3. Untuk Pilih model Anda, pilih pengaturan berikut:

   • Model — Pilih SageMaker model yang akan digunakan untuk menyimpulkan bidang.

   • Nama — Berikan nama deskriptif untuk model.

   • Skema - Unggah file skema JSON yang disediakan untuk model.

   • Pengaturan lanjutan — QuickSight merekomendasikan default yang dipilih berdasarkan kumpulan data Anda. Anda dapat menggunakan pengaturan runtime tertentu untuk menyeimbangkan kecepatan dan biaya pekerjaan Anda. Untuk melakukan ini, masukkan tipe instans SageMaker ML untuk tipe Instance dan jumlah instance untuk Count.

   Pilih Next untuk melanjutkan.

4. Untuk masukan Tinjauan, tinjau bidang yang dipetakan ke kumpulan data Anda. QuickSight mencoba untuk secara otomatis memetakan bidang dalam skema Anda ke bidang dalam kumpulan data Anda. Anda dapat membuat perubahan di sini jika pemetaan perlu penyesuaian.

   Pilih Next untuk melanjutkan.

5. Untuk keluaran Tinjauan, lihat bidang yang ditambahkan ke kumpulan data Anda.

   Pilih Simpan dan siapkan data untuk mengonfirmasi pilihan Anda.

6. Untuk menyegarkan data, pilih kumpulan data untuk melihat detail. Kemudian pilih Refresh Now untuk menyegarkan data secara manual, atau pilih Jadwalkan penyegaran untuk mengatur interval penyegaran reguler. Selama setiap penyegaran data, sistem secara otomatis menjalankan tugas transformasi SageMaker batch untuk memperbarui bidang output dengan data baru.