Temukan kasus penggunaan untuk alur kerja Step Functions

Dengan AWS Step Functions, Anda dapat membangun alur kerja yang mengelola status dari waktu ke waktu, membuat keputusan berdasarkan data yang masuk, dan menangani kesalahan dan pengecualian.

Pemrosesan data

Ketika volume data tumbuh dari berbagai sumber, organisasi perlu memproses data mereka lebih cepat sehingga mereka dapat dengan cepat membuat keputusan bisnis yang terinformasi dengan baik. Untuk memproses data dalam skala besar, organisasi perlu menyediakan sumber daya secara elastis untuk mengelola informasi yang mereka terima dari perangkat seluler, aplikasi, satelit, pemasaran dan penjualan, penyimpanan data operasional, infrastruktur, dan banyak lainnya.

Dengan penskalaan horizontal dan alur kerja yang toleran terhadap kesalahan, Step Functions dapat mengoperasikan jutaan eksekusi bersamaan. Anda memproses data Anda lebih cepat menggunakan eksekusi paralel dengan Status alur kerja paralel status. Atau, Anda dapat menggunakan paralelisme dinamis Memetakan status alur kerja status untuk mengulangi kumpulan data besar di penyimpanan data, seperti bucket Amazon S3. Step Functions juga menyediakan kemampuan untuk mencoba kembali eksekusi yang gagal, atau memilih jalur tertentu untuk menangani kesalahan tanpa mengelola proses penanganan kesalahan yang kompleks.

Step Functions secara langsung terintegrasi dengan layanan pemrosesan data lain yang disediakan oleh AWS seperti AWS Batchuntuk pemrosesan batch, Amazon EMR untuk pemrosesan data besar, AWS Glueuntuk persiapan data, Athena untuk analisis data, dan AWS Lambdauntuk komputasi.

Contoh tipe alur kerja pemrosesan data yang digunakan pelanggan untuk diselesaikan Step Functions meliputi:

Pengolahan file, video, dan gambar

• Ambil koleksi file video dan ubah ke ukuran atau resolusi lain yang ideal untuk perangkat yang akan ditampilkan, seperti ponsel, laptop, atau televisi.

• Ambil sebagian besar koleksi foto yang diunggah oleh pengguna dan ubah menjadi gambar mini atau berbagai citra beresolusi yang kemudian dapat ditampilkan di situs web pengguna.

• Ambil data semi-terstruktur, seperti CSV file, dan gabungkan dengan data tidak terstruktur, seperti faktur, untuk menghasilkan laporan bisnis yang dikirim ke pemangku kepentingan bisnis setiap bulan.

• Ambil data mengamati bumi yang dikumpulkan dari satelit, mengubahnya menjadi format yang sejajar satu sama lain dan kemudian tambahkan sumber data lain yang dikumpulkan di bumi untuk wawasan tambahan.

• Ambil log transportasi dari berbagai moda transportasi untuk produk dan mencoba pengoptimalan menggunakan Monte Carlo Simulasi kemudian mengirim laporan kembali ke organisasi dan orang-orang yang mengandalkan Anda untuk mengirimkan barang-barang mereka.

Koordinasikan pekerjaan ekstrak, transformasi, dan beban (ETL):

• Gabungkan catatan peluang penjualan dengan kumpulan data metrik pemasaran melalui serangkaian langkah persiapan data menggunakan AWS Glue, dan menghasilkan laporan intelijen bisnis yang dapat digunakan di seluruh organisasi.

• Buat, mulai, dan akhiri EMR klaster Amazon untuk pemrosesan data besar.

Pemrosesan Batch dan beban kerja Komputasi Kinerja Tinggi (HPC):

• Bangun alur analisis sekunder genomik yang memproses seluruh urutan genom mentah ke dalam panggilan varian. Sejajarkan file mentah ke urutan referensi, dan panggil varian pada daftar kromosom tertentu menggunakan paralelisme dinamis.

• Temukan efisiensi dalam produksi perangkat seluler Anda berikutnya atau elektronik lainnya dengan mensimulasikan berbagai tata letak menggunakan senyawa listrik dan kimia yang berbeda. Jalankan pemrosesan batch besar beban kerja Anda melalui berbagai simulasi untuk mendapatkan desain yang optimal.

Machine learning

Pembelajaran mesin menyediakan cara bagi organisasi untuk menganalisis data yang dikumpulkan dengan cepat untuk mengidentifikasi pola dan membuat keputusan dengan intervensi manusia minimal. Pembelajaran mesin dimulai dengan kumpulan data awal, yang dikenal sebagai data pelatihan. Data pelatihan meningkatkan akurasi prediksi model pembelajaran mesin dan bertindak sebagai dasar di mana model belajar. Setelah model terlatih dianggap cukup akurat untuk memenuhi kebutuhan bisnis, Anda dapat menerapkan model ke dalam produksi. Sebuah AWS Step Functions Data Science Project di Github adalah pustaka sumber terbuka yang menyediakan alur kerja untuk memproses data sebelumnya, melatih, dan kemudian mempublikasikan model Anda menggunakan Amazon dan Step Functions. SageMaker

Melakukan praproses serangkaian data yang ada adalah cara yang biasa digunakan organisasi untuk membuat data pelatihan. Metode preprocessing ini menambahkan informasi, seperti dengan memberi label objek dalam gambar, membuat anotasi teks atau memproses audio. Untuk memproses data yang dapat Anda gunakan AWS Glue, atau Anda dapat membuat instance SageMaker notebook yang berjalan di Notebook Jupyter. Setelah data Anda siap, itu dapat diunggah ke Amazon S3 untuk akses. Saat model pembelajaran mesin dilatih, Anda dapat melakukan penyesuaian pada parameter masing-masing model untuk meningkatkan akurasi.

Step Functions menyediakan cara untuk mengatur alur kerja pembelajaran end-to-end mesin. SageMaker Alur kerja ini dapat mencakup praproses data, pasca-pemrosesan, rekayasa fitur, validasi data, dan evaluasi model. Setelah model diterapkan ke produksi, Anda dapat menyempurnakan dan menguji pendekatan baru untuk terus meningkatkan hasil bisnis. Anda dapat membuat alur kerja siap produksi secara langsung dengan Python, atau Anda dapat menggunakan Step Functions Data Science SDK untuk menyalin alur kerja tersebut, bereksperimen dengan opsi baru, dan menempatkan alur kerja yang disempurnakan dalam produksi.

Beberapa jenis alur kerja machine learning yang digunakan pelanggan untuk Step Functions meliputi:

Deteksi Penipuan

• Identifikasi dan mencegah terjadinya transaksi penipuan, seperti penipuan kredit.

• Deteksi dan cegah pengambilalihan akun menggunakan model machine learning terlatih.

• Identifikasi penyalahgunaan promosi, termasuk pembuatan akun palsu, agar Anda dapat dengan cepat mengambil tindakan.

Personalisasi dan Rekomendasi

• Rekomendasi produk bagi pelanggan yang dituju berdasarkan hal yang diprediksi untuk menarik minat mereka.

• Prediksi kecenderungan pelanggan untuk meningkatkan akun mereka dari tingkat gratis ke langganan berbayar.

Pengayaan Data

• Gunakan pengayaan data sebagai bagian dari praproses untuk memberikan data pelatihan yang lebih baik untuk model machine learning yang lebih akurat.

• Anotasi kutipan teks dan audio untuk menambahkan informasi sintaksis, seperti sarkasme dan bahasa gaul.

• Beri label pada objek tambahan dalam citra untuk memberikan informasi penting sebagai pembelajaran bagi, seperti wujud objek merupakan apel, bola basket, batu, atau binatang.

Orkestrasi mikro

Step Functions memberi Anda opsi untuk mengelola alur kerja microservice Anda.

Arsitektur microservice memecah aplikasi menjadi layanan penggabungan longgar. Manfaat dari hal tersebut adalah peningkatan skalabilitas, peningkatan ketahanan, dan waktu untuk memasarkan yang lebih cepat. Setiap microservice independen, sehingga mudah untuk menaikkan skala layanan atau fungsi tunggal tanpa perlu menskalakan seluruh aplikasi. Layanan individu digabungkan secara longgar, sehingga tim independen dapat fokus pada satu proses bisnis, tanpa perlu memahami keseluruhan aplikasi.

Layanan mikro juga menyediakan komponen individual yang sesuai dengan kebutuhan bisnis Anda, memberi Anda fleksibilitas tanpa menulis ulang seluruh alur kerja Anda. Tim yang berbeda dapat menggunakan bahasa pemrograman dan kerangka kerja pilihan mereka untuk bekerja dengan layanan mikro mereka.

Untuk alur kerja yang berjalan lama, Anda dapat menggunakan Alur Kerja Standar dengan AWS Fargate integrasi untuk mengatur aplikasi yang berjalan dalam wadah. Untuk alur kerja berdurasi pendek dan bervolume tinggi yang membutuhkan respons segera, Alur Kerja Synchronous Express sangat ideal. Salah satu contohnya adalah aplikasi berbasis web atau seluler, yang memerlukan penyelesaian serangkaian langkah sebelum mereka mengembalikan respons. Anda dapat langsung memicu Alur Kerja Ekspres Sinkron dari Amazon API Gateway, dan koneksi tetap terbuka hingga alur kerja selesai atau batas waktu. Untuk alur kerja berdurasi pendek yang tidak memerlukan respons langsung, Step Functions menyediakan Alur Kerja Express Asinkron.

Contoh beberapa API orkestrasi yang menggunakan Step Functions meliputi:

Alur kerja sinkron atau real-time

• Ubah nilai dalam catatan; seperti memperbarui nama belakang karyawan dan membuat perubahan segera terlihat.

• Perbarui pesanan saat checkout, misalnya, menambahkan, menghapus, atau mengubah jumlah item; kemudian segera menampilkan keranjang yang diperbarui kepada pelanggan Anda.

• Jalankan tugas pemrosesan cepat dan segera kembalikan hasilnya ke peminta.

Orkestrasi Kontainer

• Jalankan pekerjaan di Kubernetes dengan Amazon Elastic Kubernetes Service atau di Amazon Elastic Container ECS Service () dengan Fargate dan integrasikan dengan yang lain AWS layanan, seperti mengirim notifikasi dengan AmazonSNS, sebagai bagian dari alur kerja yang sama.

IT dan otomatisasi keamanan

Dengan Step Functions, Anda dapat membuat alur kerja yang secara otomatis menskalakan dan bereaksi terhadap kesalahan dalam alur kerja Anda. Alur kerja Anda dapat secara otomatis mencoba kembali tugas yang gagal dan menggunakan backoff eksponensial untuk menangani kesalahan.

Penanganan kesalahan sangat penting dalam skenario otomatisasi TI untuk mengelola operasi yang kompleks dan memakan waktu, seperti meningkatkan dan menambal perangkat lunak, menerapkan pembaruan keamanan untuk mengatasi kerentanan, memilih infrastruktur, menyinkronkan data, dan merutekan tiket dukungan. Dengan mengotomatiskan tugas yang berulang dan memakan waktu, organisasi Anda dapat menyelesaikan operasi rutin dengan cepat dan konsisten dalam skala besar. Fokus Anda dapat beralih ke upaya strategis seperti pengembangan fitur, permintaan dukungan yang kompleks, dan inovasi sambil memenuhi tuntutan operasional Anda.

Ketika intervensi manusia diperlukan agar alur kerja dapat dilanjutkan, misalnya menyetujui peningkatan kredit yang substansif, Anda dapat menentukan logika percabangan di Step Functions, sehingga permintaan di bawah batas secara otomatis disetujui, dan permintaan batas memerlukan persetujuan manusia. Ketika persetujuan manusia diperlukan, Step Functions dapat menjeda alur kerja, menunggu respons manusia, lalu melanjutkan alur kerja setelah respons diterima.

Beberapa contoh alur kerja otomatisasi meliputi:

Otomatisasi TI

• Memperbaiki insiden secara otomatis seperti SSH port terbuka, ruang disk rendah, atau saat akses publik, bucket Amazon S3 diberikan akses publik.

• Mengotomatiskan penyebaran AWS CloudFormation StackSets.

Otomatisasi keamanan

• Otomatiskan respons terhadap skenario di mana kunci akses pengguna dan pengguna telah diekspos.

• Memulihkan respons insiden keamanan secara otomatis sesuai dengan tindakan kebijakan, seperti membatasi tindakan secara spesifik. ARNs

• Peringatkan karyawan tentang email phishing dalam hitungan detik setelah menerimanya.

Persetujuan Manusia

• Otomatiskan pelatihan model pembelajaran mesin, lalu dapatkan persetujuan model oleh ilmuwan data sebelum menerapkan model yang diperbarui.

• Otomatiskan perutean umpan balik pelanggan berdasarkan analisis sentimen sehingga komentar negatif dengan cepat meningkat untuk ditinjau.