AWS Transfer Family alur kerja terkelola

AWS Transfer Family mendukung alur kerja terkelola untuk pemrosesan file. Dengan alur kerja terkelola, Anda dapat memulai alur kerja setelah file ditransfer melalui SFTP, FTPS, atau FTP. Dengan menggunakan fitur ini, Anda dapat dengan aman dan hemat biaya memenuhi persyaratan kepatuhan Anda untuk pertukaran file business-to-business (B2B) dengan mengoordinasikan semua langkah yang diperlukan untuk pemrosesan file. Selain itu, Anda mendapat manfaat dari end-to-end audit dan visibilitas.

Dengan mengatur tugas pemrosesan file, alur kerja terkelola membantu Anda memproses data sebelum dikonsumsi oleh aplikasi hilir. Tugas pemrosesan file tersebut mungkin termasuk:

• Memindahkan file ke folder khusus pengguna.

• Mendekripsi file sebagai bagian dari alur kerja.

• Menandai file.

• Melakukan pemrosesan kustom dengan membuat dan melampirkan AWS Lambda fungsi ke alur kerja.

• Mengirim pemberitahuan ketika file telah berhasil ditransfer. (Untuk posting blog yang merinci kasus penggunaan ini, lihat Menyesuaikan pemberitahuan pengiriman file menggunakan alur kerja AWS Transfer Family terkelola.)

Untuk dengan cepat mereplikasi dan menstandarisasi tugas pemrosesan file pasca-unggah umum yang mencakup beberapa unit bisnis di organisasi Anda, Anda dapat menerapkan alur kerja dengan menggunakan infrastruktur sebagai kode (IAc). Anda dapat menentukan alur kerja terkelola yang akan dimulai pada file yang diunggah secara penuh. Anda juga dapat menentukan alur kerja terkelola yang berbeda untuk dimulai pada file yang hanya diunggah sebagian karena pemutusan sesi prematur. Penanganan pengecualian bawaan membantu Anda bereaksi dengan cepat terhadap hasil pemrosesan file, sambil menawarkan Anda kontrol atas cara menangani kegagalan. Selain itu, setiap langkah alur kerja menghasilkan log terperinci, yang dapat Anda audit untuk melacak garis keturunan data.

Untuk memulai, lakukan tugas-tugas berikut:

1. Siapkan alur kerja Anda agar berisi tindakan pra-pemrosesan, seperti menyalin, menandai, dan langkah-langkah lain berdasarkan kebutuhan Anda. Lihat Buat alur kerja untuk detail.

2. Konfigurasikan peran eksekusi, yang digunakan Transfer Family untuk menjalankan alur kerja. Lihat Kebijakan IAM untuk alur kerja untuk detail.

3. Petakan alur kerja ke server, sehingga pada saat kedatangan file, tindakan yang ditentukan dalam alur kerja ini dievaluasi dan dimulai secara real time. Lihat Konfigurasikan dan jalankan alur kerja untuk detail.

Informasi terkait

• Untuk memantau eksekusi alur kerja Anda, lihat. Menggunakan CloudWatch metrik untuk Transfer Family

• Untuk detail log eksekusi dan informasi pemecahan masalah, lihat. Memecahkan masalah kesalahan terkait alur kerja menggunakan Amazon CloudWatch

• Transfer Family menyediakan posting blog dan lokakarya yang memandu Anda membangun solusi transfer file. Solusi ini memanfaatkan AWS Transfer Family endpoint SFTP/FTPS terkelola serta Amazon Cognito dan DynamoDB untuk manajemen pengguna.

  Posting blog tersedia di Menggunakan Amazon Cognito sebagai penyedia identitas dengan AWS Transfer Family dan Amazon S3. Anda dapat melihat detail untuk lokakarya di sini.

• Video berikut memberikan pengantar singkat tentang alur kerja yang dikelola Transfer Family.

Topik

• Buat alur kerja
• Gunakan langkah-langkah yang telah ditentukan
• Gunakan langkah-langkah pemrosesan file khusus
• Kebijakan IAM untuk alur kerja
• Penanganan pengecualian untuk alur kerja
• Pantau eksekusi alur kerja
• Buat alur kerja dari template
• Menghapus alur kerja dari server Transfer Family
• Pembatasan dan batasan alur kerja yang dikelola

Untuk bantuan selengkapnya untuk memulai alur kerja terkelola, lihat sumber daya berikut:

• AWS Transfer Family video demo alur kerja terkelola

• Membangun platform transfer file cloud-native menggunakan AWS Transfer Family alur kerja posting blog

Penanganan pengecualian untuk alur kerja

Jika terjadi kesalahan selama eksekusi alur kerja, langkah-langkah penanganan pengecualian yang Anda tentukan akan dijalankan. Anda menentukan langkah penanganan kesalahan untuk alur kerja dengan cara yang sama seperti Anda menentukan langkah nominal untuk alur kerja. Misalnya, misalkan Anda telah mengonfigurasi pemrosesan kustom dalam langkah-langkah nominal untuk memvalidasi file yang masuk. Jika validasi file gagal, langkah penanganan pengecualian dapat mengirim email ke administrator.

Contoh alur kerja berikut berisi dua langkah:

• Satu langkah nominal yang memeriksa apakah file yang diunggah dalam format CSV

• Langkah penanganan pengecualian yang mengirim email jika file yang diunggah tidak dalam format CSV, dan langkah nominal gagal

Untuk memulai langkah penanganan pengecualian, AWS Lambda fungsi dalam langkah nominal harus merespons dengan. Status="FAILURE" Untuk informasi selengkapnya tentang penanganan kesalahan dalam alur kerja, lihatGunakan langkah-langkah pemrosesan file khusus.

Menghapus alur kerja dari server Transfer Family

Jika Anda telah mengaitkan alur kerja dengan server Transfer Family, dan sekarang Anda ingin menghapus asosiasi tersebut, Anda dapat melakukannya dengan menggunakan konsol atau secara terprogram.

Console

Untuk menghapus alur kerja dari server Transfer Family

1. Buka AWS Transfer Family konsol di https://console.aws.amazon.com/transfer/.

2. Di panel navigasi kiri, pilih Server.

3. Pilih pengenal untuk server di kolom ID Server.

4. Pada halaman detail untuk server, gulir ke bawah ke bagian Detail tambahan, lalu pilih Edit.

5. Pada halaman Edit detail tambahan, di bagian Alur kerja terkelola, kosongkan informasi untuk semua pengaturan:

   • Pilih tanda hubung (-) dari daftar alur kerja untuk Alur Kerja untuk upload file lengkap.

   • Jika belum dihapus, pilih tanda hubung (-) dari daftar alur kerja untuk Alur Kerja untuk unggahan file sebagian.

   • Pilih tanda hubung (-) dari daftar peran untuk peran eksekusi alur kerja terkelola.

   Jika Anda tidak melihat tanda hubung, gulir ke atas hingga Anda melihatnya, karena ini adalah nilai pertama di setiap menu.

   Layar akan terlihat seperti berikut ini.

   

6. Gulir ke bawah dan pilih Simpan untuk menyimpan perubahan Anda.

CLI

Anda menggunakan panggilan update-server (atau UpdateServer untuk API), dan memberikan argumen kosong untuk OnUpload dan OnPartialUpload parameter.

Dari AWS CLI, jalankan perintah berikut:

aws transfer update-server --server-id your-server-id --workflow-details '{"OnPartialUpload":[],"OnUpload":[]}'

Ganti your-server-id dengan ID untuk server Anda. Misalnya, jika ID server Andas-01234567890abcdef, perintahnya adalah sebagai berikut:

aws transfer update-server --server-id s-01234567890abcdef --workflow-details '{"OnPartialUpload":[],"OnUpload":[]}'

Pembatasan dan batasan alur kerja yang dikelola

Pembatasan

Pembatasan berikut saat ini berlaku untuk alur kerja pemrosesan pasca-unggah untuk. AWS Transfer Family

• AWS Lambda Fungsi lintas akun dan lintas wilayah tidak didukung. Namun, Anda dapat menyalin seluruh akun, asalkan kebijakan AWS Identity and Access Management (IAM) Anda dikonfigurasi dengan benar.

• Untuk semua langkah alur kerja, setiap bucket Amazon S3 yang diakses oleh alur kerja harus berada di wilayah yang sama dengan alur kerja itu sendiri.

• Untuk langkah dekripsi, tujuan dekripsi harus cocok dengan sumber untuk Wilayah dan penyimpanan cadangan (misalnya, jika file yang akan didekripsi disimpan di Amazon S3, maka tujuan yang ditentukan juga harus di Amazon S3).

• Hanya langkah kustom asinkron yang didukung.

• Batas waktu langkah khusus adalah perkiraan. Artinya, mungkin perlu waktu sedikit lebih lama dari yang ditentukan. Selain itu, alur kerja tergantung pada fungsi Lambda. Oleh karena itu, jika fungsi tertunda selama eksekusi, alur kerja tidak menyadari penundaan.

• Jika Anda melebihi batas pembatasan, Transfer Family tidak menambahkan operasi alur kerja ke antrian.

• Alur kerja tidak dimulai untuk file yang memiliki ukuran 0. File dengan ukuran lebih besar dari 0 melakukan memulai alur kerja terkait.

Batasan

Selain itu, batasan fungsional berikut berlaku untuk alur kerja untuk Transfer Family:

• Jumlah alur kerja per Wilayah, per akun, dibatasi hingga 10.

• Batas waktu maksimum untuk langkah-langkah khusus adalah 30 menit.

• Jumlah maksimum langkah dalam alur kerja adalah 8.

• Jumlah maksimum tag per alur kerja adalah 50.

• Jumlah maksimum eksekusi bersamaan yang berisi langkah dekripsi adalah 250 per alur kerja.

• Anda dapat menyimpan maksimal 3 kunci pribadi PGP, per server Transfer Family, per pengguna.

• Ukuran maksimum untuk file yang didekripsi adalah 10 GB.

• Kami membatasi tingkat eksekusi baru menggunakan sistem token bucket dengan kapasitas burst 100 dan tingkat isi ulang 1.

• Setiap kali Anda menghapus alur kerja dari server dan menggantinya dengan yang baru, atau memperbarui konfigurasi server (yang memengaruhi peran eksekusi alur kerja), Anda harus menunggu sekitar 10 menit sebelum menjalankan alur kerja baru. Server Transfer Family menyimpan cache detail alur kerja, dan dibutuhkan waktu 10 menit bagi server untuk menyegarkan cache-nya.

  Selain itu, Anda harus keluar dari sesi SFTP aktif apa pun, dan kemudian masuk kembali setelah masa tunggu 10 menit untuk melihat perubahannya.