Buat jadwal crawler - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat jadwal crawler

Anda dapat membuat jadwal untuk crawler menggunakan AWS Glue konsol atau AWS CLI.

AWS Management Console

  1. Masuk ke AWS Management Console, dan buka AWS Glue konsol di https://console.aws.amazon.com/glue/.

  2. Pilih Crawler di panel navigasi.

  3. Ikuti langkah 1-3 di Mengkonfigurasi crawler bagian ini.

  4. DiLangkah 4: Atur output dan penjadwalan, pilih jadwal Crawler untuk mengatur frekuensi lari. Anda dapat memilih crawler untuk dijalankan setiap jam, harian, mingguan, bulanan atau menentukan jadwal kustom menggunakan ekspresi cron.

    Ekspresi cron adalah string yang mewakili pola jadwal, yang terdiri dari 6 bidang yang dipisahkan oleh spasi: * * * * * <minute><hour><day of month><month><day of week><year>

    Misalnya, untuk menjalankan tugas setiap hari di tengah malam, ekspresi cron adalah: 0 0 * *? *

    Untuk informasi selengkapnya, lihat Ekspresi cron.

  5. Tinjau pengaturan crawler yang Anda konfigurasikan, dan buat crawler agar berjalan sesuai jadwal.

AWS CLI
aws glue create-crawler 
 --name myCrawler \
 --role AWSGlueServiceRole-myCrawler  \
 --targets '{"S3Targets":[{Path="s3://amzn-s3-demo-bucket/"}]}' \
 --schedule cron(15 12 * * ? *)

Untuk informasi selengkapnya tentang penggunaan cron untuk menjadwalkan Tugas dan crawler, lihat Jadwal berbasis waktu untuk pekerjaan dan crawler.