Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
EmrCluster
Merepresentasikan konfigurasi klaster Amazon EMR. Objek ini digunakan oleh EmrActivity dan HadoopActivity untuk meluncurkan sebuah klaster.
Penjadwal
Penjadwal menyediakan cara untuk menentukan alokasi sumber daya dan prioritas tugas dalam klaster Hadoop. Administrator atau pengguna dapat memilih penjadwal untuk berbagai kelas pengguna dan aplikasi. Penjadwal bisa menggunakan antrean untuk mengalokasikan sumber daya untuk pengguna dan aplikasi. Anda mengatur antrean tersebut ketika Anda membuat klaster. Anda kemudian dapat mengatur prioritas untuk jenis pekerjaan tertentu dan pengguna atas orang lain. Ini menyediakan untuk efisien penggunaan klaster sumber daya, sementara mengizinkan lebih dari satu pengguna untuk mengirimkan pekerjaan ke klaster. Ada tiga jenis penjadwal yang tersedia:
-
FairScheduler
— Upaya untuk menjadwalkan sumber daya secara merata selama periode waktu yang signifikan. -
CapacityScheduler
- Menggunakan antrian untuk memungkinkan administrator klaster menetapkan pengguna ke antrian dengan berbagai prioritas dan alokasi sumber daya. -
Default — Digunakan oleh klaster, yang dapat dikonfigurasi oleh situs Anda.
Amazon EMR Versi Rilis
Rilis Amazon EMR adalah seperangkat aplikasi sumber terbuka dari ekosistem big data. Setiap rilis terdiri dari aplikasi big data, komponen, dan fitur yang berbeda yang bisa Anda pilih untuk diinstal dan dikonfigurasi oleh Amazon EMR ketika Anda membuat sebuah klaster. Anda menentukan versi rilis menggunakan Label rilis. Label rilis ada dalam bentukemr-. Sebagai contoh, x.x.xemr-5.30.0. Klaster Amazon EMR berdasarkan label rilis emr-4.0.0 dan kemudian menggunakan properti releaseLabel untuk menentukan label rilis dari objek EmrCluster. Versi sebelumnya menggunakan properti amiVersion.
penting
Semua klaster Amazon EMR dibuat menggunakan rilis versi 5.22.0 atau yang lebih baru menggunakan Tanda Tangan Versi 4 untuk mengautentikasi permintaan ke Amazon S3. Beberapa versi rilis sebelumnya menggunakan Tanda Tangan Versi 2. Support Tanda Tangan versi 2 sedang dihentikan. Untuk informasi selengkapnya, lihat Amazon S3 Update – Sigv2 Periode Pengusangan Diperpanjang dan Dimodifikasi
Pertimbangan dan Batasan
Gunakan versi terbaru Task Runner
Jika Anda menggunakan objek EmrCluster yang dikelola sendiri dengan label rilis, gunakan Task Runner terbaru. Untuk informasi selengkapnya tentang Task Runner, lihat Bekerja dengan Runner Tugas. Anda dapat mengonfigurasi nilai properti untuk semua klasifikasi konfigurasi Amazon EMR. Untuk informasi selengkapnya, lihat Mengonfigurasi Aplikasi di Panduan Rilis Amazon EMR, EmrConfiguration, dan referensi objek Properti.
Dukungan untuk IMDSv2
Sebelumnya,AWS Data Pipelinedidukung hanya IMDSv1. Sekarang,AWS Data Pipelinemendukung IMDSv2 di Amazon EMR 5.23.1, 5.27.1, dan 5.32 atau lebih baru, dan Amazon EMR 6.2 atau yang lebih baru. IMDSv2 menggunakan metode berorientasi sesi untuk menangani otentikasi dengan lebih baik saat mengambil informasi metadata dari instance. Anda harus mengkonfigurasi instance Anda untuk membuat panggilan IMDSv2 dengan membuat sumber daya yang dikelola pengguna menggunakanTaskRunner-2,0.
Amazon EMR 5.32 atau lebih baru dan Amazon EMR 6.x
Seri rilis Amazon EMR 5.32 atau yang lebih baru dan 6.x menggunakan Hadoop versi 3.x, yang memperkenalkan perubahan melanggar dalam cara classpath Hadoop dievaluasi dibandingkan dengan Hadoop versi 2.x. Perpustakaan umum seperti Joda-Time telah dihapus dari classpath.
Jika EmrActivity atau HadoopActivity menjalankan file Jar yang memiliki dependensi pada perpustakaan yang telah dihapus di Hadoop 3.x, langkah gagal dengan kesalahan java.lang.NoClassDefFoundError atau java.lang.ClassNotFoundException. Hal ini dapat terjadi untuk file Jar yang berjalan tanpa masalah menggunakan versi rilis Amazon EMR 5.x.
Untuk memperbaiki masalah ini, Anda harus menyalin file Jar dependensi ke classpath Hadoop pada objek EmrCluster sebelum memulai EmrActivity atau HadoopActivity. Kami menyediakan script bash untuk melakukan hal ini. Script bash tersedia di lokasi berikut, di manaMyRegionadalahAWSWilayah di mana AndaEmrClusterobjek berjalan, misalnyaus-west-2.
s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh
Cara untuk menjalankan script tergantung pada apakah EmrActivity atau HadoopActivity berjalan pada sumber daya yang dikelola oleh AWS Data Pipeline atau berjalan pada sumber daya yang dikelola sendiri.
Jika Anda menggunakan sumber daya yang dikelola oleh AWS Data Pipeline, menambahkan bootstrapAction ke objek EmrCluster. bootstrapAction menentukan script dan file Jar untuk menyalin sebagai argumen. Anda dapat menambahkan hingga 255 bidang bootstrapAction per objek EmrCluster, dan Anda dapat menambahkan bidang bootstrapAction ke objek EmrCluster yang sudah memiliki tindakan bootstrap.
Untuk menentukan script ini sebagai tindakan bootstrap, gunakan sintaks berikut, di manaJarFileRegionadalah Wilayah tempat file Jar disimpan, dan masing-masingMyJarFilenadalah jalur absolut di Amazon S3 dari file Jar yang akan disalin ke classpath Hadoop. Jangan menentukan file Jar yang berada di classpath Hadoop secara default.
s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]
Contoh berikut menentukan tindakan bootstrap yang menyalin dua file Jar di Amazon S3: my-jar-file.jar dan emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar. Wilayah yang digunakan dalam contoh ini adalah us-west-2.
{ "id" : "MyEmrCluster", "type" : "EmrCluster", "keyPair" : "my-key-pair", "masterInstanceType" : "m5.xlarge", "coreInstanceType" : "m5.xlarge", "coreInstanceCount" : "2", "taskInstanceType" : "m5.xlarge", "taskInstanceCount": "2", "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"] }
Anda harus menyimpan dan mengaktifkan alur untuk perubahan ke bootstrapAction untuk mengambil efek.
Jika Anda menggunakan sumber daya yang dikelola sendiri, Anda dapat mengunduh script untuk instans klaster dan menjalankannya dari baris perintah menggunakan SSH. Script membuat direktori bernama /etc/hadoop/conf/shellprofile.d dan sebuah file bernama datapipeline-jars.sh dalam direktori itu. File jar disediakan sebagai argumen baris perintah disalin ke direktori yang script ciptakan yang bernama /home/hadoop/datapipeline_jars. Jika klaster Anda diatur berbeda, modifikasi script dengan tepat setelah mengunduhnya.
Sintaks untuk menjalankan script pada baris perintah sedikit berbeda dari menggunakan bootstrapAction yang ditunjukkan pada contoh sebelumnya. Gunakan spasi bukan koma antara argumen, seperti yang ditunjukkan dalam contoh berikut.
./copy-jars-to-hadoop-classpath.shus-west-2s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar
Izin Amazon EMR
Ketika Anda membuat IAM role kustom, hati-hati mempertimbangkan izin minimum yang diperlukan untuk klaster Anda untuk melakukan pekerjaan. Pastikan untuk memberikan akses ke sumber daya yang diperlukan, seperti file di Amazon S3 atau data di Amazon RDS, Amazon Redshift, atau DynamoDB. Jika Anda ingin mengatur visibleToAllUsers ke SALAH, peran Anda harus memiliki izin yang tepat untuk melakukannya. Perhatikan bahwa DataPipelineDefaultRole tidak memiliki izin ini. Anda harus memberikan penyatuan peran DefaultDataPipelineResourceRole dan DataPipelineDefaultRole sebagai peran objek EmrCluster, atau membuat peran Anda sendiri untuk tujuan ini.
Sintaksis
| Bidang Invokasi Objek | Deskripsi | Jenis Slot |
|---|---|---|
| jadwal | Objek ini dipanggil dalam pelaksanaan interval jadwal. Tentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi dependensi untuk objek ini. Anda dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan "schedule": {"ref":
"DefaultSchedule"}. Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), Anda dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html |
Objek Referensi, misalnya, "schedule":{"ref":"myScheduleId"} |
| Bidang Opsional | Deskripsi | Jenis Slot |
|---|---|---|
| actionOnResourceKegagalan | Tindakan yang diambil setelah kegagalan sumber daya untuk sumber daya ini. Nilai yang benar adalah "retryall", yang mencoba semua tugas ke klaster untuk durasi tertentu, dan "retrynone". |
String |
| actionOnTaskKegagalan | Tindakan yang diambil setelah kegagalan tugas untuk sumber daya ini. Nilai yang valid adalah "melanjutkan", yang berarti tidak mengakhiri klaster, dan "mengakhiri." | String |
| additionalMasterSecurityGroupIds | Pengenal kelompok keamanan utama tambahan klaster EMR, yang mengikuti bentuk sg-01XXXX6a. Untuk informasi selengkapnya, lihat Amazon EMR Grup Keamanan Tambahan di Panduan Manajemen Amazon EMR. | String |
| additionalSlaveSecurityGroupIds | Pengenal kelompok keamanan budak tambahan dari klaster EMR, yang mengikuti bentuk sg-01XXXX6a. |
String |
| amiVersion | Versi Amazon Machine Image (AMI) yang menggunakan Amazon EMR untuk menginstal simpul klaster. Untuk informasi lebih lanjut, lihat Panduan Manajemen Amazon EMR. | String |
| aplikasi | Aplikasi untuk diinstal di klaster dengan argumen yang dipisahkan koma. Secara default, Hive dan Pig diinstal. Parameter ini hanya berlaku untuk Amazon EMR versi 4.0 dan yang lebih baru. | String |
| attemptStatus | Status yang paling baru dilaporkan dari aktivitas jarak jauh. | String |
| attemptTimeout | Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel, maka aktivitas jarak jauh yang tidak lengkap dalam waktu mulai yang ditetapkan mungkin dicoba lagi. | Periode |
| availabilityZone | Availability Zone tempat menjalankan klaster. | String |
| bootstrapAction | Tindakan untuk dijalankan ketika klaster dimulai. Anda dapat menentukan argumen yang dipisahkan koma. Untuk menentukan beberapa tindakan, hingga 255, menambahkan beberapa bidang bootstrapAction. Perilaku defaultnya adalah memulai klaster tanpa tindakan bootstrap. |
String |
| konfigurasi | Konfigurasi untuk klaster Amazon EMR. Parameter ini hanya berlaku untuk Amazon EMR versi 4.0 dan yang lebih baru. | Objek Referensi, misalnya, "configuration":{"ref":"myEmrConfigurationId"} |
| coreInstanceBidHarga | Harga spot maksimum yang bersedia Anda bayarkan untuk Instans Amazon EC2. Jika harga tawaran ditentukan, Amazon EMR menggunakan Instans Spot untuk grup instans. Ditentukan dalam USD. | String |
| coreInstanceCount | Jumlah simpul inti yang digunakan untuk klaster. | Bulat |
| coreInstanceType | Tipe instans Amazon EC2 yang digunakan untuk simpul inti. Lihat Instans Amazon EC2 yang Didukung untuk klaster Amazon EMR . | String |
| coreGroupConfiguration | Konfigurasi untuk grup instans inti klaster Amazon EMR. Parameter ini hanya berlaku untuk Amazon EMR versi 4.0 dan yang lebih baru. | Objek Referensi, misalnya “configuration”: {“ref”:
“myEmrConfigurationId”} |
| coreEbsConfiguration | Konfigurasi untuk volume Amazon EBS yang akan melekat pada masing-masing simpul inti dalam kelompok inti di klaster Amazon EMR. Untuk informasi selengkapnya, lihat Tipe Instans yang Support Optimalisasi EBS di Panduan Pengguna Amazon EC2 untuk Instans Linux. | Objek Referensi, misalnya “coreEbsConfiguration”: {“ref”:
“myEbsConfiguration”} |
| customAmiId | Hanya berlaku untuk rilis Amazon EMR versi 5.7.0 dan yang lebih baru. Menentukan ID AMI dari AMI kustom yang akan digunakan saat Amazon EMR menyediakan instans Amazon EC2. Hal ini juga dapat digunakan sebagai pengganti tindakan bootstrap untuk menyesuaikan konfigurasi node cluster. Untuk informasi selengkapnya, lihat topik berikut di Panduan Manajemen Amazon EMR. Menggunakan AMI kustom | String |
| EbsBlockDeviceConfig |
Konfigurasi perangkat blok Amazon EBS yang diminta terkait dengan grup instans. Termasuk sejumlah volume tertentu yang akan dikaitkan dengan setiap instans dalam grup instans. Termasuk
|
Objek Referensi, misalnya “EbsBlockDeviceConfig”: {“ref”:
“myEbsBlockDeviceConfig”} |
| emrManagedMasterSecurityGroupId | Pengenal grup keamanan utama tambahan dari klaster Amazon EMR, yang mengikuti bentuk sg-01XXXX6a. Untuk informasi selengkapnya, lihat Mengonfigurasi Grup Keamanan dalam Panduan Manajemen Amazon EMR. |
String |
| emrManagedSlaveSecurityGroupId | Pengenal grup keamanan budak tambahan dari klaster Amazon EMR, yang mengikuti bentuk sg-01XXXX6a. |
String |
| enableDebugging | Mengaktifkan debugging pada klaster Amazon EMR. | String |
| failureAndRerunModus | Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali. | Pencacahan |
| hadoopSchedulerType | Jenis penjadwal klaster. Jenis yang valid adalah:
PARALLEL_FAIR_SCHEDULING,
PARALLEL_CAPACITY_SCHEDULING, dan
DEFAULT_SCHEDULER. |
Pencacahan |
| httpProxy | Host proksi yang klien gunakan untuk ter-connect ke layanan AWS. | Objek Referensi, misalnya, “HttpProxy”: {"ref”:”myHttpProxyId "} |
| initTimeout | Jumlah waktu untuk menunggu sumber daya dimulai. | Periode |
| keyPair | Pasangan kunci Amazon EC2 untuk digunakan untuk masuk ke simpul utama klaster Amazon EMR. | String |
| lateAfterTimeout | Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand. |
Periode |
| masterInstanceBidHarga | Harga spot maksimum yang bersedia Anda bayarkan untuk Instans Amazon EC2. Ini adalah nilai desimal antara 0 dan 20,00, eksklusif. Ditentukan dalam USD. Menetapkan nilai ini mengaktifkan Instans Spot untuk simpul utama klaster Amazon EMR. Jika harga tawaran ditentukan, Amazon EMR menggunakan Instans Spot untuk grup instans. | String |
| masterInstanceType | Tipe instans Amazon EC2 yang digunakan untuk simpul utama. Lihat Instans Amazon EC2 yang Didukung untuk klaster Amazon EMR . | String |
| masterGroupConfiguration | Konfigurasi untuk grup instans utama klaster Amazon EMR. Parameter ini hanya berlaku untuk Amazon EMR versi 4.0 dan yang lebih baru. | Objek Referensi, misalnya “configuration”: {“ref”:
“myEmrConfigurationId”} |
| masterEbsConfiguration | Konfigurasi untuk volume Amazon EBS yang akan melekat pada masing-masing simpul utama dalam grup utama di klaster Amazon EMR. Untuk informasi selengkapnya, lihat Tipe Instans yang Support Optimalisasi EBS di Panduan Pengguna Amazon EC2 untuk Instans Linux. | Objek Referensi, misalnya “masterEbsConfiguration”: {“ref”:
“myEbsConfiguration”} |
| maxActiveInstances | Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif. | Bulat |
| maximumRetries | Upaya jumlah maksimum mencoba lagi pada kegagalan. | Bulat |
| onFail | Tindakan untuk dijalankan ketika objek saat ini gagal. | Objek Referensi, misalnya, "onFail":{"ref":"myActionId"} |
| onLateAction | Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai. | Objek Referensi, misalnya, "onLateAction":{"ref":"myActionId"} |
| onSuccess | Tindakan untuk dijalankan ketika objek saat ini berhasil. | Objek Referensi, misalnya, "onSuccess":{"ref":"myActionId"} |
| induk | Induk dari objek saat ini dari mana slot diwariskan. | Objek Referensi, misalnya. "parent":{"ref":"myBaseObjectId"} |
| pipelineLogUri | URI Amazon S3 (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline. | String |
| wilayah | Kode untuk wilayah tempat klaster Amazon EMR harus berjalan. Secara default, klaster berjalan di Wilayah yang sama dengan alur. Anda dapat menjalankan klaster di Wilayah yang sama sebagai set data bergantung. | Pencacahan |
| releaseLabel | Label rilis untuk klaster EMR. | String |
| reportProgressTimeout | Timeout untuk panggilan berurutan kerja jarak jauh ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi. |
Periode |
| resourceRole | IAM role yang AWS Data Pipeline gunakan untuk membuat klaster Amazon EMR. Peran defaultya adalah DataPipelineDefaultRole. |
String |
| retryDelay | Durasi timeout antara dua upaya coba lagi. | Periode |
| peran | IAM role diteruskan ke Amazon EMR untuk membuat simpul EC2. | String |
| runsOn | Bidang ini tidak diizinkan pada objek ini. | Objek Referensi, misalnya, "runsOn":{"ref":"myResourceId"} |
| Konfigurasi Keamanan | Pengenal konfigurasi keamanan EMR yang akan diterapkan ke cluster. Parameter ini hanya berlaku untuk Amazon EMR versi 4.8.0 dan yang lebih baru. | String |
| serviceAccessSecurityGroupId | Pengenal grup keamanan akses layanan klaster Amazon EMR. | String. Ini mengikuti bentuk sg-01XXXX6a, misalnya, sg-1234abcd. |
| scheduleType | Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval, atau akhir interval. Nilai adalah: cron, ondemand, dan timeseries. Penjadwalan timeseries berarti bahwa instans dijadwalkan pada akhir setiap interval. Penjadwalan cron berarti bahwa instans dijadwalkan pada awal setiap interval. Jadwal ondemand mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal ondemand itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan alur ondemand, panggil operasi ActivatePipeline untuk setiap putaran berikutnya. |
Pencacahan |
| subnetId | Pengenal subnet ke tempat untuk meluncurkan klaster Amazon EMR. | String |
| supportedProducts | Parameter yang menginstal perangkat lunak pihak ke tiga pada klaster Amazon EMR, misalnya, distribusi pihak ke tiga Hadoop. | String |
| taskInstanceBidHarga | Harga spot maksimum yang bersedia Anda bayarkan untuk instans EC2. Nilai desimal antara 0 dan 20,00, eksklusif. Ditentukan dalam USD. Jika harga tawaran ditentukan, Amazon EMR menggunakan Instans Spot untuk grup instans. | String |
| taskInstanceCount | Jumlah simpul tugas untuk digunakan untuk klaster Amazon EMR. | Bulat |
| taskInstanceType | Tipe instans Amazon EC2 yang digunakan untuk simpul tugas. | String |
| taskGroupConfiguration | Konfigurasi untuk grup instans tugas klaster Amazon EMR. Parameter ini hanya berlaku untuk Amazon EMR versi 4.0 dan yang lebih baru. | Objek Referensi, misalnya “configuration”: {“ref”:
“myEmrConfigurationId”} |
| taskEbsConfiguration | Konfigurasi untuk volume Amazon EBS yang akan melekat pada masing-masing simpul tugas dalam grup tugas di klaster Amazon EMR. Untuk informasi selengkapnya, lihat Tipe Instans yang Support Optimalisasi EBS di Panduan Pengguna Amazon EC2 untuk Instans Linux. | Objek Referensi, misalnya “taskEbsConfiguration”: {“ref”:
“myEbsConfiguration”} |
| terminateAfter | Mengakhiri sumber daya setelah berjam-jam ini. | Bulat |
| VolumeSpecification |
Spesifikasi volume Amazon EBS, seperti jenis volume, IOPS, dan ukuran dalam Gigibytes (GiB) yang akan diminta untuk volume Amazon EBS terlampir ke instans Amazon EC2 dalam klaster Amazon EMR. Simpul bisa menjadi inti, utama atau simpul tugas.
|
Objek Referensi, misalnya “VolumeSpecification”: {“ref”:
“myVolumeSpecification”} |
| useOnDemandOnLastAttempt | Pada upaya terakhir untuk meminta sumber daya, buat permintaan untuk Instans Sesuai Permintaan daripada Instans Spot. Hal ini memastikan bahwa jika semua upaya sebelumnya telah gagal, upaya terakhir tidak terganggu. | Boolean |
| workerGroup | Bidang tidak diizinkan pada objek ini. | String |
| Bidang Runtime | Deskripsi | Jenis Slot |
|---|---|---|
| @activeInstances | Daftar objek instans aktif terjadwal saat ini. | Referensi Objek, misalnya, “ActiveInstances”: {"ref”:”myRunnableObjectId "} |
| @actualEndTime | Waktu ketika eksekusi objek ini selesai. | DateTime |
| @actualStartTime | Waktu ketika eksekusi objek ini dimulai. | DateTime |
| cancellationReason | cancellationReason jika objek ini dibatalkan. | String |
| @cascadeFailedOn | Deskripsi rantai dependensi tempat objek gagal. | Objek Referensi, misalnya,”cascadeFailedOn“: {" ref”:”myRunnableObjectId "} |
| emrStepLog | Log langkah tersedia hanya pada upaya aktivitas Amazon EMR. | String |
| errorId | ID kesalahan jika objek ini gagal. | String |
| errorMessage | Pesan galat jika objek ini gagal. | String |
| errorStackTrace | Jejak tumpukan kesalahan jika objek ini gagal. | String |
| @failureReason | Alasan kegagalan sumber daya. | String |
| @finishedTime | Waktu saat objek ini menyelesaikan eksekusinya. | DateTime |
| hadoopJobLog | Log tugas Hadoop yang tersedia pada upaya untuk aktivitas Amazon EMR. | String |
| @healthStatus | Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusFromInstanceId | ID dari objek instans terakhir yang mencapai keadaan dihentikan. | String |
| @healthStatusUpdatedWaktu | Waktu di mana status kondisi diperbarui terakhir kali. | DateTime |
| hostname | Nama host klien yang mengambil upaya tugas. | String |
| @lastDeactivatedTime | Waktu di mana objek ini terakhir dinonaktifkan. | DateTime |
| @latestCompletedRunWaktu | Waktu proses terakhir yang eksekusinya selesai. | DateTime |
| @latestRunTime | Waktu proses terakhir untuk eksekusi yang dijadwalkan. | DateTime |
| @nextRunTime | Waktu run yang akan dijadwalkan berikutnya. | DateTime |
| reportProgressTime | Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan. | DateTime |
| @scheduledEndTime | Jadwalkan akhir waktu untuk objek. | DateTime |
| @scheduledStartTime | Jadwalkan waktu mulai untuk objek. | DateTime |
| @status | Status objek ini. | String |
| @version | Versi alur dengan objek yang dibuat. | String |
| @waitingOn | Deskripsi daftar dependensi yang menunggu objek ini. | Objek Referensi, misalnya, “WaitingOn”: {"ref”:”myRunnableObjectId "} |
| Bidang Sistem | Deskripsi | Jenis Slot |
|---|---|---|
| @error | Galat menggambarkan objek yang tidak terbentuk. | String |
| @pipelineId | ID dari alur tempat objek ini berada. | String |
| @sphere | Tempat objek dalam siklus hidup. objek komponen memunculkan objek instans, yang mengeksekusi objek percobaan. | String |
Lihat Juga
