S3 DataNode

Mendefinisikan simpul data menggunakan Amazon S3. Secara default, S3 DataNode menggunakan enkripsi sisi server. Jika Anda ingin menonaktifkan ini, setel s3 EncryptionType ke NONE.

catatan

Saat Anda menggunakan S3DataNode sebagai masukan ke CopyActivity, hanya format data CSV dan TSV yang disupport.

Contoh

Berikut adalah contoh dari jenis objek ini. Objek ini mereferensikan objek lain yang Anda akan definisikan dalam file definisi alur yang sama. CopyPeriod adalah objek Schedule.

{
  "id" : "OutputData",
  "type" : "S3DataNode",
  "schedule" : { "ref" : "CopyPeriod" },
  "filePath" : "s3://myBucket/#{@scheduledStartTime}.csv"
}

Sintaksis

Bidang Invokasi Objek	Deskripsi	Jenis Slot
jadwal	Objek ini dipanggil dalam pelaksanaan interval jadwal. Pengguna harus menentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi ketergantungan untuk objek ini. Pengguna dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan “jadwal”: {"ref”: "“}. DefaultSchedule Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), pengguna dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html	Objek Referensi, misalnya “schedule”: {"ref”:” myScheduleId “}

Bidang Opsional	Deskripsi	Jenis Slot
attemptStatus	Baru-baru ini melaporkan status dari aktivitas jarak jauh.	String
attemptTimeout	Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel maka aktivitas jarak jauh yang tidak selesai dalam waktu mulai yang ditetapkan dapat dicoba lagi.	Periode
Kompresi	Jenis kompresi untuk data yang dijelaskan oleh S3DataNode. “none” tidak ada kompresi dan “gzip” dikompresi dengan algoritma gzip. Bidang ini hanya didukung untuk digunakan dengan Amazon Redshift dan saat Anda menggunakan DataNode S3 dengan. CopyActivity	Pencacahan
dataFormat	DataFormat untuk data yang dijelaskan oleh S3 DataNode ini.	Objek Referensi, misalnya “DataFormat”: {"ref”:” myDataFormat Id "}
dependsOn	Tentukan ketergantungan pada objek lain yang bisa dijalankan	Objek Referensi, misalnya “DependsOn”: {"ref”:” “} myActivityId
directoryPath	Jalur direktori Amazon S3 sebagai URI: s3://my-bucket/. my-key-for-directory Anda harus memberikan nilai filePath atau directoryPath.	String
failureAndRerunModus	Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali	Pencacahan
filePath	Jalur ke objek di Amazon S3 sebagai URI, misalnya: s3://my-bucket/. my-key-for-file Anda harus memberikan nilai filePath atau directoryPath. Ini mewakili folder dan nama file. Gunakan nilai directoryPath untuk mengakomodasi beberapa file dalam direktori.	String
lateAfterTimeout	Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand.	Periode
manifestFilePath	Jalur Amazon S3 ke file manifes dalam format yang disupport oleh Amazon Redshift. AWS Data Pipeline menggunakan file manifes untuk menyalin file Amazon S3 yang ditentukan ke dalam tabel. Bidang ini hanya valid ketika RedShiftCopyActivity referensi S3DataNode.	String
maxActiveInstances	Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif.	Bulat
maximumRetries	Jumlah maksimum percobaan ulang pada pelanggaran	Bulat
onFail	Tindakan untuk dijalankan ketika objek saat ini gagal.	Objek Referensi, misalnya “onFail”: {"ref”:” “} myActionId
onLateAction	Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai.	Objek Referensi, misalnya "onLateAction“: {" ref”:” myActionId “}
onSuccess	Tindakan untuk dijalankan ketika objek saat ini berhasil.	Objek Referensi, misalnya “onSuccess”: {"ref”:” “} myActionId
induk	Induk dari objek saat ini dari mana slot akan diwariskan.	Objek Referensi, misalnya “induk”: {"ref”:” myBaseObject Id "}
pipelineLogUri	URI S3 (seperti 's3://BucketName/Key/ ') untuk mengunggah log untuk pipeline.	String
prasyarat	Mendefinisikan prasyarat secara opsional. Sebuah simpul data tidak ditandai "READY" sampai semua prasyarat telah terpenuhi.	Objek Referensi, misalnya “prasyarat”: {"ref”:” “myPreconditionId}
reportProgressTimeout	Timeout untuk panggilan kerja jarak jauh berturut-turut ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi.	Periode
retryDelay	Durasi timeout antara dua upaya coba lagi.	Periode
runsOn	Sumber daya komputasi untuk menjalankan aktivitas atau perintah. Misalnya, instans Amazon EC2 atau klaster Amazon EMR.	Objek Referensi, misalnya “RunsOn”: {"ref”:” “} myResourceId
s3 EncryptionType	Mengganti jenis enkripsi Amazon S3. Nilai adalah SERVER_SIDE_ENCRYPTION atau NONE. Enkripsi sisi server diaktifkan secara default.	Pencacahan
scheduleType	Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Penjadwalan Gaya Deret Waktu berarti instans dijadwalkan pada akhir setiap interval dan Penjadwalan Gaya Cron berarti intans dijadwalkan pada awal setiap interval. Jadwal sesuai permintaan mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal sesuai permintaan itu harus ditentukan dalam objek default dan harus menjadi satu-satunya scheduleType yang ditentukan untuk objek dalam alur. Untuk menggunakan saluran pipa sesuai permintaan, Anda cukup memanggil ActivatePipeline operasi untuk setiap proses berikutnya. Nilai adalah: cron, ondemand, dan timeseries.	Pencacahan
workerGroup	Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup diabaikan.	String

Bidang Runtime	Deskripsi	Jenis Slot
@activeInstances	Daftar objek instans aktif terjadwal saat ini.	Objek Referensi, misalnya “ActiveInstances”: {"ref”:” Id "} myRunnableObject
@actualEndTime	Waktu ketika eksekusi objek ini selesai.	DateTime
@actualStartTime	Waktu ketika eksekusi objek ini dimulai.	DateTime
cancellationReason	cancellationReason jika objek ini dibatalkan.	String
@cascadeFailedOn	Deskripsi rantai dependensi tempat objek gagal.	Objek Referensi, misalnya "cascadeFailedOn“: {" ref”:” myRunnableObject Id "}
emrStepLog	Log langkah EMR hanya tersedia pada upaya aktivitas EMR	String
errorId	errorId jika objek ini gagal.	String
errorMessage	errorMessage jika objek ini gagal.	String
errorStackTrace	Jejak tumpukan kesalahan jika objek ini gagal.	String
@finishedTime	Waktu saat objek ini menyelesaikan eksekusinya.	DateTime
hadoopJobLog	log tugas Hadoop tersedia pada upaya untuk kegiatan berbasis EMR.	String
@healthStatus	Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan.	String
@healthStatusFromInstanceId	Id dari objek instans terakhir yang mencapai keadaan dihentikan.	String
@ healthStatusUpdated Waktu	Waktu di mana status kondisi diperbarui terakhir kali.	DateTime
hostname	Nama host klien yang mengambil upaya tugas.	String
@lastDeactivatedTime	Waktu di mana objek ini terakhir dinonaktifkan.	DateTime
@ latestCompletedRun Waktu	Waktu proses terakhir yang eksekusinya selesai.	DateTime
@latestRunTime	Waktu proses terakhir untuk eksekusi yang dijadwalkan.	DateTime
@nextRunTime	Waktu run yang akan dijadwalkan berikutnya.	DateTime
reportProgressTime	Waktu terbaru bahwa aktivitas jarak jauh melaporkan kemajuan.	DateTime
@scheduledEndTime	Jadwalkan waktu akhir untuk objek	DateTime
@scheduledStartTime	Jadwalkan waktu mulai untuk objek	DateTime
@status	Status objek ini.	String
@version	Versi alur objek dibuat dengan.	String
@waitingOn	Deskripsi daftar dependensi objek ini sedang menunggu.	Objek Referensi, misalnya “WaitingOn”: {"ref”:” Id "} myRunnableObject

Bidang Sistem	Deskripsi	Jenis Slot
@error	Galat mendeskripsikan obyek yang tidak terbentuk	String
@pipelineId	Id dari alur tempat objek ini berada	String
@sphere	Lingkup dari sebuah objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Objects	String

Lihat Juga

• MySqlDataNode