HiveCopyActivity

PDF

Menjalankan query Hive pada sebuah EMR cluster. HiveCopyActivitymembuatnya lebih mudah untuk menyalin data antara tabel DynamoDB. HiveCopyActivitymenerima pernyataan HiveQL untuk memfilter data masukan dari DynamoDB di tingkat kolom dan baris.

Contoh

Contoh berikut menunjukkan cara menggunakan HiveCopyActivity dan DynamoDBExportDataFormat untuk menyalin data dari satu DynamoDBDataNode ke yang lain, sementara mem-filter data, berdasarkan stempel waktu.

{
  "objects": [
    {
      "id" : "DataFormat.1",
      "name" : "DataFormat.1",
      "type" : "DynamoDBExportDataFormat",
      "column" : "timeStamp BIGINT"
    },
    {
      "id" : "DataFormat.2",
      "name" : "DataFormat.2",
      "type" : "DynamoDBExportDataFormat"
    },
    {
      "id" : "DynamoDBDataNode.1",
      "name" : "DynamoDBDataNode.1",
      "type" : "DynamoDBDataNode",
      "tableName" : "item_mapped_table_restore_temp",
      "schedule" : { "ref" : "ResourcePeriod" },
      "dataFormat" : { "ref" : "DataFormat.1" }
    },
    {
      "id" : "DynamoDBDataNode.2",
      "name" : "DynamoDBDataNode.2",
      "type" : "DynamoDBDataNode",
      "tableName" : "restore_table",
      "region" : "us_west_1",
      "schedule" : { "ref" : "ResourcePeriod" },
      "dataFormat" : { "ref" : "DataFormat.2" }
    },
    {
      "id" : "EmrCluster.1",
      "name" : "EmrCluster.1",
      "type" : "EmrCluster",
      "schedule" : { "ref" : "ResourcePeriod" },
      "masterInstanceType" : "m1.xlarge",
      "coreInstanceCount" : "4"
    },
    {
      "id" : "HiveTransform.1",
      "name" : "Hive Copy Transform.1",
      "type" : "HiveCopyActivity",
      "input" : { "ref" : "DynamoDBDataNode.1" },
      "output" : { "ref" : "DynamoDBDataNode.2" },
      "schedule" :{ "ref" : "ResourcePeriod" },
      "runsOn" : { "ref" : "EmrCluster.1" },
      "filterSql" : "`timeStamp` > unix_timestamp(\"#{@scheduledStartTime}\", \"yyyy-MM-dd'T'HH:mm:ss\")"
    },
    {
      "id" : "ResourcePeriod",
      "name" : "ResourcePeriod",
      "type" : "Schedule",
      "period" : "1 Hour",
      "startDateTime" : "2013-06-04T00:00:00",
      "endDateTime" : "2013-06-04T01:00:00"
    }
  ]
}

Sintaks

Bidang Invokasi Objek	Deskripsi	Jenis Slot
jadwal	Objek ini dipanggil dalam pelaksanaan interval jadwal. Pengguna harus menentukan referensi jadwal ke objek lain untuk mengatur urutan eksekusi ketergantungan untuk objek ini. Pengguna dapat memenuhi persyaratan ini dengan secara eksplisit mengatur jadwal pada objek, misalnya, dengan menentukan “jadwal”: {"ref”: "“}. DefaultSchedule Dalam kebanyakan kasus, lebih baik untuk menempatkan referensi jadwal pada objek alur default sehingga semua objek mewarisi jadwal itu. Atau, jika alur memiliki pohon jadwal (jadwal dalam jadwal utama), pengguna dapat membuat objek induk yang memiliki referensi jadwal. Untuk informasi selengkapnya tentang konfigurasi jadwal opsional contoh, lihat https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html	Objek Referensi, misalnya “schedule”: {"ref”:” myScheduleId “}

Grup yang diperlukan (Salah satu dari berikut ini diperlukan)	Deskripsi	Jenis Slot
runsOn	Tentukan klaster untuk dijalankan.	Objek Referensi, misalnya "runsOn“: {" ref”:” myResourceId “}
workerGroup	Kelompok pekerja. Ini digunakan untuk tugas perutean. Jika Anda memberikan nilai runsOn dan workerGroup ada, workerGroup akan diabaikan.	String

Bidang Opsional	Deskripsi	Jenis Slot
attemptStatus	Status yang paling baru dilaporkan dari aktivitas jarak jauh.	String
attemptTimeout	Timeout untuk penyelesaian pekerjaan jarak jauh. Jika disetel, maka aktivitas jarak jauh yang tidak lengkap dalam waktu mulai yang ditetapkan mungkin dicoba lagi.	Periode
dependsOn	Menentukan dependensi pada objek yang bisa dijalankan lainnya.	Objek Referensi, misalnya "dependsOn“: {" ref”:” myActivityId “}
failureAndRerunModus	Menjelaskan perilaku simpul konsumen ketika dependensi gagal atau menjalankan kembali.	Pencacahan
filterSql	Fragmen SQL pernyataan Hive yang memfilter subset data DynamoDB atau Amazon S3 untuk disalin. Filter seharusnya hanya berisi predikat dan tidak dimulai dengan WHERE klausa, karena AWS Data Pipeline menambahkannya secara otomatis.	String
input	Sumber data input. Ini harus menjadi S3DataNode atau DynamoDBDataNode. Jika Anda menggunakan DynamoDBNode, tentukan DynamoDBExportDataFormat.	Objek Referensi, misalnya “input”: {"ref”:” myDataNode Id "}
lateAfterTimeout	Waktu berlalu setelah alur mulai di mana objek harus menyelesaikan. Hal ini dipicu hanya ketika jenis jadwal tidak disetel ke ondemand.	Periode
maxActiveInstances	Jumlah maksimum instans aktif bersamaan dari suatu komponen. Re-runs tidak dihitung terhadap jumlah instans aktif.	Bilangan Bulat
maximumRetries	Upaya jumlah maksimum mencoba lagi pada kegagalan.	Bilangan Bulat
onFail	Tindakan untuk dijalankan ketika objek saat ini gagal.	Objek Referensi, misalnya "onFail“: {" ref”:” myActionId “}
onLateAction	Tindakan yang harus dipicu jika objek belum dijadwalkan atau masih belum selesai.	Objek Referensi, misalnya "onLateAction“: {" ref”:” myActionId “}
onSuccess	Tindakan untuk dijalankan ketika objek saat ini berhasil.	Objek Referensi, misalnya "onSuccess“: {" ref”:” myActionId “}
output	Sumber data output. Jika input adalah S3DataNode, ini harus DynamoDBDataNode. Jika tidak, ini bisa S3DataNode atau DynamoDBDataNode. Jika Anda menggunakan DynamoDBNode, tentukan DynamoDBExportDataFormat.	Objek Referensi, misalnya “output”: {"ref”:” myDataNode Id "}
induk	Induk dari objek saat ini dari mana slot akan diwariskan.	Objek Referensi, misalnya “induk”: {"ref”:” myBaseObject Id "}
pipelineLogUri	Amazon S3URI, seperti 's3://BucketName/Key/', untuk mengunggah log untuk pipeline.	String
postActivityTaskConfig	Script konfigurasi post-activity yang akan dijalankan. Ini terdiri dari skrip shell di Amazon S3 dan daftar argumen. URI	Objek Referensi, misalnya "postActivityTaskConfig”: {"ref”:” “} myShellScript ConfigId
preActivityTaskConfig	Script konfigurasi pre-activity yang akan dijalankan. Ini terdiri dari skrip shell di Amazon S3 dan daftar argumen. URI	Objek Referensi, misalnya "preActivityTaskConfig”: {"ref”:” “} myShellScript ConfigId
prasyarat	Mendefinisikan prasyarat secara opsional. Node data tidak ditandai "READY" sampai semua prasyarat terpenuhi.	Objek Referensi, misalnya “prasyarat”: {"ref”:” “myPreconditionId}
reportProgressTimeout	Timeout untuk panggilan kerja jarak jauh berturut-turut ke reportProgress. Jika disetel, maka kegiatan jarak jauh yang tidak melaporkan kemajuan untuk jangka waktu tertentu dapat dianggap terhenti dan jadi dicoba lagi.	Periode
resizeClusterBeforeBerlari	Mengubah ukuran klaster sebelum melakukan aktivitas ini untuk mengakomodasi simpul data DynamoDB ditentukan sebagai input atau output. catatan Jika aktivitas Anda menggunakan node data input atau output, dan jika Anda menyetelnya resizeClusterBeforeRunningTRUE, AWS Data Pipeline mulailah menggunakan tipe m3.xlarge instance. DynamoDBDataNode Ini akan menimpa pilihan tipe instans Anda dengan m3.xlarge, yang dapat menambah biaya bulanan Anda.	Boolean
resizeClusterMaxContoh	Batas pada jumlah maksimum instans yang dapat diminta oleh algoritme resize	Bilangan Bulat
retryDelay	Durasi timeout antara dua upaya coba lagi.	Periode
scheduleType	Jenis jadwal mengizinkan Anda untuk menentukan apakah objek dalam definisi alur Anda harus dijadwalkan pada awal interval atau akhir interval. Penjadwalan Gaya Deret Waktu berarti instans dijadwalkan pada akhir setiap interval dan Penjadwalan Gaya Cron berarti intans dijadwalkan pada awal setiap interval. Jadwal sesuai permintaan mengizinkan Anda untuk menjalankan alur satu kali per aktivasi. Ini berarti Anda tidak perlu meng-klon atau membuat ulang alur untuk menjalankannya lagi. Jika Anda menggunakan jadwal sesuai permintaan, itu harus ditentukan dalam objek default dan harus menjadi satu-satunya yang scheduleType ditentukan untuk objek dalam pipeline. Untuk menggunakan saluran pipa sesuai permintaan, Anda cukup memanggil ActivatePipeline operasi untuk setiap proses berikutnya. Nilai adalah: cron, ondemand, dan timeseries.	Pencacahan

Bidang Runtime	Deskripsi	Jenis Slot
@activeInstances	Daftar objek instans aktif terjadwal saat ini.	Objek Referensi, misalnya "activeInstances“: {" ref”:” myRunnableObject Id "}
@actualEndTime	Waktu ketika eksekusi objek ini selesai.	DateTime
@actualStartTime	Waktu ketika eksekusi objek ini dimulai.	DateTime
cancellationReason	cancellationReason Jika objek ini dibatalkan.	String
@cascadeFailedOn	Deskripsi rantai dependensi tempat objek gagal.	Objek Referensi, misalnya "cascadeFailedOn“: {" ref”:” myRunnableObject Id "}
emrStepLog	Log EMR langkah Amazon hanya tersedia pada upaya EMR aktivitas.	String
errorId	errorId Jika objek ini gagal.	String
errorMessage	errorMessage Jika objek ini gagal.	String
errorStackTrace	Jejak tumpukan kesalahan jika objek ini gagal.	String
@finishedTime	Waktu saat objek ini menyelesaikan eksekusinya.	DateTime
hadoopJobLog	Log pekerjaan Hadoop tersedia pada upaya untuk aktivitas EMR berbasis.	String
@healthStatus	Status kondisi objek yang mencerminkan keberhasilan atau kegagalan instans objek terakhir yang mencapai keadaan dihentikan.	String
@healthStatusFromInstanceId	Id dari objek instans terakhir yang mencapai keadaan dihentikan.	String
@ healthStatusUpdated Waktu	Waktu di mana status kondisi diperbarui terakhir kali.	DateTime
hostname	Nama host klien yang mengambil upaya tugas.	String
@lastDeactivatedTime	Waktu di mana objek ini terakhir dinonaktifkan.	DateTime
@ latestCompletedRun Waktu	Waktu proses terakhir yang eksekusinya selesai.	DateTime
@latestRunTime	Waktu proses terakhir untuk eksekusi yang dijadwalkan.	DateTime
@nextRunTime	Waktu run yang akan dijadwalkan berikutnya.	DateTime
reportProgressTime	Waktu terbaru aktivitas jarak jauh melaporkan kemajuan.	DateTime
@scheduledEndTime	Jadwalkan akhir waktu untuk objek.	DateTime
@scheduledStartTime	Jadwalkan waktu mulai untuk objek.	DateTime
@status	Status objek ini.	String
@version	Versi alur objek dibuat dengan.	String
@waitingOn	Deskripsi daftar dependensi objek ini sedang menunggu.	Objek Referensi, misalnya "waitingOn“: {" ref”:” myRunnableObject Id "}

Bidang Sistem	Deskripsi	Jenis Slot
@error	Galat menggambarkan objek yang tidak terbentuk.	String
@pipelineId	Id dari alur tempat objek ini berada.	String
@sphere	Lingkup objek menunjukkan tempatnya dalam siklus hidup: Component Objects memunculkan Instance Objects yang mengeksekusi Attempt Object.	String

Lihat Juga

• ShellCommandActivity

• EmrActivity