Buat pekerjaan impor massal (AWS CLI)

Gunakan operasi CreateBulkImportJobAPI untuk mentransfer data dari Amazon S3 ke. AWS IoT SiteWiseCreateBulkImportJobAPI memungkinkan konsumsi volume besar data historis, dan buffer konsumsi aliran data analitik dalam batch kecil. Ini memberikan primitif hemat biaya untuk konsumsi data. Contoh berikut menggunakan AWS CLI.

penting

Sebelum membuat pekerjaan impor massal, Anda harus mengaktifkan tingkat AWS IoT SiteWise hangat atau tingkat AWS IoT SiteWise dingin. Untuk informasi selengkapnya, lihat Konfigurasikan pengaturan penyimpanan.

CreateBulkImportJobAPI mendukung konsumsi data historis ke dalam AWS IoT SiteWise dengan opsi untuk mengatur parameter. adaptive-ingestion-flag

• Saat disetel kefalse, API akan menyerap data historis tanpa memicu perhitungan atau notifikasi.

• Saat disetel ketrue, API akan menyerap data baru, menghitung metrik, dan mengubah data untuk mengoptimalkan analitik dan notifikasi yang sedang berlangsung dalam tujuh hari.

Jalankan perintah berikut. Ganti nama file dengan nama file yang berisi konfigurasi pekerjaan impor massal.

aws iotsitewise create-bulk-import-job --cli-input-json file://file-name.json

contoh Konfigurasi pekerjaan impor massal

Berikut ini adalah contoh pengaturan konfigurasi:

• Ganti adaptive-ingestion-flagdengan true ataufalse.

  • Jika disetel kefalse, pekerjaan impor massal akan memasukkan data historis ke dalam AWS IoT SiteWise.

  • Jika disetel ketrue, pekerjaan impor massal melakukan hal berikut:

    • Menyerap data baru ke dalam AWS IoT SiteWise.

    • Menghitung metrik dan transformasi, dan mendukung pemberitahuan untuk data dengan cap waktu yang dalam tujuh hari.

• Ganti delete-files-after-import-flag dengan true untuk menghapus data dari bucket data S3 setelah masuk ke penyimpanan tingkat AWS IoT SiteWise hangat.

• Ganti error-bucket dengan nama bucket Amazon S3 tempat kesalahan yang terkait dengan pekerjaan impor massal ini dikirim.

• Ganti error-bucket-prefixdengan awalan bucket Amazon S3 tempat kesalahan yang terkait dengan pekerjaan impor massal ini dikirim.

  Amazon S3 menggunakan awalan sebagai nama folder untuk mengatur data dalam bucket. Setiap objek Amazon S3 memiliki kunci yang merupakan pengenal uniknya di bucket. Setiap objek dalam bucket memiliki satu kunci. Prefiks harus diakhiri dengan garis miring ke depan (/). Untuk informasi selengkapnya, lihat Mengatur objek menggunakan awalan di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

• Ganti data-bucket dengan nama bucket Amazon S3 dari mana data diimpor.

• Ganti data-bucket-keydengan kunci objek Amazon S3 yang berisi data Anda. Setiap objek memiliki kunci yang berupa pengidentifikasi unik. Setiap objek memiliki tepat satu kunci.

• Ganti data-bucket-version-iddengan ID versi untuk mengidentifikasi versi tertentu dari objek Amazon S3 yang berisi data Anda. Parameter ini bersifat opsional.

• Ganti nama kolom dengan nama kolom yang ditentukan dalam file.csv.

• Ganti job-name dengan nama unik yang mengidentifikasi pekerjaan impor massal.

• Ganti job-role-arndengan peran IAM yang memungkinkan AWS IoT SiteWise untuk membaca data Amazon S3.

catatan

Pastikan peran Anda memiliki izin yang ditunjukkan dalam contoh berikut. Ganti data-bucket dengan nama bucket Amazon S3 yang berisi data Anda. Selain itu, ganti error-bucket dengan nama bucket Amazon S3 tempat kesalahan yang terkait dengan pekerjaan impor massal ini dikirim.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::data-bucket",
                "arn:aws:s3:::data-bucket/*",
            ],
            "Effect": "Allow"
        },
		    {
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::error-bucket",
                "arn:aws:s3:::error-bucket/*"
            ],
            "Effect": "Allow"
        }
    ]
}

{
   "adaptiveIngestion": adaptive-ingestion-flag,
   "deleteFilesAfterImport": delete-files-after-import-flag,       
   "errorReportLocation": { 
      "bucket": "error-bucket",
      "prefix": "error-bucket-prefix"
   },
   "files": [ 
      { 
         "bucket": "data-bucket",
         "key": "data-bucket-key",
         "versionId": "data-bucket-version-id"
      }
   ],
   "jobConfiguration": { 
      "fileFormat": { 
         "csv": { 
            "columnNames": [ "column-name" ]
         }
      }
   },
   "jobName": "job-name",
   "jobRoleArn": "job-role-arn"    
}

contoh response

{
   "jobId":"f8c031d0-01d1-4b94-90b1-afe8bb93b7e5",
   "jobStatus":"PENDING",
   "jobName":"myBulkImportJob"
}