Erstellen Sie einen Massenimportauftrag ()AWS CLI

Verwenden Sie den CreateBulkImportJobAPI-Vorgang, um Daten von Amazon S3 zu zu übertragen AWS IoT SiteWise. Die CreateBulkImportJobAPI ermöglicht die Aufnahme großer Mengen historischer Daten und die gepufferte Aufnahme analytischer Datenströme in kleinen Batches. Sie bietet ein kostengünstiges Primitiv für die Datenaufnahme. Das folgende Beispiel verwendet die AWS CLI.

Wichtig

Bevor Sie einen Massenimportauftrag erstellen, müssen Sie AWS IoT SiteWise Warm Tier oder AWS IoT SiteWise Cold Tier aktivieren. Weitere Informationen finden Sie unter Speichereinstellungen konfigurieren.

Die CreateBulkImportJobAPI unterstützt die Aufnahme von historischen Daten AWS IoT SiteWise mit der Option, den Parameter festzulegen. adaptive-ingestion-flag

• Wenn diese Option auf gesetzt istfalse, nimmt die API historische Daten auf, ohne Berechnungen oder Benachrichtigungen auszulösen.

• Wenn diese Option aktiviert isttrue, nimmt die API neue Daten auf, berechnet Metriken und transformiert die Daten, um die laufenden Analysen und Benachrichtigungen innerhalb von sieben Tagen zu optimieren.

Führen Sie den folgenden Befehl aus. Ersetzen Sie file-name durch den Namen der Datei, die die Konfiguration des Massenimport-Jobs enthält.

aws iotsitewise create-bulk-import-job --cli-input-json file://file-name.json

Beispiel Konfiguration des Massenimport-Jobs

Im Folgenden finden Sie Beispiele für Konfigurationseinstellungen:

• Ersetzen Sie adaptive-ingestion-flag durch true oder false.

  • Wenn diese Option auf gesetzt istfalse, nimmt der Massenimportjob historische Daten in AWS IoT SiteWise auf.

  • Wenn diese Option auf gesetzt isttrue, führt der Massenimportjob Folgendes aus:

    • Nimmt neue Daten auf in AWS IoT SiteWise.

    • Berechnet Metriken und Transformationen und unterstützt Benachrichtigungen für Daten mit einem Zeitstempel, der innerhalb von sieben Tagen liegt.

• Ersetzen Sie delete-files-after-import-flag durchtrue, um die Daten aus dem S3-Daten-Bucket zu löschen, nachdem sie in einen Warm-Tier-Speicher aufgenommen AWS IoT SiteWise wurden.

• Ersetzen Sie error-bucket durch den Namen des Amazon S3 S3-Buckets, an den Fehler im Zusammenhang mit diesem Massenimportauftrag gesendet werden.

• error-bucket-prefixErsetzen Sie es durch das Präfix des Amazon S3 S3-Buckets, an den Fehler im Zusammenhang mit diesem Massenimportauftrag gesendet werden.

  Amazon S3 verwendet das Präfix als Ordnernamen, um Daten im Bucket zu organisieren. Jedes Amazon S3 S3-Objekt hat einen Schlüssel, der seine eindeutige Kennung im Bucket ist. Jedes Objekt in einem Bucket besitzt genau einen Schlüssel. Das Präfix muss mit einem Schrägstrich enden (/). Weitere Informationen finden Sie unter Objekte mithilfe von Präfixen organisieren im Amazon Simple Storage Service-Benutzerhandbuch.

• Ersetzen Sie data-bucket durch den Namen des Amazon S3 S3-Buckets, aus dem Daten importiert werden.

• data-bucket-keyErsetzen Sie es durch den Schlüssel des Amazon S3 S3-Objekts, das Ihre Daten enthält. Jedes Objekt hat einen Schlüssel, der eine eindeutige Kennung ist. Jedes Objekt hat genau einen Schlüssel.

• data-bucket-version-idErsetzen Sie es durch die Versions-ID, um eine bestimmte Version des Amazon S3 S3-Objekts zu identifizieren, das Ihre Daten enthält. Dieser Parameter ist optional.

• Ersetzen Sie column-name durch den in der .csv-Datei angegebenen Spaltennamen.

• Ersetzen Sie job-name durch einen eindeutigen Namen, der den Massenimportauftrag identifiziert.

• job-role-arnErsetzen Sie durch die IAM-Rolle, die das Lesen von Amazon S3 S3-Daten ermöglicht AWS IoT SiteWise .

Anmerkung

Stellen Sie sicher, dass Ihre Rolle über die im folgenden Beispiel gezeigten Berechtigungen verfügt. Ersetzen Sie data-bucket durch den Namen des Amazon S3 S3-Buckets, der Ihre Daten enthält. Ersetzen Sie außerdem error-bucket durch den Namen des Amazon S3 S3-Buckets, an den Fehler im Zusammenhang mit diesem Massenimportauftrag gesendet werden.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::data-bucket",
                "arn:aws:s3:::data-bucket/*",
            ],
            "Effect": "Allow"
        },
		    {
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::error-bucket",
                "arn:aws:s3:::error-bucket/*"
            ],
            "Effect": "Allow"
        }
    ]
}

{
   "adaptiveIngestion": adaptive-ingestion-flag,
   "deleteFilesAfterImport": delete-files-after-import-flag,       
   "errorReportLocation": { 
      "bucket": "error-bucket",
      "prefix": "error-bucket-prefix"
   },
   "files": [ 
      { 
         "bucket": "data-bucket",
         "key": "data-bucket-key",
         "versionId": "data-bucket-version-id"
      }
   ],
   "jobConfiguration": { 
      "fileFormat": { 
         "csv": { 
            "columnNames": [ "column-name" ]
         }
      }
   },
   "jobName": "job-name",
   "jobRoleArn": "job-role-arn"    
}

Beispiel response

{
   "jobId":"f8c031d0-01d1-4b94-90b1-afe8bb93b7e5",
   "jobStatus":"PENDING",
   "jobName":"myBulkImportJob"
}