대량 가져오기 작업 생성(AWS CLI)

CreateBulkImportJobAPI 작업을 사용하여 Amazon S3에서 Amazon S3로 데이터를 AWS IoT SiteWise전송합니다. CreateBulkImportJobAPI를 사용하면 대량의 과거 데이터를 수집하고 분석 데이터 스트림을 소량 배치로 버퍼링하여 수집할 수 있습니다. 이는 데이터 수집을 위한 비용 효율적인 프리미티브를 제공합니다. 다음 예제에서는 AWS CLI를 사용합니다.

중요

대량 가져오기 작업을 생성하기 전에 AWS IoT SiteWise 웜 티어 또는 콜드 티어를 활성화해야 합니다. AWS IoT SiteWise 자세한 정보는 스토리지 설정 구성을 참조하세요.

CreateBulkImportJobAPI는 파라미터 설정 옵션을 AWS IoT SiteWise 사용하여 기록 데이터를 수집할 수 있도록 지원합니다. adaptive-ingestion-flag

• 로 false 설정하면 API가 계산이나 알림을 트리거하지 않고 기록 데이터를 수집합니다.

• 로 설정하면 API가 새 데이터를 수집하여 true 지표를 계산하고 데이터를 변환하여 7일 이내에 진행 중인 분석 및 알림을 최적화합니다.

다음 명령을 실행합니다. file-name을 대량 가져오기 작업 구성이 포함된 파일의 이름으로 바꿉니다.

aws iotsitewise create-bulk-import-job --cli-input-json file://file-name.json

예 대량 가져오기 작업 구성

구성 설정의 예는 다음과 같습니다.

• adaptive-ingestion-flag을 true 또는 false로 바꿉니다.

  • 로 false 설정된 경우 대량 가져오기 작업은 기록 데이터를 로 AWS IoT SiteWise수집합니다.

  • 로 true 설정된 경우 대량 가져오기 작업은 다음 작업을 수행합니다.

    • 에 새 데이터를 수집합니다. AWS IoT SiteWise

    • 지표를 계산하고 변환을 수행하며, 7일 이내의 타임스탬프가 있는 데이터에 대한 알림을 지원합니다.

• 웜 티어 delete-files-after-import스토리지로 수집한 후 S3 데이터 버킷에서 데이터를 true 삭제하려면 -flag를 로 바꾸십시오 AWS IoT SiteWise .

• error-bucket을 이 대량 가져오기 작업과 관련된 오류가 전송되는 Amazon S3 버킷의 이름으로 바꿉니다.

• 이 대량 가져오기 error-bucket-prefix작업과 관련된 오류가 전송되는 Amazon S3 버킷의 접두사로 바꾸십시오.

  Amazon S3에서는 접두사를 버킷의 폴더 이름으로 사용합니다. 각 Amazon S3 객체에는 버킷의 고유 식별자인 키가 있습니다. 버킷 내 각 객체는 정확히 하나의 키를 갖습니다. 접두사는 슬래시(/)로 끝나야 합니다. 자세한 내용을 알아보려면 Amazon Simple Storage Service 사용 설명서의 접두어를 사용한 객체 구성을 참조하세요.

• data-bucket을 데이터를 가져오는 Amazon S3 버킷의 이름으로 바꿉니다.

• 데이터가 들어 있는 Amazon S3 객체의 data-bucket-key키로 대체합니다. 각 객체에는 고유 식별자인 키가 있습니다. 각 객체에는 정확히 하나의 키가 있습니다.

• 데이터를 포함하는 Amazon S3 객체의 특정 버전을 식별하려면 버전 data-bucket-version-idID로 대체하십시오. 이 파라미터는 선택 사항입니다.

• column-name을 .csv 파일에 지정된 열 이름으로 대체하세요.

• job-name을 대량 가져오기 작업을 식별하는 고유한 이름으로 대체하세요.

• Amazon S3 데이터를 읽을 수 있는 IAM job-role-arn AWS IoT SiteWise 역할로 대체하십시오.

참고

역할에 다음 예에 표시된 것과 같은 권한이 있는지 확인합니다. 데이터 버킷을 데이터가 들어 있는 Amazon S3 버킷의 이름으로 교체합니다. 또한 error-bucket을 이 대량 가져오기 작업과 관련된 오류가 전송되는 Amazon S3 버킷의 이름으로 바꾸십시오.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::data-bucket",
                "arn:aws:s3:::data-bucket/*",
            ],
            "Effect": "Allow"
        },
		    {
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::error-bucket",
                "arn:aws:s3:::error-bucket/*"
            ],
            "Effect": "Allow"
        }
    ]
}

{
   "adaptiveIngestion": adaptive-ingestion-flag,
   "deleteFilesAfterImport": delete-files-after-import-flag,       
   "errorReportLocation": { 
      "bucket": "error-bucket",
      "prefix": "error-bucket-prefix"
   },
   "files": [ 
      { 
         "bucket": "data-bucket",
         "key": "data-bucket-key",
         "versionId": "data-bucket-version-id"
      }
   ],
   "jobConfiguration": { 
      "fileFormat": { 
         "csv": { 
            "columnNames": [ "column-name" ]
         }
      }
   },
   "jobName": "job-name",
   "jobRoleArn": "job-role-arn"    
}

예 응답

{
   "jobId":"f8c031d0-01d1-4b94-90b1-afe8bb93b7e5",
   "jobStatus":"PENDING",
   "jobName":"myBulkImportJob"
}