D ynamoDBExport DataFormat

PDF

Amazon DynamoDB 테이블에 스키마를 적용하여 Hive 쿼리를 통해 액세스할 수 있습니다. HiveCopyActivity 객체와 DynamoDBDataNode 또는 S3DataNode 입력 및 출력에 DynamoDBExportDataFormat을 사용합니다. DynamoDBExportDataFormat에는 다음 장점이 있습니다.

• DynamoDB와 Amazon S3 지원을 모두 제공합니다.

• Hive 쿼리의 특정 열로 데이터를 필터링할 수 있음

• 스파스 스키마가 있는 경우에도 DynamoDB 의 모든 속성을 내보냄

참고

DynamoDB Boolean 유형은 Hive Boolean 유형에 매핑하지 않습니다. 그러나 0 또는 1의 DynamoDB 정수 값을 Hive Boolean 유형에 매핑할 수 있습니다.

예

다음 예제에서는 타임스탬프에 기반하여 필터링을 하는 동안 HiveCopyActivity와 DynamoDBExportDataFormat을 사용하여 하나의 DynamoDBDataNode에서 다른 로 데이터를 복사하는 방법을 보여줍니다.

{
  "objects": [
    {
      "id" : "DataFormat.1",
      "name" : "DataFormat.1",
      "type" : "DynamoDBExportDataFormat",
      "column" : "timeStamp BIGINT"
    },
    {
      "id" : "DataFormat.2",
      "name" : "DataFormat.2",
      "type" : "DynamoDBExportDataFormat"
    },
    {
      "id" : "DynamoDBDataNode.1",
      "name" : "DynamoDBDataNode.1",
      "type" : "DynamoDBDataNode",
      "tableName" : "item_mapped_table_restore_temp",
      "schedule" : { "ref" : "ResourcePeriod" },
      "dataFormat" : { "ref" : "DataFormat.1" }
    },
    {
      "id" : "DynamoDBDataNode.2",
      "name" : "DynamoDBDataNode.2",
      "type" : "DynamoDBDataNode",
      "tableName" : "restore_table",
      "region" : "us_west_1",
      "schedule" : { "ref" : "ResourcePeriod" },
      "dataFormat" : { "ref" : "DataFormat.2" }
    },
    {
      "id" : "EmrCluster.1",
      "name" : "EmrCluster.1",
      "type" : "EmrCluster",
      "schedule" : { "ref" : "ResourcePeriod" },
      "masterInstanceType" : "m1.xlarge",
      "coreInstanceCount" : "4"
    },
    {
      "id" : "HiveTransform.1",
      "name" : "Hive Copy Transform.1",
      "type" : "HiveCopyActivity",
      "input" : { "ref" : "DynamoDBDataNode.1" },
      "output" : { "ref" : "DynamoDBDataNode.2" },
      "schedule" : { "ref" : "ResourcePeriod" },
      "runsOn" : { "ref" : "EmrCluster.1" },
      "filterSql" : "`timeStamp` > unix_timestamp(\"#{@scheduledStartTime}\", \"yyyy-MM-dd'T'HH:mm:ss\")"
    },
    {
      "id" : "ResourcePeriod",
      "name" : "ResourcePeriod",
      "type" : "Schedule",
      "period" : "1 Hour",
      "startDateTime" : "2013-06-04T00:00:00",
      "endDateTime" : "2013-06-04T01:00:00"
    }
  ]
}

구문

선택 필드	설명	슬롯 유형
열	이 데이터 노드가 설명하는 데이터의 필드별로 지정된 데이터 형식이 있는 열 이름입니다. 예: 호스트 이름 STRING	String
parent	슬롯을 상속할 현재 객체의 부모입니다.	참조 개체, 예: “부모”: {"ref”:” myBaseObject Id "}

실행 시간 필드	설명	슬롯 유형
@version	객체와 함께 생성된 파이프라인 버전입니다.	String

시스템 필드	설명	슬롯 유형
@오류	잘못 형성된 객체를 설명하는 오류	String
@pipelineId	이 객체가 속하는 파이프라인의 ID	String
@sphere	객체의 타원 무늬는 수명 주기 내 위치를 나타냅니다. Component Objects는 Attempt Objects를 실행하는 Instance Objects를 야기합니다.	String