AWS Data Pipeline 신규 고객은 더 이상 이용할 수 없습니다. 의 기존 고객 AWS Data Pipeline 정상적으로 서비스를 계속 사용할 수 있습니다. 자세히 알아보기
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
D 포맷 ynamoDBData
DynamoDB 테이블에 스키마를 적용하여 Hive 쿼리를 통해 액세스할 수 있습니다. DynamoDBDataFormat
은(는) HiveActivity
객체와 DynamoDBDataNode
입력 및 출력과 함께 사용됩니다. DynamoDBDataFormat
에서는 Hive 쿼리의 모든 열을 지정해야 합니다. Hive 쿼리에서 특정 열을 얼마나 유연하게 지정하는지에 대한 내용이나 Amazon S3 지원에 대한 내용은 D ynamoDBExport DataFormat을(를) 참조하십시오.
참고
DynamoDB Boolean 유형은 Hive Boolean 유형에 매핑하지 않습니다. 그러나 0 또는 1의 DynamoDB 정수 값을 Hive Boolean 유형에 매핑할 수 있습니다.
예
다음 예제에서는 DynamoDBDataFormat
을 사용하여 스키마를 DynamoDBDataNode
입력에 할당하는 방법을 보여주고 명명된 열을 사용해 HiveActivity
객체가 데이터를 액세스하고 DynamoDBDataNode
출력에 데이터를 복사합니다.
{
"objects": [
{
"id" : "Exists.1",
"name" : "Exists.1",
"type" : "Exists"
},
{
"id" : "DataFormat.1",
"name" : "DataFormat.1",
"type" : "DynamoDBDataFormat",
"column" : [
"hash STRING",
"range STRING"
]
},
{
"id" : "DynamoDBDataNode.1",
"name" : "DynamoDBDataNode.1",
"type" : "DynamoDBDataNode",
"tableName" : "$INPUT_TABLE_NAME",
"schedule" : { "ref" : "ResourcePeriod" },
"dataFormat" : { "ref" : "DataFormat.1" }
},
{
"id" : "DynamoDBDataNode.2",
"name" : "DynamoDBDataNode.2",
"type" : "DynamoDBDataNode",
"tableName" : "$OUTPUT_TABLE_NAME",
"schedule" : { "ref" : "ResourcePeriod" },
"dataFormat" : { "ref" : "DataFormat.1" }
},
{
"id" : "EmrCluster.1",
"name" : "EmrCluster.1",
"type" : "EmrCluster",
"schedule" : { "ref" : "ResourcePeriod" },
"masterInstanceType" : "m1.small",
"keyPair" : "$KEYPAIR"
},
{
"id" : "HiveActivity.1",
"name" : "HiveActivity.1",
"type" : "HiveActivity",
"input" : { "ref" : "DynamoDBDataNode.1" },
"output" : { "ref" : "DynamoDBDataNode.2" },
"schedule" : { "ref" : "ResourcePeriod" },
"runsOn" : { "ref" : "EmrCluster.1" },
"hiveScript" : "insert overwrite table ${output1} select * from ${input1} ;"
},
{
"id" : "ResourcePeriod",
"name" : "ResourcePeriod",
"type" : "Schedule",
"period" : "1 day",
"startDateTime" : "2012-05-04T00:00:00",
"endDateTime" : "2012-05-05T00:00:00"
}
]
}
구문
선택 필드 | 설명 | 슬롯 유형 |
---|---|---|
열 | 이 데이터 노드가 설명하는 데이터의 필드별로 지정된 데이터 형식이 있는 열 이름입니다. 예: hostname STRING . 예: 여러 값의 경우, 스페이스로 분리된 열 이름과 데이터 형식을 사용합니다. |
String |
parent | 슬롯을 상속할 현재 객체의 부모입니다. | 참조 객체 (예: “부모”: {"ref”:” myBaseObject Id "} |
실행 시간 필드 | 설명 | 슬롯 유형 |
---|---|---|
@version | 파이프라인 버전에서 객체를 생성하는 데 사용합니다. | String |
시스템 필드 | 설명 | 슬롯 유형 |
---|---|---|
@오류 | 잘못 형성된 객체를 설명하는 오류입니다. | String |
@pipelineId | 이 객체가 속하는 파이프라인의 ID입니다. | String |
@sphere | 객체의 타원 무늬는 수명 주기 내 위치를 나타냅니다. Component Objects는 Attempt Objects를 실행하는 Instance Objects를 야기합니다. | String |