AWS Glue Scala 라이브러리의 API

AWS Glue는 추출, 변환 및 로드(ETL) 작업 스크립트의 PySpark Scala의 확장 언어를 지원합니다. 다음 단원에서는 AWS Glue Scala 라이브러리의 API를 설명합니다.

com.amazonaws.services.glue

AWS Glue Scala 라이브러리의 com.amazonaws.services.glue 패키지에는 다음 API가 포함되어 있습니다.

• ChoiceOption

• DataSink

• DataSource 특성

• DynamicFrame

• DynamicRecord

• GlueContext

• MappingSpec

• ResolveSpec

com.amazonaws.services.glue.ml

AWS Glue Scala 라이브러리의 com.amazonaws.services.glue.ml 패키지에는 다음 API가 포함되어 있습니다.

• FillMissingValues

• FindIncrementalMatches

• FindMatches

com.amazonaws.services.glue.types

AWS Glue Scala 라이브러리의 com.amazonaws.services.glue.types 패키지에는 다음 API가 포함되어 있습니다.

• ArrayNode

• BinaryNode

• BooleanNode

• ByteNode

• DateNode

• DecimalNode

• DoubleNode

• DynamicNode

• FloatNode

• IntegerNode

• LongNode

• MapLikeNode

• MapNode

• NullNode

• ObjectNode

• ScalarNode

• ShortNode

• StringNode

• TimestampNode

com.amazonaws.services.glue.util

AWS Glue Scala 라이브러리의 com.amazonaws.services.glue.util 패키지에는 다음 API가 포함되어 있습니다.

• GlueArgParser

• 작업

MappingSpec

패키지:   com.amazonaws.services.glue

MappingSpec 케이스 클래스

case class MappingSpec( sourcePath: SchemaPath,
                        sourceType: DataType,
                        targetPath: SchemaPath,
                        targetType: DataTyp
                       ) extends Product4[String, String, String, String] {
  override def _1: String = sourcePath.toString
  override def _2: String = ExtendedTypeName.fromDataType(sourceType)
  override def _3: String = targetPath.toString
  override def _4: String = ExtendedTypeName.fromDataType(targetType)
}

• sourcePath - 소스 필드의 SchemaPath입니다.

• sourceType - 소스 필드의 DataType입니다.

• targetPath - 대상 필드의 SchemaPath입니다.

• targetType - 대상 필드의 DataType입니다.

MappingSpec은 소스 경로 및 소스 데이터 유형에서 대상 경로 및 대상 데이터 유형까지의 매핑을 지정합니다. 소스 프레임의 소스 경로 값은 대상 경로의 대상 프레임에서 볼 수 있습니다. 소스 데이터 유형은 대상 데이터 유형으로 캐스팅됩니다.

applyMapping 인터페이스에서 Product4을 처리할 수 있도록 Product4에서 확장됩니다.

MappingSpec 객체

object MappingSpec

MappingSpec 객체에는 다음 멤버가 있습니다.

Val orderingByTarget

val orderingByTarget: Ordering[MappingSpec]

정의 적용

def apply( sourcePath : String,
           sourceType : DataType,
           targetPath : String,
           targetType : DataType
         ) : MappingSpec 

MappingSpec을 만듭니다.

• sourcePath - 소스 경로의 문자열 표현입니다.

• sourceType - 소스 DataType입니다.

• targetPath - 대상 경로의 문자열 표현입니다.

• targetType - 대상 DataType입니다.

MappingSpec을 반환합니다.

정의 적용

def apply( sourcePath : String,
           sourceTypeString : String,
           targetPath : String,
           targetTypeString : String
         ) : MappingSpec 

MappingSpec을 만듭니다.

• sourcePath - 소스 경로의 문자열 표현입니다.

• sourceType - 원본 데이터 유형의 문자열 표현입니다.

• targetPath - 대상 경로의 문자열 표현입니다.

• targetType - 대상 데이터 유형의 문자열 표현입니다.

MappingSpec을 반환합니다.

정의 적용

def apply( product : Product4[String, String, String, String] ) : MappingSpec 

MappingSpec을 만듭니다.

• product - 소스 경로, 원본 데이터 유형, 대상 경로 및 대상 데이터 유형의 Product4입니다.

MappingSpec을 반환합니다.