Scala での AWS Glue ETL スクリプトのプログラミング
AWS Glue 用の Scala コード例とユーティリティは、GitHub ウェブサイトの AWS Glueサンプルリポジトリ
AWS Glue では、抽出、変換、ロード (ETL) ジョブを実行する PySpark Scala 言語のスクリプトのために、拡張機能がサポートされています。以下のセクションでは、AWS Glue Scala ライブラリと AWS Glue API を ETL スクリプトで使用する方法について説明します。また、ライブラリのリファレンス資料を提供します。
目次
- Scala の使用
- Scala スクリプトの例
- Scala API リスト
- com.amazonaws.services.glue
- com.amazonaws.services.glue.ml
- com.amazonaws.services.glue.dq
- com.amazonaws.services.glue.types
- com.amazonaws.services.glue.util
- ChoiceOption
- DataSink
- DataSource 特性
- DynamicFrame
- DynamicFrame クラス
- errorsCount
- applyMapping
- assertErrorThreshold
- カウント
- dropField
- dropFields
- dropNulls
- errorsAsDynamicFrame
- フィルター
- getName
- getNumPartitions
- getSchemaIfComputed
- isSchemaComputed
- javaToPython
- Join
- マッピング
- mergeDynamicFrames
- printSchema
- recomputeSchema
- 関係付け
- renameField
- Repartition
- resolveChoice
- Schema
- selectField
- selectFields
- 表示
- SimplifyDDBJson
- スピゴット
- splitFields
- Def splitRows
- stageErrorsCount
- toDF
- Unbox
- ネスト解除
- unnestDDBJson
- withFrameSchema
- Def withName
- withTransformationContext
- DynamicFrame オブジェクト
- DynamicFrame クラス
- DynamicRecord
- GlueContext
- MappingSpec
- ResolveSpec
- ArrayNode
- BinaryNode
- BooleanNode
- ByteNode
- DateNode
- DecimalNode
- DoubleNode
- DynamicNode
- EvaluateDataQuality
- FloatNode
- FillMissingValues
- FindMatches
- FindIncrementalMatches
- IntegerNode
- LongNode
- MapLikeNode
- MapNode
- NullNode
- ObjectNode
- ScalarNode
- ShortNode
- StringNode
- TimestampNode
- GlueArgParser
- ジョブ
