PySpark 拡張子型 - AWS Glue

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

PySpark 拡張子型

によって使用される型AWSPySpark 拡張Glue する

DataType

他のの基本クラスAWSGlue タイプ。

__init__(properties={})

  • properties – データ型のプロパティ (オプション)。

typeName(cls)

タイプを返します。AWSGlue 型クラス (つまり、"型」が末尾から削除されたクラス名)。

  • cls— AnAWSから派生した Glue クラスのインスタンスDataType

jsonValue( )

データ型とクラスのプロパティが含まれる JSON オブジェクトを返します。

{ "dataType": typeName, "properties": properties }

AtomicType およびシンプルデリバティブ

を継承し、DataTypeクラスの基本クラスとして機能し、すべてのの基本クラスとして機能します。AWSアトミックデータ型Glue します。

fromJsonValue(cls, json_value)

JSON オブジェクトからの値を使用してクラスインスタンスを初期化します。

  • cls— AnAWS初期化する Glue 型のクラスインスタンス。

  • json_value – キーと値のペアのロード元の JSON オブジェクト。

次の型は、AtomicType クラスのシンプルデリバティブです。

  • BinaryType – バイナリデータ.

  • BooleanType – ブール値。

  • ByteType – バイト値。

  • DateType – 日時値。

  • DoubleType – 倍精度浮動小数点値。

  • IntegerType – 整数値.

  • LongType – 長整数値。

  • NullType – null 値。

  • ShortType – 短整数値。

  • StringType – テキスト文字列。

  • TimestampType – タイムスタンプ値 (通常は 1970 年 1 月 1 日からの秒数)。

  • UnknownType – 未確認型の値。

DecimalType(AtomicType)

10 進数 (バイナリ 2 進数ではなく、10 進数で表記される数) を表わすため、AtomicType クラスから継承して拡張します。

__init__(precision=10, scale=2, properties={})

  • precision – 10 進数の桁数 (オプション、デフォルトは 10)。

  • scale – 小数点以下の桁数 (オプション、デフォルトは 2)。

  • properties – 10 進数のプロパティ (オプション)。

EnumType(AtomicType)

有効なオプションの列挙を表すために、AtomicType クラスから継承して拡張します。

__init__(options)

  • options – 列挙されているオプションのリスト。

 コレクション型

ArrayType(DataType)

__init__(elementType=UnknownType(), properties={})

  • elementType – 配列の要素の型 (オプション、デフォルトは UnknownType)。

  • properties – 配列のプロパティ (オプション)。

ChoiceType(DataType)

__init__(choices=[], properties={})

  • choices – 選択肢のリスト (オプション)。

  • properties – これらのオプションのプロパティ (オプション)。

add(new_choice)

可能な選択肢のリストに、新しい選択肢を追加します。

  • new_choice – 可能な選択肢のリストに追加する選択肢。

merge(new_choices)

新しい選択肢のリストを既存の選択肢のリストとマージします。

  • new_choices – 既存の選択肢とマージする新しい選択肢のリスト。

MapType(DataType)

__init__(valueType=UnknownType, properties={})

  • valueType – マップの値の型 (オプション、デフォルトは UnknownType)。

  • properties – マップのプロパティ (オプション)。

フィールド (オブジェクト)

DataType から派生したオブジェクトからフィールドオブジェクトを作成します。

__init__(name, dataType, properties={})

  • name – フィールドに割り当てる名前。

  • dataType – フィールド作成元のオブジェクト。

  • properties – フィールドのプロパティ (オプション)。

StructType(DataType)

データ構造を定義します (struct)。

__init__(fields=[], properties={})

  • fields – フィールドのリスト (Field 型) 構造に含めます (オプション)。

  • properties – 構造のプロパティ (オプション)。

add(field)

  • field – 構造に追加するオブジェクトの Field 型。

hasField(field)

この構造に同じ名前のフィールドがある場合は True を、そうでない場合は False を返します。

  • field – フィールド名、または名前が使用される Field 型のオブジェクト。

getField(field)

  • field— フィールド名または型のオブジェクトFieldその名前が使用されます。構造に同じ名前のフィールドがある場合は、返されます。

EntityType(DataType)

__init__(entity, base_type, properties)

このクラスは、まだ実装されていません。

 その他のタイプ

DataSource (オブジェクト)

__init__(j_source, sql_ctx, name)

  • j_source – データソース。

  • sql_ctx – SQL コンテキスト。

  • name – データソース名。

setFormat(format, **options)

  • format – データソースを設定する形式。

  • options – データソースに設定するオプションのコレクション。

getFrame()

データソースに DynamicFrame を返します。

DataSink (オブジェクト)

__init__(j_sink, sql_ctx)

  • j_sink – 作成するシンク。

  • sql_ctx – データシンクの SQL コンテキスト。

setFormat(format, **options)

  • format – データシンクを設定する形式。

  • options – データシンクに設定するオプションのコレクション。

setAccumulableSize(size)

  • size – 設定する累積サイズ (バイト単位)。

writeFrame(dynamic_frame, info="")

  • dynamic_frame - 書き込む DynamicFrame

  • infoDynamicFrame に関する情報 (オプション)。

write(dynamic_frame_or_dfc, info="")

DynamicFrame または DynamicFrameCollection を書き込みます。

  • dynamic_frame_or_dfc – 書き込む DynamicFrame オブジェクトまたは DynamicFrameCollection オブジェクトのいずれか。

  • info – 書き込む DynamicFrame または DynamicFrames に関する情報 (オプション)。