AWS Glue マネージド変換によるデータの変換 - AWS Glue
AWS Glue マネージドデータ変換ノード

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Glue マネージド変換によるデータの変換

AWS Glue Studio には、次の 2 種類の変換が用意されています。

  • AWS Glue ネイティブ変換 - すべてのユーザーが利用でき、AWS Glue によって管理されます。

  • カスタムビジュアル変換 - 自分のカスタムビジュアル変換をアップロードして、AWS Glue Studio で使用できます。

AWS Glue マネージドデータ変換ノード

AWS Glue Studio には、データを処理するために使用できる一式の組み込み変換が用意されています。データは、ジョブ図の 1 つのノードからDynamicFrame、Apache Spark の拡張機能である と呼ばれるデータ構造内の別のノードに渡されますSQLDataFrame。

事前設定されたジョブ図では、データソースとデータターゲットノード間で、スキーマ変更変換ノードを使用できます。この変換ノードを設定すると、データを修正したり、他の変換を使用できます。

AWS Glue Studio を用いて、次のbuilt-in 変換が利用可能です。

  • ChangeSchema: データソースのデータプロパティキーをデータターゲットのデータプロパティキーにマッピングします。キーの名前を変更したり、データタイプを変更したり、データセットから削除するキーを選択できます。

  • SelectFields: 保持するデータプロパティキーを選択します。

  • DropFields: 削除するデータプロパティキーを選択します。

  • RenameField: 単一のデータプロパティキーの名前を変更します。

  • Spigot:Amazon S3 バケットにデータのサンプルを書き込みます。

  • Join: 指定したデータプロパティキー上の比較フレーズを使用して、2 つのデータセットを 1 つに結合します。結合タイプは、内部結合、外部結合、左結合、右結合、左半結合、左反結合を使用できます。

  • Union: 同じスキーマを持つ複数のデータソースの行を結合します。

  • SplitFields: データプロパティキーを 2 つの に分割しますDynamicFrames。出力は DynamicFrames のコレクションです。一方は選択したデータプロパティキー、他方は残っている方のデータプロパティキーを持ちます。

  • SelectFromCollection: のコレクションDynamicFrameから 1 つ選択しますDynamicFrames。出力は選択された DynamicFrame です。

  • FillMissingValues: データセット内の欠損値があるレコードを検索し、補完によって決定される推奨値を含む新しいフィールドを追加します。

  • Filter: フィルター条件に基づいて、データセットを 2 つに分割します。

  • [Drop Null Fields]: 列のすべての値が「null」の場合、データセットから列を削除します。

  • [Drop Duplicates]: 行全体を照合するか、キーを指定するかを選択して、データソースから行を削除します。

  • SQL: SparkSQL コードをテキストエントリフィールドに入力して、SQLクエリを使用してデータを変換します。出力は、単一の DynamicFrame です。

  • Aggregate: 選択したフィールドと行で計算 (平均、合計、最小、最大など) を実行し、計算された値を使って新しいフィールドを作成します。

  • Flatten: Struct 内のフィールドを最上位のフィールドに抽出します。

  • UUID: 行ごとに Universally Unique Identifier を持つ列を追加します。

  • Identifier: 各行に数値識別子を含む列を追加します。

  • To timestamp: 列をタイムスタンプタイプに変換します。

  • Format timestamp: タイムスタンプ列をフォーマットされた文字列に変換します。

  • Conditional Router transform: 受信データに複数の条件を適用します。受信データの行はそれぞれグループフィルター条件により評価され、対応するグループに取り入れて処理されます。

  • [列の連結] 変換: オプションのスペーサーを使用して、他の列の値を使った新しい文字列の列を作成します。

  • [文字列の分割] 変換: 正規表現を使用して文字列をトークンの配列に分割し、分割方法を定義します。

  • [配列から列へ] 変換: 配列タイプの列の一部またはすべての要素を抽出し、新しい列に追加します。

  • [現在のタイムスタンプを追加] 変換: データが処理された時刻で行をマークします。これは、監査目的やデータパイプラインでのレイテンシーの追跡に役立ちます。

  • [行から列へのピボット] 変換: 選択した列の固有の値を回転させて数値列を集約し、新しい列にします。複数の列を選択した場合、値が連結されて新しい列に名前が付けられます。

  • [列から行へのピボット解除] 変換: 列を新しい列の値に変換し、固有の値ごとに行を生成します。

  • [オートバランス処理] 変換: データをワーカー間でより適切に再配分します。これは、データのバランスが取れていない場合や、ソースから取得したデータでは十分に並行処理ができない場合に役立ちます。

  • 派生列変換： データ内の他の列と定数およびリテラルを使用できる数式またはSQL式に基づいて新しい列を定義します。

  • [ルックアップ] 変換: キーがデータ内の定義済みのルックアップ列と一致する場合、定義済みのカタログテーブルから列を追加します。

  • [配列またはマップを行に分解] 変換: ネストされたデータ構造から値を抽出し、操作しやすい個々の行に値を追加します。

  • レコードマッチング変換: 既存のレコードマッチング機械学習データ分類変換を呼び出します。

  • null 行変換を削除: すべての列が null または空の行をデータセットから削除します。

  • JSON 列変換の解析: JSON データを含む文字列列を解析し、それぞれがJSONオブジェクトか配列かに応じて、構造体または配列列に変換します。

  • JSON パス変換の抽出: JSON文字列列から新しい列を抽出します。

  • 正規表現から文字列の断片を抽出: 正規表現を使用して文字列の断片を抽出し、そこから新しい列を作成します。正規表現グループを使用する場合は、複数の列を作成します。

  • Custom transform: カスタム transforms を使用するために、テキスト入力フィールドにコードを入力します。出力は、DynamicFrames のコレクションです。