篩選資料集中的索引鍵 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

篩選資料集中的索引鍵

使用 Filter 轉換,藉由根據規則表達式篩選輸入資料集中的記錄來建立新的資料集。輸出中會移除不符合篩選條件的列。

  • 對於字串資料類型,您可以篩選索引鍵值與指定字串相符的列。

  • 對於數值資料類型,您可以使用比較運算子 <>=!=<=>= 將索引鍵值與指定值進行比較,以篩選列。

如果您指定多個篩選條件,則預設會使用 AND 運算子來結合結果,但您可以改為選擇 OR

Filter 轉換區分大小寫。如果您需要不區分大小寫的屬性索引鍵名稱,請新增 ApplyMapping 轉換做為父節點。

將 Filter 轉換節點新增到您的任務圖表
  1. (選用) 根據需要開啟資源面板,然後選擇篩選,將新轉換新增至您的任務圖表。

  2. Node properties (節點屬性) 索引標籤上,輸入任務圖表中節點的名稱。如果尚未選取節點父項,請從節點父項清單選擇用作轉換之輸入來源的節點。

  3. 選擇轉換索引標籤。

  4. 選擇全域和全域或。這會決定多個篩選條件的組合方式。所有條件都使用 ANDOR 操作來結合。如果您只有一個篩選條件,則可以選擇任一個。

  5. 選擇篩選條件區段的新增條件按鈕以新增篩選條件。

    索引鍵欄位中,從資料集中選擇屬性索引鍵名稱。在操作欄位中,選擇比較運算子。在數值欄位中,輸入比較值。以下是篩選條件的一些範例:

    • year >= 2018

    • State matches 'CA*'

    當您篩選字串值時,請確定比較值使用的規則表達式格式符合任務屬性中選取的指令碼語言 (Python 或 Scala)。

  6. 視需要加入其他篩選條件。

  7. (選用) 設定轉換節點屬性之後,您可以選擇節點詳細資訊面板中的輸出結構描述索引標籤來檢視資料的修改後結構描述。當您第一次針對任務中的任何節點選擇此索引標籤時,系統會提示您提供 IAM 角色以存取資料。如果您尚未在任務詳細資訊索引標籤上指定 IAM 角色,系統會提示您在此輸入 IAM 角色。

  8. (選用) 設定節點屬性和轉換屬性之後,您可以選擇節點詳細資訊面板中的資料預覽索引標籤來預覽修改後的資料集。當您第一次針對任務中的任何節點選擇此索引標籤時,系統會提示您提供 IAM 角色以存取資料。使用此功能需支付相關費用,並且在您提供 IAM 角色後立即開始計費。