本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
加密類
Encrypt
轉換作業會使用 AWS 金鑰管理服務金鑰加密來源資料行。轉Encrypt
換每個儲存格最多可加密 128 MiB。它將嘗試保留解密的格式。若要保留資料類型,資料類型中繼資料必須序列化為小於 1KB。否則,您必須將preserve_data_type
參數設定為 false。資料類型中繼資料將以純文字儲存在加密內容中。
範例
from pyspark.context import SparkContext from pyspark.sql import SparkSession from awsgluedi.transforms import * kms = "${KMS}" sc = SparkContext() spark = SparkSession(sc) input_df = spark.createDataFrame( [ (1, "1234560000"), (2, "1234560001"), (3, "1234560002"), (4, "1234560003"), (5, "1234560004"), (6, "1234560005"), (7, "1234560006"), (8, "1234560007"), (9, "1234560008"), (10, "1234560009"), ], ["id", "phone"], ) try: df_encrypt = pii.Encrypt.apply( data_frame=input_df, spark_context=sc, source_columns=["phone"], kms_key_arn=kms ) except: print("Unexpected Error happened ") raise
輸出
輸出將是一個 PySpark DataFrame 包含原始 `id` 列和一個包含 `phone` 列的加密值的附加列。
``` +---+------------+-------------------------+ | id| phone | phone_encrypted | +---+------------+-------------------------+ | 1| 1234560000| EncryptedData1234...abc | | 2| 1234560001| EncryptedData5678...def | | 3| 1234560002| EncryptedData9012...ghi | | 4| 1234560003| EncryptedData3456...jkl | | 5| 1234560004| EncryptedData7890...mno | | 6| 1234560005| EncryptedData1234...pqr | | 7| 1234560006| EncryptedData5678...stu | | 8| 1234560007| EncryptedData9012...vwx | | 9| 1234560008| EncryptedData3456...yz0 | | 10| 1234560009| EncryptedData7890...123 | +---+------------+-------------------------+ ```
Encrypt
轉換程式會將「來源欄」作為「[電話」] 和「kms_key_arn」作為「$ {KMS}」環境變數的值。轉換作業會使用指定的 KMS 金鑰加密 `phone` 資料行中的值。結果「df_encrypted」 DataFrame 包含原始的「ID」欄、原始的「電話」欄,以及另一個名為「phone_encrypted」的資料欄,其中包含「電話」欄的加密值。
方法
__call__(閃光上下文,數據框架,源列,kms_key_arn,實體類型 _ 過濾器 = 無,前置數據 _ 類型 = 無)
Encrypt
轉換作業會使用 AWS 金鑰管理服務金鑰加密來源資料行。
-
source_columns
— 現有資料行的陣列。 -
kms_key_arn
— 用來加密來源資料行的 AWS 金鑰管理服務金鑰的金鑰 ARN。 -
entity_type_filter
— 可選的實體類型陣列。可用於僅加密自由文字資料行中偵測到的 PII。 -
preserve_data_type
-可選布爾值。預設為 true。如果為 false,數據類型將不被存儲。
apply(cls, *args, **kwargs)
繼承自 GlueTransform
apply。
name(cls)
繼承自 GlueTransform
name。
describeArgs(cls)
繼承自 GlueTransform
describeArgs。
describeReturn(cls)
繼承自 GlueTransform
describeReturn。
describeTransform(cls)
繼承自 GlueTransform
describeTransform。
describeErrors(cls)
繼承自 GlueTransform
describeErrors。
describe(cls)
繼承自 GlueTransform
describe。