加密類

Encrypt轉換作業會使用 AWS 金鑰管理服務金鑰加密來源資料行。轉Encrypt換每個儲存格最多可加密 128 MiB。它將嘗試保留解密的格式。若要保留資料類型，資料類型中繼資料必須序列化為小於 1KB。否則，您必須將preserve_data_type參數設定為 false。資料類型中繼資料將以純文字儲存在加密內容中。

範例

from pyspark.context import SparkContext
from pyspark.sql import SparkSession
from awsgluedi.transforms import *

kms = "${KMS}"
sc = SparkContext()
spark = SparkSession(sc)

input_df = spark.createDataFrame(
    [
        (1, "1234560000"),
        (2, "1234560001"),
        (3, "1234560002"),
        (4, "1234560003"),
        (5, "1234560004"),
        (6, "1234560005"),
        (7, "1234560006"),
        (8, "1234560007"),
        (9, "1234560008"),
        (10, "1234560009"),
    ],
    ["id", "phone"],
)

try:
    df_encrypt = pii.Encrypt.apply(
        data_frame=input_df,
        spark_context=sc,
        source_columns=["phone"],
        kms_key_arn=kms
    )
except:
    print("Unexpected Error happened ")
    raise
    

輸出

輸出將是一個 PySpark DataFrame 包含原始 `id` 列和一個包含 `phone` 列的加密值的附加列。

```
+---+------------+-------------------------+
| id| phone | phone_encrypted |
+---+------------+-------------------------+
| 1| 1234560000| EncryptedData1234...abc |
| 2| 1234560001| EncryptedData5678...def |
| 3| 1234560002| EncryptedData9012...ghi |
| 4| 1234560003| EncryptedData3456...jkl |
| 5| 1234560004| EncryptedData7890...mno |
| 6| 1234560005| EncryptedData1234...pqr |
| 7| 1234560006| EncryptedData5678...stu |
| 8| 1234560007| EncryptedData9012...vwx |
| 9| 1234560008| EncryptedData3456...yz0 |
| 10| 1234560009| EncryptedData7890...123 |
+---+------------+-------------------------+
```

Encrypt轉換程式會將「來源欄」作為「[電話」] 和「kms_key_arn」作為「$ {KMS}」環境變數的值。轉換作業會使用指定的 KMS 金鑰加密 `phone` 資料行中的值。結果「df_encrypted」 DataFrame 包含原始的「ID」欄、原始的「電話」欄，以及另一個名為「phone_encrypted」的資料欄，其中包含「電話」欄的加密值。

方法

• __call__

• apply

• name

• describeArgs

• describeReturn

• describeTransform

• describeErrors

• describe

__call__（閃光上下文，數據框架，源列，kms_key_arn，實體類型 _ 過濾器 = 無，前置數據 _ 類型 = 無）

Encrypt轉換作業會使用 AWS 金鑰管理服務金鑰加密來源資料行。

• source_columns— 現有資料行的陣列。

• kms_key_arn— 用來加密來源資料行的 AWS 金鑰管理服務金鑰的金鑰 ARN。

• entity_type_filter— 可選的實體類型陣列。可用於僅加密自由文字資料行中偵測到的 PII。

• preserve_data_type-可選布爾值。預設為 true。如果為 false，數據類型將不被存儲。

apply(cls, *args, **kwargs)

繼承自 GlueTransform apply。

name(cls)

繼承自 GlueTransform name。

describeArgs(cls)

繼承自 GlueTransform describeArgs。

describeReturn(cls)

繼承自 GlueTransform describeReturn。

describeTransform(cls)

繼承自 GlueTransform describeTransform。

describeErrors(cls)

繼承自 GlueTransform describeErrors。

describe(cls)

繼承自 GlueTransform describe。