CryptographicHash 수업

CryptographicHash변환은 열의 해시 값에 알고리즘을 적용합니다.

예

from pyspark.context import SparkContext
from pyspark.sql import SparkSession
from awsgluedi.transforms import *

secret = "${SECRET}"
sc = SparkContext()
spark = SparkSession(sc)

input_df = spark.createDataFrame(
    [
        (1, "1234560000"),
        (2, "1234560001"),
        (3, "1234560002"),
        (4, "1234560003"),
        (5, "1234560004"),
        (6, "1234560005"),
        (7, "1234560006"),
        (8, "1234560007"),
        (9, "1234560008"),
        (10, "1234560009"),
    ],
    ["id", "phone"],
)

try:
    df_output = pii.CryptographicHash.apply(
        data_frame=input_df,
        spark_context=sc,
        source_columns=["id", "phone"],
        secret_id=secret,
        algorithm="HMAC_SHA256",
        output_format="BASE64",
    )
    df_output.show()
except:
    print("Unexpected Error happened ")
    raise
    

출력

출력은 다음과 같습니다.

```
+---+------------+-------------------+-------------------+
| id| phone | id_hashed | phone_hashed |
+---+------------+-------------------+-------------------+
| 1| 1234560000 | QUI1zXTJiXmfIb... | juDBAmiRnnO3g... |
| 2| 1234560001 | ZAUWiZ3dVTzCo... | vC8lgUqBVDMNQ... |
| 3| 1234560002 | ZP4VvZWkqYifu... | Kl3QAkgswYpzB... |
| 4| 1234560003 | 3u8vO3wQ8EQfj... | CPBzK1P8PZZkV... |
| 5| 1234560004 | eWkQJk4zAOIzx... | aLf7+mHcXqbLs... |
| 6| 1234560005 | xtI9fZCJZCvsa... | dy2DFgdYWmr0p... |
| 7| 1234560006 | iW9hew7jnHuOf... | wwfGMCOEv6oOv... |
| 8| 1234560007 | H9V1pqvgkFhfS... | g9WKhagIXy9ht... |
| 9| 1234560008 | xDhEuHaxAUbU5... | b3uQLKPY+Q5vU... |
| 10| 1234560009 | GRN6nFXkxk349... | VJdsKt8VbxBbt... |
+---+------------+-------------------+-------------------+
```

변환은 지정된 알고리즘과 비밀 키를 사용하여 `id` 및 `phone` 열에 있는 값의 암호화 해시를 계산하고 해시를 Base64 형식으로 인코딩합니다. 결과 `df_output`에는 원래 `input_df`의 모든 열과 계산된 해시가 DataFrame 포함된 추가 `id_hashed` 및 `phone_hashed` 열이 포함됩니다. DataFrame

메서드

• __call__

• apply

• 이름

• describeArgs

• describeReturn

• describeTransform

• describeErrors

• describe

__call__ (스파크_컨텍스트, 데이터_프레임, 소스_컬럼, 비밀_id, 알고리즘=없음, 비밀_버전=없음, Create_Secret_IF_Missing=false, 출력_형식=없음, entity_type_filter=없음)

변환은 열의 해시 값에 알고리즘을 적용합니다. CryptographicHash

• source_columns— 기존 열로 구성된 배열.

• secret_id— 시크릿 매니저 시크릿 키의 ARN 해시 기반 메시지 인증 코드 (HMAC) 접두사 알고리즘에서 소스 열을 해시하는 데 사용되는 키입니다.

• secret_version – 선택 사항입니다. 기본값은 최신 시크릿 버전입니다.

• entity_type_filter— 엔티티 유형의 선택적 배열. 감지된 PII만 자유 텍스트 열에서 암호화하는 데 사용할 수 있습니다.

• create_secret_if_missing— 선택적 부울. true인 경우 호출자를 대신하여 시크릿 생성을 시도합니다.

• algorithm— 데이터를 해시하는 데 사용되는 알고리즘. 유효한 열거형 값: MD5, SHA1, SHA256, SHA512, HMAC_MD5, HMAC_SHA1, HMAC_SHA256, HMAC_SHA512

apply(cls, *args, **kwargs)

GlueTransform apply에서 상속됩니다.

name(cls)

GlueTransform 이름에서 상속됩니다.

describeArgs(cls)

GlueTransform describeArgs에서 상속됩니다.

describeReturn(cls)

GlueTransform describeReturn에서 상속됩니다.

describeTransform(cls)

GlueTransform describeTransform에서 상속됩니다.

describeErrors(cls)

GlueTransform describeErrors에서 상속됩니다.

describe(cls)

GlueTransform describe에서 상속됩니다.