AWS Glue Studio에서 AWS Glue DataBrew 레시피 가져오기 - AWS Glue
AWS Glue DataBrew에 대한 IAM 권한AWS Glue DataBrew 레시피 가져오기

AWS Glue Studio에서 AWS Glue DataBrew 레시피 가져오기

AWS Glue DataBrew에서 레시피는 데이터 변환 단계 세트입니다. AWS Glue DataBrew 레시피에서는 이미 읽은 데이터를 변환하는 방법을 규정하지만, 데이터를 읽는 위치와 방법, 그리고 데이터를 쓰는 방법과 위치에 대해서는 설명하지 않습니다. 레시피는 AWS Glue Studio의 소스 및 대상 노드에서 구성됩니다. 레시피에 대한 자세한 내용은 Creating and using AWS Glue DataBrew recipes를 참조하세요.

AWS Glue Studio에서 AWS Glue DataBrew 레시피를 사용하려면 먼저 AWS Glue DataBrew에서 레시피를 생성합니다. 사용할 레시피가 이미 있으면 이 단계를 건너뛸 수 있습니다.

AWS Glue DataBrew에 대한 IAM 권한

이 주제에서는 IAM 관리자가 데이터 준비 레시피 변환에 대한 AWS Identity and Access Management(IAM) 정책에서 사용할 수 있는 작업과 리소스를 이해하는 데 도움이 되는 정보를 제공합니다.

AWS Glue에서 보안에 대한 자세한 내용은 액세스 관리를 참조하세요.

참고

다음 표에는 기존 AWS Glue DataBrew 레시피를 가져올 때 사용자에게 필요한 권한이 나와 있습니다.

데이터 준비 레시피 변환 작업
작업 설명
databrew:ListRecipes AWS Glue DataBrew 레시피를 검색할 수 있는 권한을 부여합니다.
databrew:ListRecipeVersions AWS Glue DataBrew 레시피 버전을 검색할 수 있는 권한을 부여합니다.
databrew:DescribeRecipe AWS Glue DataBrew 레시피 설명을 검색할 수 있는 권한을 부여합니다.

이 기능에 액세스하는 데 사용하는 역할에는 여러 AWS Glue DataBrew 작업을 허용하는 정책이 있어야 합니다. 필요한 작업이 포함된 AWSGlueConsoleFullAccess 정책을 사용하거나 역할에 다음 인라인 정책을 추가하여 이를 달성할 수 있습니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "databrew:ListRecipes",
                "databrew:ListRecipeVersions",
                "databrew:DescribeRecipe"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

데이터 준비 레시피 변환을 사용하려면 권한 정책에 IAM:PassRole 작업을 추가해야 합니다.

필요한 추가 권한
작업 설명
iam:PassRole 사용자가 승인된 역할을 전달할 수 있도록 IAM에 권한을 부여합니다.

이 권한이 없으면 다음과 같은 오류가 발생합니다.

"errorCode": "AccessDenied"
"errorMessage": "User: arn:aws:sts::account_id:assumed-role/AWSGlueServiceRole is not 
authorized to perform: iam:PassRole on resource: arn:aws:iam::account_id:role/service-role/AWSGlueServiceRole 
because no identity-based policy allows the iam:PassRole action"

AWS Glue DataBrew 레시피 가져오기

AWS Glue DataBrew 레시피를 가져와 AWS Glue Studio에서 사용하기:

기존 데이터 준비 레시피 노드가 있고 AWS Glue Studio에서 레시피 단계를 직접 편집하려면 AWS Glue Studio 작업으로 레시피 단계를 가져와야 합니다.

  1. AWS Glue Studio에서 데이터 소스와 함께 AWS Glue 작업을 시작합니다.

  2. 데이터 준비 레시피 노드를 작업 캔버스에 추가합니다.

    스크린샷에서는 선택할 수 있는 데이터 준비 레시피가 있는 노드 추가 모달을 보여줍니다.

  3. 변환 패널에 레시피의 이름을 입력합니다.

  4. 캔버스에서 사용 가능한 노드를 드롭다운 목록에서 선택하여 하나 이상의 상위 노드를 선택합니다.

  5. 레시피 작성을 선택합니다. 작성자 레시피가 회색이면 노드 상위를 선택하고 데이터 미리 보기 세션이 완료될 때까지 사용할 수 없습니다.

    Author Data Preparation Recipe form with name field and node parents selection dropdown.

  6. DataFrame이 로드되고 소스 데이터에 대한 자세한 정보가 표시됩니다.

    추가 작업 아이콘을 선택하고 레시피 가져오기를 선택합니다.

    Data preparation interface showing "Build your Recipe" with an "Add step" button.

  7. 레시피 가져오기 마법사를 사용하여 단계를 완료합니다. 1단계에서 레시피를 검색하고 선택한 후, 다음을 선택합니다.

    Import recipe interface showing two recipes, with one selected for import.

  8. 2단계에서 가져오기 옵션을 선택합니다. 기존 레시피에 새 레시피를 추가하거나 기존 레시피를 덮어쓰도록 선택할 수 있습니다. Next(다음)를 선택합니다.

    Import recipe interface showing selected recipe, version, and two imported steps.

  9. 3단계에서 레시피 단계를 검증합니다. AWS Glue DataBrew 레시피를 가져온 후에는 AWS Glue Studio에서 직접 이 레시피를 편집할 수 있습니다.

    Recipe import interface showing two steps and a validation progress indicator.
    Import recipe interface showing validated steps for sorting and formatting data.

  10. 이후에는 AWS Glue 작업의 일부로 단계를 가져오게 됩니다. 필요한 경우 작업 세부 정보 탭에서 작업 이름 지정 및 할당된 용량 조정과 같은 필요한 구성 변경을 수행합니다. 저장을 선택하여 작업과 레시피를 저장합니다.

    참고

    JOIN, UNION, GROUP_BY, PIVOT, UNPIVOT, TRANSPOSE는 레시피 가져오기에 지원되지 않으며, 레시피 작성 모드에서도 사용할 수 없습니다.

  11. 필요한 경우 다른 변환 노드를 추가하여 작업 작성을 완료하고 데이터 대상 노드를 추가할 수 있습니다.

    레시피를 가져온 후 단계를 재정렬하면 AWS Glue에서 해당 단계에 대한 검증을 수행합니다. 예를 들어 이름을 변경한 다음 열을 삭제하고, 삭제 단계를 맨 위로 이동한 경우, 이름 변경 단계는 유효하지 않게 됩니다. 이후 단계를 편집하여 검증 오류를 수정할 수 있습니다.