워크플로 생성 생성 생성 생성 생성 - AWS Lake Formation

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

워크플로 생성 생성 생성 생성 생성

시작하기 전에 역할에 필요한 데이터 권한 및 데이터 위치 권한을 부여했는지 확인하십시오LakeFormationWorkflowRole. 이는 워크플로가 데이터 카탈로그에 메타데이터 테이블을 생성하고 Amazon S3 대상 위치에 데이터를 쓸 수 있도록 하기 위한 것입니다. 자세한 내용은 워크플로를 위한 IAM 역할 생성 및 Lake Formation 권한 개요 단원을 참조하세요.

블루프린트에서 워크를 생성하려면, 블루프린트에서 워크를 생성하려면

  1. https://console.aws.amazon.com/lakeformation/ 에서 AWS Lake Formation 콘솔을 여세요. 데이터 레이크 관리자 또는 데이터 엔지니어 권한이 있는 사용자로 로그인합니다. 자세한 정보는 Lake Formation 페르소나 및 IAM 권한 레퍼런스을 참조하세요.

  2. 탐색 창에서 블루프린트를 선택한 다음 블루프린트 사용을 선택합니다.

  3. 블루프린트 사용 페이지에서 타일을 선택하여 블루프린트 유형을 선택합니다.

  4. 소스 가져오기에서 데이터 소스를 지정합니다.

    JDBC 소스에서 가져오는 경우 다음을 지정하십시오.

    • 데이터베이스 연결 - 목록에서 연결을 선택합니다. AWS Glue콘솔을 사용하여 추가 연결을 생성합니다. 연결의 JDBC 사용자 이름과 암호는 워크플로에서 액세스할 수 있는 데이터베이스 객체를 결정합니다.

    • 소스 데이터 경로 <database><schema><table><database><table>—데이터베이스 제품에 따라//또는 /를 입력합니다. Oracle Database 및 MySQL은 경로의 스키마를 지원하지 않습니다. <schema> 또는 <table> 대신에 백분율 문자(%)를 사용할 수 있습니다. 예를 들어 SID (시스템 식별자) 가 인 Oracle 데이터베이스의 경우 연결에서 이름을 지정한 사용자가 액세스할 수 있는 모든 테이블을 orcl/% 가져오려면 를 입력합니다. orcl

      중요

      이 필드는 대/소문자를 구분합니다. 구성 요소 중 하나라도 대/소문자가 일치하지 않으면 워크플로가 실패합니다.

      MySQL 데이터베이스를 지정하는 경우 AWS Glue ETL은 기본적으로 MySQL5 JDBC 드라이버를 사용하므로 MySQL8은 기본적으로 지원되지 않습니다. AWS Glue개발자 안내서의 JDBC connectionType 값에 설명된 대로 customJdbcDriverS3Path 매개 변수를 사용하도록 ETL 작업 스크립트를 편집하여 MySQL8을 지원하는 다른 JDBC 드라이버를 사용할 수 있습니다.

    로그 파일에서 가져오는 경우 워크플로에 지정한 역할 (“워크플로 역할”) 에 데이터 소스에 액세스하는 데 필요한 IAM 권한이 있는지 확인하십시오. 예를 들어, AWS CloudTrail 로그를 가져오려면 사용자에게 워크플로를 생성하는 동안 CloudTrail 로그 목록을 볼 수 있는 cloudtrail:DescribeTrails 및 cloudtrail:LookupEvents 권한이 있어야 하고, 워크플로 역할에는 Amazon S3 CloudTrail 위치에 대한 권한이 있어야 합니다.

  5. 다음 중 하나를 수행하세요.

    • 데이터베이스 스냅샷 블루프린트 유형의 경우 선택적으로 하나 이상의 제외 패턴을 지정하여 임포트할 데이터의 하위 집합을 식별할 수 있습니다. 이러한 제외 패턴은 Unix 스타일 glob 패턴입니다. 이들은 워크플로에서 생성한 테이블의 속성으로 저장됩니다.

      사용 가능한 제외 패턴에 대한 자세한 내용은 AWS Glue개발자 안내서의 패턴 포함 및 제외를 참조하십시오.

    • 증분 데이터베이스 블루프린트 유형의 경우 다음 필드를 지정합니다. 가져올 각 테이블에 행이 추가 됩니다.

      테이블 이름

      가져올 테이블입니다. 모두 소문자여야 합니다.

      북마크 키

      북마크 키를 정의하는 쉼표로 구분된 열 이름 목록입니다. 비어 있는 경우 기본 키를 사용하여 새 데이터를 결정합니다. 각 열의 대소문자는 데이터 원본에 정의된 대/소문자와 일치해야 합니다.

      참고

      기본 키는 간격이 없이 순차적으로 증가하거나 감소하는 경우에만 기본 북마크 키로 사용할 수 있습니다. 기본 키를 북마크 키로 사용하고 싶은데 간격이 있는 경우 기본 키 열의 이름을 북마크 키로 지정해야 합니다.

      북마크 주문 주문 생성

      오름차순을 선택하면 북마크된 값보다 큰 값을 가진 행이 새 행으로 식별됩니다. 내림차순을 선택하면 북마크된 값보다 작은 값을 가진 행이 새 행으로 식별됩니다.

      파티셔닝 체계

      (선택 사항) 슬래시 (/) 로 구분된 파티션 키 열 목록입니다. 예시: year/month/day.

      콘솔의 증분 데이터 섹션에는 테이블 이름, 북마크 키, 북마크 순서, 파티션 구성표 등의 필드가 포함됩니다. 행을 추가하거나 제거할 수 있습니다. 여기서 각 행은 다른 테이블에 대한 것입니다.

      자세한 내용은 AWS Glue개발자 안내서의 Job 북마크를 사용한 처리된 데이터 추적을 참조하십시오.

  6. 대상 가져오기에서 대상 데이터베이스, 대상 Amazon S3 위치 및 데이터 형식을 지정합니다.

    워크플로 역할에 데이터베이스 및 Amazon S3 대상 위치에 대한 필수 Lake Formation 권한이 있는지 확인하십시오.

    참고

    현재 블루프린트는 타겟에서의 데이터 암호화를 지원하지 않습니다.

  7. 가져오기 빈도를 선택합니다.

    사용자 지정 옵션을 사용하여 cron 표현식을 지정할 수 있습니다.

  8. 가져오기 옵션에서:

    1. 워크플로 이름을 입력합니다.

    2. LakeFormationWorkflowRole역할의 경우 에서 생성한 역할을 선택합니다워크플로를 위한 IAM 역할 생성.

    3. 선택적으로 테이블 접두사를 지정합니다. 접두사는 워크플로에서 만드는 데이터 카탈로그 테이블의 이름 앞에 붙습니다.

  9. [Create] 를 선택하고 워크플로가 성공적으로 생성되었다는 콘솔의 보고가 표시될 때까지 기다립니다.

    작은 정보

    다음 오류 메시지가 표시되었나요?

    User: arn:aws:iam::<account-id>:user/<username> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/<rolename>...

    그렇다면 <account-id>모든 정책에서 유효한 AWS 계좌 번호로 교체했는지 확인하십시오.

다음 사항도 참조하세요.