Amazon EMR Serverless를 사용한 신뢰할 수 있는 자격 증명 전파

Amazon EMR 릴리스 7.8.0 이상을 사용하면 Apache Livy 엔드포인트를 통해 EMR Serverless를 사용하여 AWS IAM Identity Center에서 대화형 워크로드로 사용자 ID를 전파할 수 있습니다. Apache Livy 대화형 워크로드는 Amazon S3, Lake Formation 및 Amazon Redshift와 같은 다운스트림 서비스에 제공된 자격 증명을 추가로 전파하여 이러한 다운스트림의 사용자 자격 증명을 통한 보안 데이터 액세스를 지원합니다. 다음 섹션에서는 Apache Livy 엔드포인트를 통해 EMR Serverless를 사용하여 대화형 워크로드를 시작하고 전파하는 데 필요한 개념적 개요, 사전 조건 및 단계를 제공합니다.

개요

IAM Identity Center는 모든 크기 및 유형의 조직에 대한의 인력 인증 및 권한 부여 AWS 에 권장되는 접근 방식입니다. Identity Center를 사용하면에서 사용자 자격 증명을 생성 및 관리하거나 Microsoft Active Directory, Okta AWS, Ping Identity, JumpCloud, Google Workspace 및 Microsoft Entra ID(이전 Azure AD)를 포함한 기존 자격 증명 소스를 연결할 수 있습니다.

신뢰할 수 있는 자격 증명 전파는 연결된 AWS 서비스의 관리자가 서비스 데이터에 대한 액세스 권한을 부여하고 감사하는 데 사용할 수 있는 AWS IAM Identity Center 기능입니다. 이 데이터에 대한 액세스는 그룹 연결과 같은 사용자 속성을 기반으로 합니다. 신뢰할 수 있는 자격 증명 전파를 설정하려면 연결된 AWS 서비스의 관리자와 IAM Identity Center 관리자 간의 협업이 필요합니다. 자세한 내용은 IAM Identity Center 사용 설명서의 사전 조건 및 고려 사항을 참조하세요.

기능 및 이점

EMR Serverless Apache Livy 엔드포인트와 IAM Identity Center 신뢰할 수 있는 자격 증명 전파의 통합은 다음과 같은 이점을 제공합니다.

• AWS Lake Formation 관리형 AWS Glue 데이터 카탈로그 테이블에서 Identity Center ID로 테이블 수준 권한 부여를 적용하는 기능입니다.

• Amazon Redshift 클러스터에서 Identity Center ID로 권한 부여를 적용할 수 있습니다.

• 감사를 위해 사용자 작업의 엔드 투 엔드 추적이 가능합니다.

• S3 Access Grants 관리 S3 접두사에 대해 Identity Center 자격 증명을 사용하여 Amazon S3 접두사 수준 인증을 적용하는 기능입니다.

작동 방법

사용 사례 예제

데이터 준비 및 특성 엔지니어링

여러 연구 팀의 데이터 과학자는 통합 데이터 플랫폼을 사용하여 복잡한 프로젝트에서 협업합니다. 회사 자격 증명을 사용하여 SageMaker AI에 로그인하여 여러 AWS 계정에 걸쳐 있는 방대한 공유 데이터 레이크에 즉시 액세스할 수 있습니다. 새로운 기계 학습 모델에 대한 특성 엔지니어링을 시작하면 EMR Serverless를 통해 시작된 Spark 세션은 전파된 자격 증명을 기반으로 Lake Formation의 열 및 행 수준 보안 정책을 적용합니다. 과학자는 익숙한 도구를 사용하여 데이터를 효율적으로 준비하고 기능을 엔지니어링할 수 있으며 규정 준수 팀은 모든 데이터 상호 작용을 자동으로 추적하고 감사할 수 있습니다. 이 안전하고 협업적인 환경은 규제 대상 산업에 필요한 엄격한 데이터 보호 표준을 유지하면서 연구 파이프라인을 가속화합니다.