개념

Kubernetes 네임스페이스

Amazon EKS는 Kubernetes 네임스페이스를 사용하여 클러스터 리소스를 여러 사용자와 애플리케이션 사이에서 분할합니다. 이러한 네임스페이스는 멀티테넌트 환경의 기반입니다. Kubernetes 네임스페이스는 Amazon EC2 또는 AWS Fargate를 컴퓨팅 공급자로 사용할 수 있습니다. 이러한 유연성을 통해 작업을 실행할 수 있는 다양한 성능 및 비용 옵션을 제공합니다.

가상 클러스터

가상 클러스터는 Amazon EMR이 등록된 Kubernetes 네임스페이스입니다. Amazon EMR은 가상 클러스터를 사용하여 작업을 실행하고 엔드포인트를 호스팅합니다. 동일한 물리적 클러스터가 여러 가상 클러스터를 지원할 수 있습니다. 하지만 각 가상 클러스터는 EKS 클러스터의 네임스페이스 하나에 매핑됩니다. 가상 클러스터는 청구서에 기여하거나 서비스 외부에서 수명 주기 관리가 필요한 활성 리소스를 생성하지 않습니다.

작업 실행

작업 실행은 Spark jar, PySpark 스크립트 또는 SparkSQL 쿼리와 같이 Amazon EMR on EKS에 제출하는 작업 단위입니다. 한 작업에 여러 작업 실행이 포함될 수 있습니다. 작업 실행을 제출할 때는 다음 정보를 포함해야 합니다.

• 작업을 실행해야 하는 가상 클러스터.

• 작업을 식별하기 위한 작업 이름.

• 실행 역할 - 작업을 실행하는 범위가 지정된 IAM 역할로, 이를 통해 작업에서 액세스할 수 있는 리소스를 지정할 수 있습니다.

• 사용할 오픈 소스 애플리케이션 버전을 지정하는 Amazon EMR 릴리스 레이블.

• 작업을 제출할 때 사용할 아티팩트(예: spark-submit 파라미터).

기본적으로 로그는 Spark 기록 서버에 업로드되며 AWS Management Console에서 액세스할 수 있습니다. 또한 이벤트 로그, 실행 로그 및 지표를 Amazon S3 및 Amazon CloudWatch에 푸시할 수 있습니다.

Amazon EMR 컨테이너

Amazon EMR 컨테이너는 Amazon EMR on EKS의 API 이름입니다. emr-containers 접두사는 다음 시나리오에서 사용됩니다.

• Amazon EMR on EKS에 대한 CLI 명령의 접두사입니다. 예: aws emr-containers start-job-run.

• Amazon EMR on EKS에 대한 IAM 정책 작업 앞에 붙는 접두사입니다. 예: "Action": [ "emr-containers:StartJobRun"]. 자세한 내용은 Amazon EMR on EKS에 대한 정책 작업을 참조하세요.

• Amazon EMR on EKS 서비스 엔드포인트에 사용되는 접두사입니다. 예: emr-containers.us-east-1.amazonaws.com. 자세한 내용은 Amazon EMR on EKS 서비스 엔드포인트를 참조하세요.