스튜디오 또는 스튜디오 클래식에서 Spark UI에 액세스할 수 있습니다.

다음 섹션에서는 SageMaker 스튜디오 또는 스튜디오 클래식 노트북에서 Spark UI에 액세스하는 방법에 대한 지침을 제공합니다. Spark UI를 사용하면 Amazon EMR에서 실행하도록 제출한 Spark 작업을 스튜디오 또는 스튜디오 클래식 노트북에서 모니터링하고 디버깅할 수 있습니다. SSH 터널링 및 미리 서명된 URL은 Spark UI에 액세스하는 두 가지 방법입니다.

Spark UI에 액세스하기 위한 SSH 터널링 설정하기

Spark UI에 액세스하기 위한 SSH 터널링을 설정하려면 이 섹션의 두 옵션 중 하나를 따릅니다.

SSH 터널링 설정 옵션:

• 옵션 1: 로컬 포트 전달을 사용하여 마스터 노드에 SSH 터널 설정

• 옵션 2, 파트 1: 동적 포트 전달을 사용하여 마스터 노드에 SSH 터널 설정

  옵션 2, 파트 2: 마스터 노드에 호스팅된 웹 사이트를 표시하도록 프록시 설정 구성

Amazon EMR에서 웹 인터페이스를 보는 방법에 대한 자세한 내용은 View web interfaces hosted on Amazon EMR Clusters를 참조하세요. Amazon EMR 콘솔을 방문하여 Spark UI에 액세스할 수도 있습니다.

참고

미리 서명된 URL을 사용할 수 없는 경우에도 SSH 터널을 설정할 수 있습니다.

미리 서명된 URL

SageMaker스튜디오 또는 스튜디오 클래식 노트북에서 Amazon EMR의 Spark UI에 액세스할 수 있는 원클릭 URL을 생성하려면 다음 IAM 권한을 활성화해야 합니다. 다음 중 해당하는 옵션을 선택합니다.

• 스튜디오 또는 스튜디오 클래식 노트북과 동일한 계정에 있는 Amazon EMR 클러스터의 경우: SageMaker 스튜디오 또는 SageMaker 스튜디오 클래식 IAM 실행 역할에 다음 권한을 추가합니다.

• SageMaker Studio 또는 Studio Classic 노트북이 아닌 다른 계정에 있는 Amazon EMR 클러스터의 경우: 생성한 계정 간 역할에 다음 권한을 추가합니다. 스튜디오 또는 스튜디오 클래식의 Amazon EMR 클러스터 목록

참고

다음 리전은 콘솔에서 미리 서명된 URL에 액세스할 수 있습니다.

• 미국 동부(버지니아 북부) 리전

• 미국 서부(캘리포니아 북부) 리전

• 캐나다(중부) 리전

• Europe (Frankfurt) Region

• Europe (Stockholm) Region

• 유럽(아일랜드) 리전

• Europe (London) Region

• Europe (Paris) Region

• 아시아 태평양(도쿄) 리전

• Asia Pacific (Seoul) Region

• 아시아 태평양(시드니) 리전

• Asia Pacific (Mumbai) Region

• Asia Pacific (Singapore) Region

• 남아메리카(상파울루)

다음 정책은 실행 역할에 사전 서명된 URL 액세스를 제공합니다.

{
        "Sid": "AllowPresignedUrl",
        "Effect": "Allow",
        "Action": [
            "elasticmapreduce:DescribeCluster",
            "elasticmapreduce:ListInstanceGroups",
            "elasticmapreduce:CreatePersistentAppUI",
            "elasticmapreduce:DescribePersistentAppUI",
            "elasticmapreduce:GetPersistentAppUIPresignedURL",
            "elasticmapreduce:GetOnClusterAppUIPresignedURL"
        ],
        "Resource": [
            "arn:aws:elasticmapreduce:region:account-id:cluster/*"
        ]
}