네트워킹 구성

이 섹션에서는 관리자가 Studio 또는 Studio Classic과 Amazon EMR 클러스터 간의 통신을 허용하도록 네트워크를 구성하는 방법에 대한 정보를 제공합니다.

네트워킹 지침은 Studio와 Amazon EMR이 사설 Amazon VPC (가상 사설 클라우드) 내에 배포되었는지 아니면 인터넷을 통해 통신하는지에 따라 달라집니다.

기본적으로 Studio 또는 Studio Classic은 인터넷 액세스가 가능한 AWS 관리형 VPC에서 실행됩니다. 인터넷 연결을 사용하면 Studio 및 Studio Classic은 인터넷을 통해 Amazon S3 버킷과 같은 AWS 리소스에 액세스합니다. 하지만 데이터 및 작업 컨테이너에 대한 액세스를 제어하기 위한 보안 요구 사항이 있는 경우 인터넷을 통해 데이터와 컨테이너에 액세스할 수 없도록 Studio 또는 Studio Classic과 Amazon EMR을 구성하는 것이 좋습니다. 리소스에 대한 액세스를 제어하거나 공용 인터넷 액세스 없이 Studio 또는 Studio Classic을 실행하려면 Amazon SageMaker 도메인에 온보딩할 때 VPC only 네트워크 액세스 유형을 지정하면 됩니다. 이 시나리오에서 Studio와 Studio Classic은 모두 프라이빗 VPC AWS 엔드포인트를 통해 다른 서비스와의 연결을 설정합니다. Studio 또는 Studio Classic을 VPC only 모드로 구성하는 방법에 대한 자세한 내용은 VPC의 SageMaker Studio 또는 Studio Classic 노트북을 외부 리소스에 연결을 참조하십시오. .

처음 두 섹션에서는 공용 인터넷 액세스 없이 VPC에서 Studio 또는 Studio Classic과 Amazon EMR 클러스터 간의 통신을 보장하는 방법을 설명합니다. 마지막 섹션에서는 인터넷 연결을 사용하여 스튜디오 또는 스튜디오 클래식과 Amazon EMR 간의 통신을 보장하는 방법을 다룹니다. 인터넷 액세스 없이 스튜디오 또는 스튜디오 클래식과 Amazon EMR을 연결하기 전에 Amazon 심플 스토리지 서비스 (데이터 스토리지), Amazon (로깅 및 모니터링) 및 Amazon SageMaker Runtime CloudWatch (세분화된 역할 기반 액세스 제어 (RBAC)) 에 대한 엔드포인트를 설정해야 합니다.

스튜디오 또는 스튜디오 클래식과 Amazon EMR 클러스터를 연결하려면:

• Studio 또는 Studio Classic과 Amazon EMR이 동일한 AWS 계정 또는 다른 계정에서 별도의 VPC에 있는 경우 을 참조하십시오. 스튜디오와 Amazon EMR은 별도의 VPC에 있습니다.

• 스튜디오 또는 스튜디오 클래식과 Amazon EMR이 동일한 VPC에 있는 경우 을 참조하십시오. 스튜디오와 Amazon EMR은 같은 VPC에 있습니다.

• 퍼블릭 인터넷을 통해 스튜디오 또는 스튜디오 클래식과 Amazon EMR을 연결하기로 선택한 경우 을 참조하십시오. Studio와 Amazon EMR은 퍼블릭 인터넷을 통해 통신합니다

스튜디오와 Amazon EMR은 별도의 VPC에 있습니다.

스튜디오 또는 스튜디오 클래식과 Amazon EMR을 별도의 VPC에 배포할 때 서로 통신할 수 있도록 하려면:

1. VPC 피어링 연결을 통해 VPC를 연결하여 시작합니다.

2. 각 VPC의 라우팅 테이블을 업데이트하여 Studio 또는 Studio Classic 서브넷과 Amazon EMR 서브넷 간에 네트워크 트래픽을 양방향으로 라우팅합니다.

3. 인바운드 및 아웃바운드 트래픽을 허용하도록 보안 그룹을 구성합니다.

Studio 또는 Studio Classic과 Amazon EMR을 연결하는 단계는 리소스를 단일 계정에 배포하든 (단일 AWS 계정 사용 사례) 여러 계정에 배포하든 ( AWS 계정 간 사용 사례) 동일합니다.

1. VPC 피어링

   VPC 피어링 연결을 생성하여 두 VPC (스튜디오 또는 스튜디오 클래식과 Amazon EMR) 간의 네트워킹을 용이하게 합니다.

   1. Studio 또는 Studio Classic 계정의 VPC 대시보드에서 피어링 연결을 선택한 다음 피어링 연결 생성을 선택합니다.

   2. 스튜디오 또는 스튜디오 클래식 VPC를 Amazon EMR VPC와 피어링하기 위한 요청을 생성하십시오. 다른 AWS 계정에서 피어링을 요청할 때는 피어링할 다른 VPC 선택에서 다른 계정을 선택합니다.

      교차 계정 피어링의 경우 관리자는 Amazon EMR 계정의 요청을 수락해야 합니다.

      프라이빗 서브넷을 피어링할 때는 VPC 피어링 연결 수준에서 프라이빗 IP DNS 확인을 활성화해야 합니다.

2. 라우팅 테이블

   스튜디오 또는 스튜디오 클래식 서브넷과 Amazon EMR 서브넷 간에 네트워크 트래픽을 양방향으로 전송합니다.

   피어링 연결을 설정한 후 관리자 (계정 간 액세스의 경우 각 계정의 관리자) 는 프라이빗 서브넷 라우팅 테이블에 경로를 추가하여 Studio 또는 Studio Classic과 클러스터 서브넷 간에 트래픽을 라우팅할 수 있습니다. VPC 대시보드에서 각 VPC의 라우팅 테이블 섹션으로 이동하여 이러한 경로를 정의할 수 있습니다.

   Studio VPC 서브넷의 라우팅 테이블을 보여주는 다음 그림은 피어링 연결을 통해 Studio 계정에서 Amazon EMR VPC IP 범위 (여기) 로 향하는 아웃바운드 경로의 예를 보여줍니다. 2.0.1.0/24

   

   Amazon EMR VPC 서브넷의 라우팅 테이블을 보여주는 다음 그림은 피어링 연결을 통해 Amazon EMR VPC에서 Studio VPC IP 범위(여기에서는 10.0.20.0/24)를 향하는 반환 경로의 예를 보여줍니다.

   

3. 보안 그룹

   마지막으로 스튜디오 또는 스튜디오 클래식 도메인의 보안 그룹은 아웃바운드 트래픽을 허용해야 하며, Amazon EMR 기본 노드의 보안 그룹은 스튜디오 또는 스튜디오 클래식 인스턴스 보안 그룹의 Apache Livy, Hive 또는 Presto TCP 포트 (각각 899810000, 및8889) 의 인바운드 트래픽을 허용해야 합니다. 아파치 Livy는 REST 인터페이스를 통해 Amazon EMR과 상호 작용할 수 있게 해주는 서비스입니다.

다음 다이어그램은 Studio Classic 노트북이 Service Catalog의 템플릿에서 AWS CloudFormation Amazon EMR 클러스터를 프로비저닝한 다음 동일한 계정 내의 Amazon EMR 클러스터에 연결할 수 있도록 JupyterLab 하는 Amazon VPC 설정의 예를 보여줍니다. AWS 다이어그램은 VPC가 인터넷에 액세스할 수 없을 때 Amazon S3 또는 Amazon과 같은 다양한 AWS 서비스에 직접 연결하는 데 필요한 엔드포인트를 추가로 보여줍니다. CloudWatch 또는 인터넷에 액세스할 때 NAT 게이트웨이를 사용하여 여러 VPC의 프라이빗 서브넷에 있는 인스턴스가 인터넷 게이트웨이가 제공하는 단일 퍼블릭 IP 주소를 공유할 수 있도록 해야 합니다.

스튜디오와 Amazon EMR은 같은 VPC에 있습니다.

Studio 또는 Studio Classic과 Amazon EMR 클러스터가 서로 다른 서브넷에 있는 경우, 각 프라이빗 서브넷 라우팅 테이블에 경로를 추가하여 Studio 또는 Studio Classic과 클러스터 서브넷 간에 트래픽을 라우팅합니다. VPC 대시보드에서 각 VPC의 라우팅 테이블 섹션으로 이동하여 이러한 경로를 정의할 수 있습니다. Studio 또는 Studio Classic과 Amazon EMR 클러스터를 동일한 VPC와 동일한 서브넷에 배포한 경우 스튜디오 또는 스튜디오 클래식과 클러스터 간에 트래픽을 라우팅할 필요가 없습니다.

라우팅 테이블을 업데이트해야 하는지 여부에 관계없이 Studio 또는 Studio Classic 도메인의 보안 그룹은 아웃바운드 트래픽을 허용해야 하며 Amazon EMR 기본 노드의 보안 그룹은 Studio 또는 Studio Classic 인스턴스 보안 그룹의 Apache Livy, Hive 또는 Presto TCP 포트 (8998각각10000, 8889 및) 의 인바운드 트래픽을 허용해야 합니다. Apache Livy는 REST 인터페이스를 통해 Amazon EMR 클러스터와 상호 작용을 활성화하는 서비스입니다.

Studio와 Amazon EMR은 퍼블릭 인터넷을 통해 통신합니다

기본적으로 Studio 및 Studio Classic은 도메인과 연결된 VPC의 인터넷 게이트웨이를 통해 인터넷과 통신할 수 있는 네트워크 인터페이스를 제공합니다. SageMaker 퍼블릭 인터넷을 통해 Amazon EMR에 연결하기로 선택한 경우 Amazon EMR 클러스터는 인터넷 게이트웨이로부터 Apache Livy, Hive 또는 Presto TCP 포트 (각각 8998, 10000, 및 8889)의 인바운드 트래픽을 수락해야 합니다. Apache Livy는 REST 인터페이스를 통해 Amazon EMR 클러스터와 상호 작용을 활성화하는 서비스입니다.

인바운드 트래픽을 허용하는 모든 포트는 잠재적인 보안 취약성을 나타낸다는 점에 유의하세요. 취약점들을 최소한으로 줄일 수 있도록 사용자 지정 보안 그룹을 신중하게 검토하세요. 자세한 내용은 보안 그룹에서 네트워크 트래픽 제어를 참조하세요.

또는 Amazon EMR에서 Kerberos를 활성화하고 클러스터를 프라이빗 서브넷에 설정하며 Network Load Balancer(NLB)를 사용해 클러스터에 액세스하여 보안 그룹을 통해 액세스를 제어하는 특정 포트만 노출하는 방법에 대한 자세한 내용은 블로그 및 백서을 참조하세요.

참고

공용 인터넷을 통해 Apache Livy 엔드포인트에 연결할 때는 TLS를 사용하여 스튜디오 또는 스튜디오 클래식과 Amazon EMR 클러스터 간의 통신을 보호하는 것이 좋습니다.

Apache Livy로 HTTPS를 설정하는 방법에 대한 자세한 내용은 Enabling HTTPS with Apache Livy를 참조하세요. 전송 암호화가 활성화된 Amazon EMR 클러스터를 설정하는 방법에 대한 자세한 내용은 Providing certificates for encrypting data in transit with Amazon EMR encryption을 참조하세요. 또한 에서 지정한 대로 인증서 키에 액세스할 수 있도록 Studio 또는 Studio Classic을 구성해야 합니다. HTTPS를 통해 Amazon EMR 클러스터에 연결