Kafka 연결 생성 - AWS Glue

Kafka 연결 생성

Kafka 연결을 생성할 때 드롭다운 메뉴에서 Kafka를 선택하면 구성할 추가 설정이 표시됩니다.

  • Kafka 클러스터 세부 정보

  • 인증

  • 암호화(Encryption)

  • 네트워크 옵션

Kafka 클러스터 세부 정보 구성(Configure Kafka cluster details)

  1. 클러스터 위치를 선택합니다. Amazon 관리형 Apache Kafka(MSK) 클러스터용 스트리밍 또는 고객 관리형 Apache Kafka 클러스터 중에서 선택할 수 있습니다. Amazon Managed 스트리밍 for Apache Kafka에 대한 자세한 내용은 Amazon Managed 스트리밍 for Apache Kafka(MSK)를 참조하세요.

    참고

    Amazon Managed Streaming for Apache Kafka 는 TLS 및 SASL/SCRAM-SHA-512 인증 방법만 지원합니다.

    스크린샷은 클러스터 위치를 선택하고 Kafka Boostrap 서버 에 들어가는 옵션이 포함된 Kafka 클러스터 세부 정보 섹션을 보여줍니다URLs.

  2. Kafka 부트스트랩 서버의 URLs 를 입력합니다. 각 서버를 쉼표로 구분하여 둘 이상 입력할 수 있습니다. 를 URL 추가하여 의 끝에 포트 번호를 포함합니다:<port number>.

    예: b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

인증 방법 선택(Select authentication method)

스크린샷은 Kafka 인증 방법을 선택할 수 있는 드롭다운 메뉴를 보여줍니다.

AWS Glue 는 인증을 위한 Simple Authentication and Security Layer(SASL) 프레임워크를 지원합니다. SASL 프레임워크는 다양한 인증 메커니즘을 지원하며 SCRAM (사용자 이름 및 암호), GSSAPI (Kerberos 프로토콜) 및 PLAIN (사용자 이름 및 암호) 프로토콜을 AWS Glue 제공합니다.

드롭다운 메뉴에서 인증 방법을 선택할 때 다음 클라이언트 인증 방법을 선택할 수 있습니다.

  • 없음(None) - 인증이 없습니다. 이는 테스트 목적으로 연결을 생성하는 경우에 유용합니다.

  • SASL/SCRAM-SHA-512 - 이 인증 방법을 선택하여 인증 자격 증명을 지정합니다. 두 가지 옵션을 사용할 수 있습니다.

    • AWS Secrets Manager 사용(권장) - 이 옵션을 선택하면 보안 인증 정보를 AWS Secrets Manager에 저장하고 필요한 경우 정보에 AWS Glue 액세스하도록 허용할 수 있습니다. SSL 또는 SASL 인증 자격 증명을 저장하는 보안 암호를 지정합니다.

      스크린샷은 인증 방법이 SASL/SCRAM--SHA512인 경우 인증 자격 증명에 대한 옵션을 보여줍니다.

    • 사용자 이름 및 암호를 직접 제공합니다.

  • SASL/GSSAPI (Kerberos) - if you select this option, you can select the location of the keytab file, krb5.conf file and enter the Kerberos principal name and Kerberos service name. The locations for the keytab file and krb5.conf file must be in an Amazon S3 location. Since MSK does not yet support SASL/GSSAPI, 이 옵션은 고객 관리형 Apache Kafka 클러스터에만 사용할 수 있습니다. 자세한 내용은 MIT Kerberos 설명서: 키탭 을 참조하세요.

  • SASL/PLAIN - 이 인증 방법을 선택하여 인증 자격 증명을 지정합니다. 두 가지 옵션을 사용할 수 있습니다.

    • AWS Secrets Manager 사용(권장) - 이 옵션을 선택하면 보안 인증 정보를 AWS Secrets Manager에 저장하고 필요한 경우 정보에 AWS Glue 액세스하도록 허용할 수 있습니다. SSL 또는 SASL 인증 자격 증명을 저장하는 보안 암호를 지정합니다.

    • 사용자 이름 및 암호를 직접 제공합니다.

  • SSL 클라이언트 인증 - 이 옵션을 선택하면 Amazon S3를 탐색하여 Kafka 클라이언트 키 스토어의 위치를 선택할 수 있습니다. 선택 사항으로 Kafka 클라이언트 키 스토어 암호와 Kafka 클라이언트 키 암호를 입력할 수 있습니다.

스크린샷은 가 인증 방법SSL인 경우 암호화 옵션을 보여줍니다.

암호화 설정 구성(Configure encryption settings)

  1. Kafka 연결에 SSL 연결이 필요한 경우 SSL 연결 필요 확인란을 선택합니다. 를 통해 연결할 수 없는 경우 연결이 실패합니다SSL. SSL 암호화용 는 모든 인증 방법( SASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAIN또는 SSL 클라이언트 인증)과 함께 사용할 수 있으며 선택 사항입니다.

    인증 방법이 SSL 클라이언트 인증 으로 설정된 경우 이 옵션은 자동으로 선택되고 변경되지 않도록 비활성화됩니다.

  2. (선택 사항). 인증 기관(CA)의 사설 인증서 위치를 선택합니다. 인증 위치는 S3 위치에 있어야 합니다. 연결된 S3 버킷에서 파일을 선택하려면 찾아보기(Browse)를 선택합니다. 경로는 s3://bucket/prefix/filename.pem 형식이어야 합니다. 파일 이름과 .pem 확장자로 끝나야 합니다.

  3. 인증 기관(CA)의 인증서 검증을 건너뛰도록 선택할 수 있습니다. 인증 기관(CA)의 인증서 검증 건너뛰기(Skip validation of certificate from certificate authority (CA)) 확인란을 선택합니다. 이 확인란을 선택하지 않으면 AWS Glue 는 다음 세 가지 알고리즘에 대해 인증서를 검증합니다.

    • SHA256withRSA

    • SHA384withRSA

    • SHA512withRSA

스크린샷은 SSL 연결 필요 여부, 인증 기관(CA)에서 프라이빗 인증서의 위치를 선택하는 옵션, 인증 기관(CA)에서 인증서 검증을 건너뛰는 옵션을 포함하여 암호화를 구성하는 옵션을 보여줍니다.

(선택 사항) 네트워크 옵션((Optional) Network options)

다음은 VPC, 서브넷 및 보안 그룹을 구성하는 선택적 단계입니다. AWS Glue 작업이 가상 프라이빗 클라우드(VPC) 서브넷의 Amazon EC2 인스턴스에서 실행되어야 하는 경우 추가 VPC특정 구성 정보를 제공해야 합니다.

  1. 데이터 소스가 포함된 VPC (가상 프라이빗 클라우드)를 선택합니다.

  2. 에서 서브넷을 선택합니다VPC.

  3. VPC 서브넷의 데이터 스토어에 대한 액세스를 허용하려면 하나 이상의 보안 그룹을 선택합니다. 보안 그룹은 서브넷에 ENI 연결된 에 연결됩니다. 모든 TCP 포트에 대해 자체 참조 인바운드 규칙이 있는 보안 그룹을 하나 이상 선택해야 합니다.

스크린샷은 VPC, 서브넷 및 보안 그룹에 대한 선택적 네트워크 옵션을 보여줍니다.